As Dov F has noted, the argument over praying in a mosque is now split between R. Ovadia Yosef and the Tzitz Eliezer. Please see the update below regarding the original Rambam responsa that is referred to by R. Ovadia.
The Tzitz Eliezer writes against praying in a mosque in his responsa Volume 14, #91:
ולמדנו מכאן שהקדשים של כותים וגם המשוגע של הישמעאלים אע"פ שאין טועין אחריהם לעשותן אלהות, הואיל ומשתחוים לפניהם השתחואה של אלהות דין ע"א יש להן לכל דבר איסור של ע"א...
הרי למדנו מפורש מדברי הר"ן דגם לעבודת הישמעאלים והשתחויתם לנביא השקר שלהם דין ע"א יש לקדשיהם לכל דבר, וא"כ ברור לפי"ז שגם בית המסגד שלהם שבו הם מבצעים עבודתם יש לו ג"כ דין של בית ע"א לכל דבר ואסור ליכנס לשם, וברוך אלקינו שהבדילנו מן התועים ונתן לנו תורת אמת. בברכה ובהוקרה אליעזר יהודא וולדינברג.
We learn [from the Ran] that the sanctuaries of Samaritans and Muslims, even though they don't err in creating a deity, since they bow down and prostrate they have the status of idolatry in all matters...
We have learned from the Ran that even the worship of Muslims and their prostration to their false prophet has the status of idolatry for all matters, and thus it is clear that their mosque where they perform this worship has a status of a house of idolatry for all matters and it is forbidden to enter into there. And blessed is our God who separated us from those who stray and gave us a true Torah.
On the other hand, according to R. Ovadia a Jew is allowed to pray in a mosque. He cites many authorities who allow this, but his main source to rely on is the Rambam [Maimonides].
He writes in the end of his responsa Yabia Omer Volume 7 Yoreh Deah #12:
ומעתה נראה שהמסגדים של הערבים אין להם דין בתי עבודה זרה, ומותר להכנס בתוכם. ואפילו הר"ן שאמר שהואיל ומשתחוים לפניהם כעבודה של אלהות דין ע"ז יש להם, י"ל שאילו הוה שמיע ליה כל מ"ש הרמב"ם בתשובה לא היה אומר כן. שבודאי הרמב"ם היה בקי בהם ביותר. ... וא"כ הוא הדין שמותר להתפלל במסגד של הערבים... וא"כ גם במסגד של ערבים שאין שם ע"ז, ותפלתם להשי"ת ביחוד שאין בו דופי, אין שום איסור להתפלל שם, וכן ראיתי לכמה גאונים וצדיקים שהיו מתפללים בתוך המסגד של מערת המכפלה, ועד עכשיו יש שם בהכ"נ קבוע לתפלה, לאחינו תושבי חברון וקרית ארבע. ואמנם בשו"ת ציץ אליעזר חלק י"ד (ס"ס צא) כתב להשוות דין המסגד של ערבים לכניסיה של נוצרים, ע"פ דברי הר"ן סנהדרין (סא ב). ובמחכ"ת עמו הסליחה. שאנו תופסים עיקר כדברי הרמב"ם שהישמעאלים לאו עובדי ע"ז נינהו, וממילא אין למסגדיהם דין בית ע"ז. ... ומ"ש התוס' מגילה (ו א) ד"ה טרטיאות, שקשה לומר שבאותם מקומות יכולים ללמוד שם, זהו רק בבתי ע"ז, אבל במסגדים של ישמעאלים שאין שם ע"ז כלל אף התוס' מודים שמותר להתפלל וללמוד שם
And thus it appears that the Arab mosques do not have the status of houses of idolatry, and it is permitted to enter into them. And even though the Ran said that their prostrating is a kind of worship to a deity that grants their worship idolatrous, it can also be said that had he [the Ran] heard what the Rambam wrote in his responsa he wouldn't have said what he did, since the Rambam was obviously the more erudite between the two of them...[R.Ovadia then lists other authorities who are lenient on the matter] ...
And thus it is also permitted to pray in an Arab mosque... And so, in an Arab mosque, where there is no idolatry, and their prayers are to God with an untainted monotheistic belief, there is no prohibition to pray there. And I also saw many great rabbis and righteous individuals who would pray in the cave of Machpelah [which is also a mosque]. And even now there is a fixed synagogue to pray for our brothers living in Hevron and Kiryat Arba.
This is even though the Tzitz Eliezer wrote equating the law of an Arab mosque with a Christian church, in the way of the Ran. May his honorable Torah forgive us, but we regard the main point in the words of the Rambam - that Ishmaelites are not idolators - and so their moques are not idolatrous...And even the Tosafot, who argued against learning in an idolatrous house of worship, would acknowledge that Arab mosques are not at all idolatrous and a Jew can pray and learn there.
Notice that R. Ovadia does not mention praying alongside Muslims during their Salat, and so it is not clear what he thinks about that situation (although I suspect there would be an issue of maarit ayin - where one may misinterpret such actions to believe that Muslim prayer is the same as Jewish prayer). Nevertheless, this is the main responsa today that allows for a Jew to enter and pray in a mosque.
-- UPDATE --
For the sake of clarity, I'll provide the source from Rambam. It's brought down by the Chida in his book Maarit Ayin (Likutim, #8, page 79A), who records the responsa:
סימן ח' ש"ע י"ר סי' דין ז' ישמעאלים וכו' בברכי יוסף רמזתי תשובת הרמב"ם ז"ל כ"י ובשיורי ברכה י"ד ק"א סי' קכ"ג שם כתבתי יותר ותשובת הרמב"ם ז"ל כ"י שהבאתי שם אין עמדי. אך ראיתי באגרות הרמב"ם הנדפסות דף מ"ד מדפוס אמשטרדם תשובת הרמב"ם ז"ל לגר צדק דקרי בחיל דהגם דמקדם היו עובדים ג' ע"ז זה היה קודם דת הישמעאלים אך עתה בכל זה מכונים לשמים וענין ע"ז נכרת מפיהם והם ונשיהם וטפם אין להם טעות ביחוד ע"ש באורך
A same responsa from Rambam can be found in English in A Maimonides Reader ed. Isadore Twersky, "Letter to an Inquirer" (477). It records the second half of the responsa:
...When your teacher called you a fool for denying that Muslims are idolaters he sinned grievously, and it is fitting that he ask your pardon, though he be your master. Then let him fast and weep and pray; perhaps he will find forgiveness. Was he intoxicated that he forgot the thirty-three passages in which the Law admonishes concerning "strangers"? For even if he had been in the right and you in error, it was his duty to be gentle; how much more, when the truth is with you and he was in error!
The source is found in Teshuvot HaRambam #448. The halacha of Muslims not being idolators is codified in Rambam's Mishneh Torah, Maachalot Asurot, Ch. 11, Halacha 7:
וכן כל עכו"ם שאינו עובד עכו"ם כגון אלו הישמעאלים יינן אסור בשתייה ומותר בהנייה וכן הורו כל הגאונים, אבל אותם העובדים עכו"ם סתם יינם אסור בהנייה
And with regard to any gentile that doesn't worship false deities, such as the Ishmaelim [Arabs], it is forbidden to drink his wine. It is, however, permitted to benefit from it. The Geonim rule in this way. However, regarding those who worship false deities, it is forbidden to benefit from their ordinary wine.