The Kitzur Shulchan Aruch in סימן עו - דיני התפלות בשבת וביום טוב Paskens:
סעיף יב': הָיוּ לְפָנָיו לְהִתְפַּלֵּל שְׁתֵּי תְּפִלּוֹת, אַחַת שֶׁל מִנְחָה וְאַחַת שֶׁל מוּסָף, כְּגוֹן שֶׁאֵחַר מִלְּהִתְפַּלֵּל מוּסָף עַד שֵׁשׁ שָׁעוֹת וּמֶחֱצָה, צָרִיךְ לְהִתְפַּלֵּל תְּחִלָּה מִנְחָה וְאַחַר כָּךְ מוּסָף, מִשּׁוּם דְּמִנְחָה תְּדִירָה יוֹתֵר, וְקַיְמָא לָן תָּדִיר וְשֶׁאֵינוֹ תָדִיר, תָּדִיר קוֹדֵם. וּמִכָל מָקוֹם בְּצִבּוּר אֵין לַעֲשׂוֹת כֵּן (רפ"ו).
"Once Mincha time arrives, one has to first daven Mincha - and then Mussaf - since Mincha has priority, being more frequent."
"However, one should not do so בְּצִבּוּר - in shul with a Minyan."
This is also the opinion of the Rambam in הלכות תפילה פרק ג - to prevent confusing people.
יא: היו לפניו שתי תפילות, של מנחה ושל מוספין--מתפלל של מנחה, ואחר כך של מוספין. ויש מי שהורה שאין עושין כן בציבור, כדי שלא יטעו.
The Aruch haShulchan (286:15) - based on a Yerushalmi - Paskens that this only applies until the time of Mincha Ketana, after which one has to first daven Mincha.
אמנם כשהגיע זמן מנחה קטנה, הביאו הראשונים מירושלמי - דבהכרח מחוייב להתפלל תחלה של מנחה.
In 286:17 he then brings the Magen Avraham that if you do not have sufficient time left in the day to daven both Mincha and Mussaf, then you daven Mussaf, as you can "catch up" Mincha after Maariv, but there is no tashlumim for a missed Mussaf.
והמג''א כתב דאם הוא סמוך לערב ואין שהות להתפלל שתיהן - יתפלל של מוסף, דמנחה יש לה השלמה ע''ש.
BTW: The Aruch HaShulchan has a Lomdishe piece explaning why it's at all possible to daven Mincha before Mussaf, even though one could never bring the Mussaf sacrifices after the afternoon sacrifice, which corresponds to our Mincha.