This is not a complete answer, but...
There is an interesting responsum of R. Sherira Gaon. The question posed to him was what one should do in a place where people don't wear tefillin. Specifically, is there a problem of yuhara if you wear tefillin when everyone else does not? The question was compounded with an additional factor, namely, that the person wearing tefillin might not be the most scrupulous of individuals in his other religious activity, thereby accentuating the yuhara by specifically doing the mitzvah that no one else is doing while not caring about the other mitzvot.
R. Sherira's answer was pretty emphatic. He begins by saying that the concept of yuhara is applicable to something that is extra piety and not strict law. He then states simply that tefillin is a biblical commandment and there is no way to get out of it. You can't not fulfill a biblical commandment because of such concerns. Even if the person in question is a horrible Jew in general, it doesn't change the fact that he still has an obligation to wear tefillin. The fact that he doesn't fulfill other mitzvot is a shame, but has no halachic impact on his obligation to fulfill this mitzvah. R. Sherira added that if the person in question is a respected individual there is all the more reason for him to publicly wear tefillin so that the rest of the people will follow his example and start fulfilling the mitzvah, and for him not to do so would be a desecration of God's name.
That said, R. Sherira noted that if the person in question really is a "bad Jew" then it could smack of yuhara that the one mitzvah he does is the one that no one else does. In such a case the person must still wear tefillin (as mentioned above, since it is a biblical obligation) but should do it in private so as not to demonstrate yuhara.
From this responsum we can derive two important things:
- Certain halachic obligations (e.g. biblical commandments) completely override any concerns of yuhara.
- Even when halacha obligates you to do something, it doesn't necessarily make it not yuhara. You have to do it, but you also have to do whatever you can to eliminate the yuhara aspect (usually accomplished by doing it in private).
The responsum can be found in Teshuvot U'Peirushei R. Sherira Gaon 1:2, and with minor differences in Teshuvot HaGeonim Im Teshuvot U'Pesakim Mei'Chachmei Provencia §76.
Here is the actual text of the responsum:
תשובות ופרושי ר' שרירא גאון א:ב
וששאלתם אמרי' בגמר' פושעי ישראל בגופן אמר רב קרקפתא דלא מנח תפילי
והאידנא מאי טעמ' זלזלי ביה רוביה דעלמ' אי משום מעשה דאלישע בעל כנפים
כבר פירשו גאונים הראשונים ההוא בשעת השמד ויש מקצת התלמידים שמניחין
תפילין מי מחזי כיוהרא או לא או דילמ' קיומי מצוה עדיף היאך מנהג אדונינו
ומנהג הישיבה ואם לא נהגו בכך מאיזה טעם ילמדו אדונינו
הכין חזינא דבארץ ישראל מימים הראשונים כיון דנפישי שמדא ולא יכלי לאחותי
תפילי אשתכחן מנהון ובבל טובא הוו זהירין וביותר רבנן יושבי מדרשות והוא
איכא בתי דמיעבדן בהון תפילין ומאן דניחא ליה אתי וזבין כדקאמר ליה אביי
לרבינא תפילין השתא בי רב חבו שכיחי ושאר העם בחוצות לא הוו קבעין
דצריכין למנגע בגוים ודלמא חייפין בהו נדות וזבות אבל בעת תפילה קבעינן
וכיון דהוה אתו מארץ ישראל להכא לא מחתינן תפילי ואזלי' מהכא להתם
ואשכחין ראשותא ורבנן דלא מחתין תפילי אימעוטי קליקלי בכל דור ודור
דאידמי להון לשאר עמא דצריכות גוף נקי כאלישע בעל כנפים וטובא פרישו להון
ראשונים דלא צריכין השתא כיון... והוה מחלין על נפשיהון ואמעיטו אבל
לאשתכוחי לגמרי חס ושלום דאישתכחו וטובא איכא במדינאתא וברוסתקי רבנן
וקשישי דמחתין תפילין ןזהירי רבנן לאחויי להדדי קשר של תפילין כדחוו למשה
דחוו ליה מן שמיא דאמר רב חנא בר ביזנא אמ' ר' שמעו' חסידא וראית את
אחורי מלמד שהראהו הקדוש ברוך הוא למשה קשר של תפילין מאחוריו ותדיר דקא
מכרזיננא ומודעיננא כדר' חייא בר אבא אמ' ר' יוחנן כל הקורא קרית שמע בלא
תפילין כאילו הקריב עולה בלא מנחה זבח בלא נסכים
ומאן דקבע להו חס ושלום דמחזי כיוהרא [וליכא למיחש ליוהרא אלא] מידעם דלא
מיחייב ביה ועביד ליה רבים מידת חסידות כיון שכולי עלמ' לא קא מימנעי מן
ההיא מילתא והוא קא מימנע מינה או דקא עביד מאי דלא קעבדין כולי עלמ'
מיחזי כיוהרא כדתנן חתן פטור מקרית שמע ותנן בהדא חתן אם רוצה לקרות את
שמע לילה הראשון קורא רבן שמעו' בן גמליאל או[מר] לא כל הרוצה ליטול את
השם יטול ואף על גב דבהא לא חיישי רבנן ליוהרא ורבן שמעו' בן גמליאל קא
חייש ליוהרא באידך קא חיישי רבנן ליוהרא דקאמ' רבן שמעו' בן גמליאל יעשו
כל אדם עצמן כתלמיד חכם כתלמידי חכמים אבל רבנן לא קאמרי הכי משום
דחיישין ליוהרא וכולהו בדבר שאין חייב בו אבל תפילין דכל אדם חייבין בהם
ומשום דאחריני פשעין מאן דלא פשע לא מחזי כיוהרא אבל ודאי אי אניש פריצא
הוא ולא ידע בשמור מצות והדא מילת' דרבים פושעים (בההוא) [בה הוא] דקא
מזדהר ביה אבל מילי אחרנייתא דרבים זהירין בהו קא פשע אית למיחש ליוהרא
ולמימנעיה לא איפשר דהא[י]כין מימנע אדם ממצוה משום דקא פשע מן חדא מימנע
מן חדא אלא אי הכי הוא מיבעי ליה לאחותיה בביתיה ושלא בפני רבים [דאמרין]
מאי טעמ' זהיר האי בהדא מצוה מכל מצות אלא לאחויי יוהרא אבל אי גברא דלא
פריץ דלא ידע דפשע במצות אף עלגב דלא ידיע בגוף נקי ובזהירות וחסידות לא
מיחזי כיוהרא ואיכא למימ' דאחרין נמי כד חזיין ליה עבדין כוותיה וביותר
מאן דאיתיה גברא רבה קשישא מעליא דאי לא קבע קאי בעון דחילול השם
תשובות הגאונים עם תשובות ופסקים מחכמי פרובינצא סימן עו
וששאלתם אמרי בגמר' פושעי ישראל בגופן אמר רב קרקפתא דלא מנח תפילי
והאידנא מאי טעמא זלזלי ביה רוביה דעלמא אי משום מעשה דאלישע בעל כנפים
כבר פרישו גאונים הראשונים ההוא בשעת השמד ויש מקצת התלמידים שמניחין
תפילין מי מחזי כיוהרא או לא או דילמא קיומי מצוה עדיף היאך מנהג אדונינו
ומנהג הישיבה ואם לא נהגו בכך מאיזה טעם ילמדנו אדונינו הכין חזינא דבארץ
ישראל מימים הראשונים כיון דנפישי שמדא ולא יכלי לאחותי תפילי אשתכחן
מנהון ובבבל טובא הוו זהירין וביותר רבנן יושבי מדרשות והוא איכא בתי
דמיעבדן בהון תפילין ומאן דניחא ליה אתי וזבין כדקאמר ליה אביי לרבינא
תפילין השתא בי רב חבו שכיחי ושאר העם בחוצות לא הוו קבעין דצריכין למנגע
בגוים ודלמא חייפין בהו נדות וזבות אבל בעת תפילה קבעינן וכיון דהוה אתו
מארץ ישראל להכא לא מחתינן תפילין ואזלי מהכא להתם ומשכחין דאשותא ורבנן
דלא מחתין תפילין אימעיטי קלי קלי בכל דור ודור דאידמי להון לשאר עמא
דצריכות גוף נקי כאלישע בעל כנפים וטובא פרישו להון ראשונים דלא צריכין
השתא כיון והוה מחלין על נפשיהון ואמעיטו אבל לאשתכוחי לגמרי חס ושלום
דאישתכחו וטובא איכא במדינאתא וברוסתקי רבנן וקשישי דמחתין תפילין וזהירי
רבנן לאחויי להדדי קשר של תפילין כדהוו למשה דהוו ליה מן שמיא דאמר רב
חנא בר ביזנא אמר ר' שמעון חסידא וראית את אחורי מלמד שהראהו הקב"ה למשה
קשר של תפילין מאחוריו ותדיר דקא מכרזיננא ומודעיננא כדר' חייא בר אבא
אמר ר' יוחנן דאמר ר' חייא בר אבא אמר ר' יוחנן כל הקורא קרית שמע בלא
תפילין כאילו הקריב עולה בלא מנחה זבח בלא נסכים ומאן דקבע להו חם ושלום
דמחזי כיוהרא מידעם דלא מיחייב ביה ועביד ליה רבים מידת חסידות כיון
שכולי עלמא לא קא מימנעי מן ההיא מילתא והוא קא מימנע מינה או דקא עביד
מאי דלא קא עבדינן כולי עלמא מיחזי כיוהרא כדתנן חתן פטור מקרית שמע ותנן
בהדא חתן אם רוצה לקרות את שמע לילה הראשון קורא רבן שמעון בן גמליאל
אומר לא כל הרוצה ליטול את השם יטול ואע"ג דבהא לא חיישי רבנן ליוהרא
ורבן שמעון בן גמליאל קא חייש ליוהרא באידך קא חיישי רבנן ליוהרא דקאמר
רבן שמעון בן גמליאל יעשו כל אדם עצמן כתלמידי חכמים אבל רבנן לא קאמרי
הני משום דחיישין ליוהרא וכולהו בדבר שאין חייב בו אבל תפילין דכל אדם
חייבין בהם ומשום דאחריני פשעין מאן דלא פשע לא מחזי כיוהרא אבל ודאי אי
אניש פריצא הוא ולא ידע בשמור מצות והדא מילתא דרבים פושעים בה הוא דקא
מזדהר ביה אבל מילי אחרנייתא דרבים זהירין בהו קא פשע אית למיחש ליוהרא
ולמימנעיה לא איפשר דה[י]כין מימנע אדם ממצוה משום דקא פשע מן חדא מימנע
מן חדא אלא אי הכי הוא מיבעי ליה לאחותיה בביתיה ושלא בפני רבים [דאמרין]
מאי טעמא זהיר האי בהדא מצוה מכל מצות אלא לאחויי יוהרא אבל אי גברא דלא
פריץ דלא ידע דפשע במצות אע"ג דלא ידיע בגוף נקי ובזהירות וחסידות לא
מיחזי כיוהרא ואיכא למימר דאחרין נמי כד חזיין ליה עבדין כוותיה וביותר
מאן דאיתיה גברא רבה קשישא מעליא דאי לא קבע קאי בעון דחילול השם