This discrepancy is addressed in the footnotes of the collected lectures of the Lubavitcher Rebbe.
Likutei Sichos Vol. 17 p. 114 note 37
ועד"ז יש לבאר במאמר שמאי אבות פ"א מט"ו הוי מקבל את כל האדם בסבר פנים
יפות אף שמצינו שהנהגתו היתה באופן הפכי בהנכרים שבאו להתגייר אצלו (שבת
לא א) והרי במאמרו האדם (בה"א) כולל גם בני נח (תוד"ה ואין יבמות סא א)
אלא לאחר שאמר הלל (אבות שם מי"ב) הוי מתלמידיו של אהרן אוהב שלום כו'
פעל גם על שמאי שהי' מבחי' הגבורות שגם הוא יאמר והוי מקבל את כל האדם
בסבר פנים יפות אף שמצ"ע דחפו באמת הבנין (שבת שם
Here the explanation seems to be that Shammai was saying this as some kind of continuation of Hillel's statement of loving peace, even though it did not accord with his own actions.
Likutei Sichos Vol. 17 p. 354
להעיר מהנהגת שמאי (שבת לא א) וראה שושנים לדוד הובא בלקוטים למשניות כאן
אבל י"ל דשאני התם שאם הי' מקבלו בספ"י הי' אפשר להנכרי לפרש שיש מקום
דעתו
Here the explanation given is that there was a specific need to be harsh with the gentiles, namely, that they not think that their ideas were correct.
R. Gershon Chanoch Lapeh also raises this contradiction and says that there is a simple resolution. In Avos, Shammai refers to every אדם (man/person). However there is a Talmudic passage in Bava Metziah that says that gentiles are not called אדם. Thus, Shammai's adage did not apply to his situation in Maseches Shabbos:
Megachalei Hatorah Avos 1:15
שמאי אומר עשה תורתך קבע וכו' והוי מקבל כל אדם בסבר פנים יפות וראה בשבת
לא ע"א ת"ר מעשה בנכרי אחד שבא לפני שמאי אמר לו כמה תורות יש לכם וכו'
גער בו והוציאו בנזיפה בא לפני הלל גייריה וכו' שוב מעשה בנכרי אחד שבא
לפני שמאי א"ל גיירני ע"מ שתלמדני וכו' דחפו באמת הבנין וכו' עי"ש וממעשה
זה שראינו יש בו תמיהה מרובה על ההלכה של שמאי שסותר עצמו במעשיו ונראה
לתרץ בס"ד ע"פ הנאמר בב"מ קיד ע"ב דתניא ר"ש אומר קבריהן של עכו"ם אין
מטמאין שנאמר ואתן צאני צאן מרעיתי אדם אתם אתם קרוין אדם ואין עכו"ם
קרוין אדם (וע"ע בע"ז ג' ע"א בתוס' ד"ה כהנים) ולפי"ז פשוט שבאם עכו"ם לא
נכללים בגדר אדם מובן המשנה הוי מקבל כל אדם בסבר פנים יפות אדם דייקא
משא"כ נכרי וכדומה שאין הוא צריך לקבלם בסבר פנים יפות ודו"ק (ומצאתי שכן
כתב השפ"א ותירץ בדרר אחר
R. Meir Yosef Katz in She'ar Yoseph on the Mishnah in Avos mentions a few possible resolutions:
- Shammai's statement in Avos is indeed an admission that Hillel's approach to the gentiles was correct.
- Shammai's statement was not applicable to converts who were trying to convert conditionally
- Gentiles are not included in אדם
- Shammai saw that the specific gentile was not an אדם