Good question!
This question was discussed ~2,000 years ago in the Talmud in Tractate Menachot folios 65b - 66a.
Multiple answers are given - with proofs from the Bible - why the "morrow after the Sabbath" refers to the 2nd day of Pessach and not to [the following] Sunday.
Here's the original. You can read this in English here.:
איתותב חגא דשבועיא דלא למספד שהיו בייתוסין אומרים עצרת אחר השבת
The opening line: Do we start counting from Sunday or from the 2nd day of Pessach - along with a discussion with some (self-declared) Beitusim.
ניטפל להם רבן יוחנן בן זכאי ואמר להם שוטים מנין לכם ולא היה אדם אחד שהיה משיבו חוץ מזקן אחד שהיה מפטפט כנגדו ואמר משה רבינו אוהב ישראל היה ויודע שעצרת יום אחד הוא עמד ותקנה אחר שבת כדי שיהו ישראל מתענגין שני ימים קרא עליו מקרא זה (דברים א) אחד עשר יום מחורב דרך הר שעיר (דף סה,ב) ואם משה רבינו אוהב ישראל היה למה איחרן במדבר ארבעים שנה אמר לו רבי בכך אתה פוטרני?
Rabbi Yochanan then refutes them - and brings the first proof that we start counting from the 2nd day of Pessach.
אמר לו שוטה ולא תהא תורה שלמה שלנו כשיחה בטילה שלכם כתוב אחד אומר (ויקרא כג) תספרו חמשים יום וכתוב אחד אומר (ויקרא כג) שבע שבתות תמימות תהיינה הא כיצד כאן ביום טוב שחל להיות בשבת כאן ביו"ט שחל להיות באמצע שבת
Rabbi Eliezer brings a different proof:
רבי אליעזר אומר אינו צריך הרי הוא אומר (דברים טז) תספר לך ספירה תלויה בבית דין שהם יודעים לחדש ממחרת השבת מחרת י"ט יצאת שבת בראשית שספירתה בכל אדם
Rabbi Yehoshua brings another proof:
רבי יהושע אומר אמרה תורה מנה ימים וקדש חדש מנה ימים וקדש עצרת מה חדש סמוך לביאתו ניכר אף עצרת סמוך לביאתו ניכרת וא"ת עצרת לעולם אחר השבת היאך תהא ניכרת משלפניה
Rabbi Yishmael brings another proof:
רבי ישמעאל אומר אמרה תורה הבא עומר בפסח ושתי הלחם בעצרת מה להלן רגל ותחלת רגל אף כאן רגל ותחלת רגל
Rabbi Yehuda ben Beteira also brings a proof:
רבי יהודה בן בתירא אומר נאמר שבת למעלה ונאמר שבת למטה מה להלן רגל ותחלת רגל סמוך לה אף כאן רגל ותחלת רגל סמוך לה
Rabbi Yossi bar Yehuda brings a proof based on a Beraitha:
ת"ר (ויקרא כג) וספרתם לכם שתהא ספירה לכל אחד ואחד (ויקרא כג) ממחרת השבת ממחרת יו"ט או אינו אלא למחרת שבת בראשית רבי יוסי בר יהודה אומר הרי הוא אומר (ויקרא כג) תספרו חמשים יום כל ספירות שאתה סופר לא יהו אלא חמשים יום ואם תאמר ממחרת שבת בראשית פעמים שאתה מוצא חמשים ואחד ופעמים שאתה מוצא חמשים ושנים חמשים ושלשה חמשים וארבעה חמשים וחמשה חמשים וששה
Rabbi Yehuda ben Beteira continues with anothr proof:
ר"י בן בתירא אומר אינו צריך (דף סו,א) הרי הוא אומר תספור לך ספירה תלויה בבית דין יצתה שבת בראשית שספירתה בכל אדם
Rabbi Yossi has another proof:
רבי יוסי אומר ממחרת השבת ממחרת יום טוב אתה אומר ממחרת יו"ט או אינו אלא ממחרת שבת בראשית אמרת וכי נאמר ממחרת השבת שבתוך הפסח והלא לא נאמר אלא ממחרת השבת דכל השנה כולה מלאה שבתות צא ובדוק איזו שבת ועוד נאמרה שבת למטה ונאמרה שבת למעלה מה להלן רגל ותחילת רגל אף כאן רגל ותחילת רגל
Rabbi Shimon ben Elazar brings a longer proof:
רבי שמעון בן אלעזר אומר כתוב אחד אומר (דברים טז) ששת ימים תאכל מצות וכתוב אחד אומר (שמות יב) שבעת ימים מצות תאכלו הא כיצד מצה שאי אתה יכול לאוכלה שבעה מן החדש אתה יכול לאוכלה ששה מן החדש (ויקרא כג) מיום הביאכם תספרו יכול יקצור ויביא ואימתי שירצה יספור תלמוד לומר (דברים יז) מהחל חרמש בקמה תחל לספור אי מהחל חרמש תחל לספור יכול יקצור ויספור ואימתי שירצה יביא ת"ל מיום הביאכם אי מיום הביאכם יכול יקצור ויספור ויביא ביום ת"ל (ויקרא כג) שבע שבתות תמימות תהיינה אימתי אתה מוצא שבע שבתות תמימות בזמן שאתה מתחיל לימנות מבערב יכול יקצור ויביא ויספור בלילה ת"ל מיום הביאכם הא כיצד קצירה וספירה בלילה והבאה ביום
Rava summarizes: You could refute some of the above proofs, others you cannot refute - and he explains why.
אמר רבא כולהו אית להו פירכא בר מתרתי תנאי בתראי בין במתניתא קמייתא בין במתניתא בתרייתא דלית להו פירכא אי מדרבן יוחנן בן זכאי דלמא כדאביי דאמר אביי מצוה למימני יומי ומצוה למימני שבועי אי מדרבי אליעזר ורבי יהושע ממאי דביום טוב ראשון קאי דלמא ביו"ט אחרון קאי דרבי ישמעאל ור' יהודה בן בתירא לית להו פירכא אי מדרבי יוסי בר' יהודה הוה אמינא דלמא חמשין לבר מהני שיתא אי מדר' יהודה בן בתירא ממאי דביו"ט ראשון קאי דלמא ביו"ט אחרון קאי ר' יוסי נמי חזי ליה פירכא והיינו דקאמר ועוד.
As you see, this is discussed at length with each proof being analyzed to see if it can be refuted. The Talmud concludes that we start counting on from the second day of Pessach, and that is how it is codified by all Poskim.