The source for following the minhagim of ones father is a Gemara Pesachim (50b):
בני ביישן נהוג דלא הוו אזלין מצור לצידון במעלי שבתא אתו בנייהו קמיה
דרבי יוחנן אמרו לו אבהתין אפשר להו אנן לא אפשר לן אמר להו כבר קיבלו
אבותיכם עליהם שנאמר שמע בני מוסר אביך ואל תטוש תורת אמך
"Bnei Beishan" complained to R' Yochanan that the custom their father had adopted not to go to the market on Fridays was not financially viable for them, and they wanted to scrap this custom. R' Yochanan replied 'Your fathers already accepted this custom upon themselves', ruling that they were bound to keep this custom, citing the verse 'שמע בני מוסר אביך'.
The Rivash (and many Poskim in his footsteps) opines that a minhag is binding, sourcing his claim from Pesachim 50b. He writes (§399):
ועוד שאפילו בדברים שלא קבלו עליהם בני העיר בהסכמה, אלא שנהגו כן מעצמם לעשות גדר וסייג לתורה אף הבנים חייבין לנהוג בותו גדר, כדאמרינן במסכת פסחים בני בישן נהגו וכו׳ אמר להו כבר קבלו עליהם אבותיכם וכתיב שמע בני מוסר אביך ואל תטוש תורת אמך. ואם לא היה ביד האבות לתקן על הבנים איך היו הבנים אסורין במה שנהגו בו אסור האבות מעצמם וכו׳.
However, the Pischei Teshuva Shulchan Aruch (YOD 214:5) quotes the Zichron Yosef who limits this law:
והעלה דאין הבן מחוייב להתנהג בהנהגת אביו זולת מה שהתנהג גם הבן מאז שהגדיל שהרגילוהו אבותיו ללכת בדרכיהם, ועל אופן זה מיירי נמי המחבר שכתב קבלת הרבים חלה עליהם ועל זרעם דהיינו שכבר נהגו כן יושבי עיר וזרעם והוי כנדרו גם לזרעם ולהכי חייבים לישות כתקנתם, מה שאין כן אם הבן לא התחיל להתנהג מעולם כמנהג הטוב של אביו אין הבן מחוייב להתנהג בפרישות ההוא
In other words, although there is no 'power of tradition' which obligates a son to follow the practices of his father, if the son was raised by his father and therefore [from the age of reaching adulthood] practiced his fathers customs, he would be obligated to follow them, similar to a נדר לדבר מצוה which can be caused simply by performing a good practice without the disclaimer that you do not want to make a נדר.
The Chavas Yair (§126) [and Pri Chadash (496, Dinei Minhagei Issur §7)] quotes the Rivash, and writes that it is unreasonable to say that every son must follow every stringency of his father, and proves so lengthily; he concludes that the Gemara Pesachim 50b and the Rivash are not talking about individual families, but the customs of a town, which are halachically binding even to future generations (See Shulchan Aruch 214:2 - קבלת הרבים חלה עליהם ועל זרעם).
The contemporary Poskim (Igros Moshe, Shevet Halevi [5:129, 6:59, 9:193], Minchas Yitzchok [3:144:2]) rule like the abovementioned opinion. For example, R' Moshe Feinstein (Igros Moshe OCH 3:64) rules:
ואם מנהג מקומו היה ג״כ להקל ורק אביו נהג להחמיר אין הבן מחוייב להתנהג אלא אם כבר התנהג גם הבן בעצמו בגדלותו אף שהיה זה ממה שהגדילו אביו ולא מצד בחירת עצמו להחמיר
The Shevet Halevi (6:59) discusses Sephardic students who are enrolled in Ashkenazi yeshivos, and wanted to change certain minhagim (like nusach hatefilla). He writes:
דכל זמן שאין להם טעם מספיק ע״פ הלכה לעזוב מנהג המסור להם איכא בזה גם משום אל תטוש תורת אמיך, וכמובאר בפסחים נ ע״ב ובשו״ע יו״ד סי׳ רי״ד ס״ב קבלת הרבים חלה עליהם ואל זרעם וכו׳ אבל בדבר שקבל על עצמו שבט שלם בכלל ישראל כמו מנהגי הספרדים והכרעותיהם מפני שהם ספרדים ונמשכו אחרי רבותיהם זה כמה מאות בשנה - וכן ההכרעות האשכנזים כרמ״א שזה דבר הנמשך לדורות עולם מכמה מאות שנה בזה נראה דלא צריך דבלה משהגדיך דשורש שבטו ממילא מחייב לנהוג כאבותיו
Although he accepts the opinion of the Zichron Yosef that children are only bound to what they have practiced themselves in adulthood, this is only true of individual practices, not widespread customs for people of a certain 'tribe'.
The Divrei Malkiel (4:66, 5:81) forbids a son of generations who didn't shave their beards to begin shaving, based on the Gemara Pesachim.