The Sefer HaChinuch says something which I believe addresses this question in two places.
Mitzvah 78 - אחרי רבים להטות
משרשי מצוה זו, שנצטוינו בזה לחזק קיום דתנו, שאלו נצטוינו קימו התורה כאשר תוכלו להשיג כונת אמתתה, כל אחד ואחד מישראל יאמר דעתי נותנת שאמתת ענין פלוני כן הוא, ואפילו כל העולם יאמרו בהפכו לא יהיה לו רשות לעשות הענין בהפך האמת לפי דעתו, ויצא מזה חרבן שתעשה התורה בכמה תורות, כי כל אחד ידין כפי עניות דעתו. אבל עכשיו שבפרוש נצטוינו לקבל בה דעת רב החכמים יש תורה אחת לכלנו והוא קיומנו גדול בה ואין לנו לזוז מדעתם ויהי מה
Summary: If we would each follow our own ideas, it would lead to the deterioration of our nationhood and disunification of the Torah. Now that we all follow the Sages, there is one Torah and it maintains us.
Mitzvah 496 - שלא להמרות על פי בית דין הגדול
כלומר, שאפילו יהיו הם טועים בדבר אחד מן הדברים אין ראוי לנו לחלק עליהם, אבל נעשה כטעותם, וטוב לסבל טעות אחת ויהיו הכל מסורים תחת דעתם הטוב [ה] תמיד, ולא שיעשה כל אחד ואחד כפי דעתו, שבזה יהיה חרבן הדת, וחלוק לב העם, והפסד האמה לגמרי
Summary: Even if the Sages are occasionally mistaken, it is better to listen to them and have the rare mistake, rather than each person do according to his own ideas, which would destroy the religion and divide the heart of the nation.
Following this logic, it would seem that if you would follow your own opinion, and everyone else would follow their own opinion, it would be a breakdown of the nationhood of Israel in that each person is doing his own thing. The ideal is to have one unified nation with one Torah.