כמו שנזכר בבבא מציעא בענין מחלוקתו של רבי אליעזר שנעקר חרוב ממקומו וחזר אמת המים לאחוריו וזולת זה ואף על פי כן לא קבעו הלכה כדבריו לפי שלא היה מוסכם בנביא
As is mentioned in Bava Metzia regarding the dispute of R. Eliezer, where a carob tree was uprooted, a spring of water flowed backwards, and other such things, yet even so they did not set the law like his words because he was not accepted as a prophet.
וכן אם עקר דבר מדברים שלמדנו מפי השמועה או שאמר בדין מדיני תורה שה' צוה לו שהדין כך הוא והלכה כדברי פלוני הרי זה נביא השקר ויחנק אף על פי שעשה אות שהרי בא להכחיש התורה שאמרה לא בשמים היא
Similarly, if [a "prophet"] nullifies a concept which was transmitted by the oral tradition, or states with regard to one of the Torah's laws that God commanded him to render such and such a judgment, or that such and such is the law regarding a particular instance and the decision follows a certain opinion, he is a false prophet and should be [executed by] strangulation. [This applies] even if he performs a wonder, for he is coming to deny the Torah, which states: "It is not in the heavens." (Touger translation)
ובזה בלבד נבדל הנביא משאר בני אדם בתורה אבל בעיון ובדין ובחקירה בדיני התורה הרי הוא כשאר החכמים הדומים לו שאינם נביאים ואם יפרש איזה פירוש ויפרש מי שאינו נביא פירוש אחר ויאמר הנביא אמר לי ה' כי פירושי הוא הנכון אין שומעין לו אלא אפילו אלף נביאים שכולם כאליהו ואלישע פירשו איזה פירוש ואלף חכמים וחכם פירשו היפך אותו הפירוש אחרי רבים להטות ועושים כדברי האלף חכמים וחכם לא כדברי האלף נביאים המופלגים וכך אומרים חז"ל האלהים אלו אמרה לי יהושע בן נון בפומיה לא הוה ציתנא ליה ולא שמענא מניה ואמרו עוד אם יבוא אליהו ויאמר חולצין במנעל שומעין בסנדל אין שומעין לו כוונתם בכך שאין תוספת וגרעון בתורה מצד הנבואה בשום פנים וכן אם אמר הנביא שה' אמר לו כי הפסק במצוה פלונית כך ושדינו של פלוני הוא הנכון הרי אותו הנביא נהרג לפי שהוא נביא שקר כמו שביארנו לפי שאין תורה אחרי השליח הראשון ואין תוספת ואין גרעון לא בשמים היא ולא המחנו ה' אל הנביאים אלא המחנו אל החכמים בעלי הדין לא אמר ובאת אל הנביא אלא אמר ובאת אל הכהנים הלוים ואל השופט וכבר האריכו חכמים בענין זה מאד מאד והוא הנכון
(Kafih translation)
And in this alone differentiates a prophet from other men in Torah, but in analysis and application and investigation of the laws of the Torah he is like other sages who are similar to him who are not prophets. And if he propounds an explanation, and someone who is not a prophet propounds a different explanation, and the prophet says "God told me that my explanation is correct" we don't listen to him. Even if there are 1,000 prophets all of whom are like Elijah and Elisha who propound an explanation, and there are 1,001 sages who explain it oppositely, we follow the majority and we act in accordance with the words of the 1,001 sages, not in accordance with the words of the 1,000 outstanding prophets. And so said the Sages: "By God! [Even] if Joshua son of Nun had said this to me with his own mouth I would not accepted it and I would not listen to him." And they said further: "If Elijah would come and say that we do chalitza with a shoe, we would listen to him; [if he would say that we do chalitza] with a sandal, we wold not listen to him." Their point with this is that there is no adding to or subtracting from the Torah in any form by way of prophecy. And similarly if a prophet says that God told him that the ruling in a certain commandment is such, and that the law of So-and-So is correct, that prophet is killed because he is a false prophet, as we have explained. Because there is no Torah after the original messenger, and there is no adding or subtracting; it is not in heaven. And god did not assign us to the prophets, but he assigned us to the sages the masters of derivation; He did not say "and you shall come to the prophet", but He said "and you shall come to the priests, the Levites, and the judge". And the Sages have already elaborated on this matter very very much, and it is correct.