Perhaps you wouldn't know, without someone to educate you.
Ramchal, Derech Hashem, 3:4:3:
הנה אפשר שיגיע גילוי ממנו ית' אל אדם והוא לא יכיר בו כמו שיכיר הנביא אלא יחשבהו בא מן המורגשות עד שיגבר עליו השפע הנבואיי ואז יכיר הענין כמות שהוא באמת. ומן המין הזה היתה קריאת ה' לשמואל שלא התנבא מתחלה ולא שפע עליו השפע אלא שנגלה עליו קול כקול מורגש ולא השיג בזה יותר אבל אחר כך שפע עליו השפע והכיר והשיג הנבואה בדרכיה. וכן מראת הסנה למשה בתחלה לא נגלה לו אלא כמורגשות וראה הסנה בוער באש והקב"ה קראו כקולו של אביו אך אחר כך שפע עליו השפע והשיג הנבואה לאמתה
Summary: A prophet can get a prophecy and not recognize it, and mistake it for his own physical senses. This is what happened with Shmuel - he mistook the voice for nothing more than a voice.
3:4:4:
והנה יצמרכו למלמד ומדריך עד עמדם על בוריה של הנבואה בשלימות
Acquiring prophetic understanding requires a teacher and guide.
3:4:10:
ומן המין הזה היו נביאי הבעל והאשרה שהנה היו משתדלים בזה עד שהיו מתדבקים בכחות האלה ומשיגים ידיעת קצת דברים שעל ידיהם היו מפתים המאמינים בם וכן מחדשים בכח זה נפלאות לאות על נבואתם וכמ"ש. ואמנם הם בעצמם היו יודעים שאין זה להם אלא מצד הטומאה מה שבחרו להם ולא היו חושבים בעצמם שהם נביאים אלא ברשעת לבבם היו עושים כן. אך גם למי שלא השתדל על זה היה אפשר שיקרה זה כמ"ש ועל כן היו צריכים המשתדלים לנבואה למלמד מובהק שילמדם כמ"ש ועל ידו היו נצולים. וכל זה עד שיגיעו למדריגת הנבואה באמת כי כיון שהגיעו לה כבר ראו ההפרש הגדול והכירוהו ואי אפשר להם עוד שיסתפקו בזה כלל
Summary: False prophets intentionally receive some power or knowledge from evil forces. However, someone who is not properly versed in true prophecy can make an error and believe they are receiving true prophecy when they are actually not. Therefore, a prophet needs to strive for prophecy under instruction of a guide.
Note that Eli actually instructed Shmuel to realize that it was Hashem speaing to him:
Shmuel 1 3:8-9
ח וַיֹּסֶף יְהוָה קְרֹא-שְׁמוּאֵל, בַּשְּׁלִישִׁת, וַיָּקָם וַיֵּלֶךְ אֶל-עֵלִי, וַיֹּאמֶר הִנְנִי כִּי קָרָאתָ לִי; וַיָּבֶן עֵלִי, כִּי יְהוָה קֹרֵא לַנָּעַר. ט וַיֹּאמֶר עֵלִי לִשְׁמוּאֵל, לֵךְ שְׁכָב, וְהָיָה אִם-יִקְרָא אֵלֶיךָ, וְאָמַרְתָּ דַּבֵּר יְהוָה כִּי שֹׁמֵעַ עַבְדֶּךָ; וַיֵּלֶךְ שְׁמוּאֵל, וַיִּשְׁכַּב בִּמְקוֹמוֹ
Summary: Eli realized it was Hashem speaking to him. Eli told him, if you hear the voice again, respond and say "Speak Hashem for I am listening."