One source is Rashi quoting Medrash in Bamidbar 13,22
"ויבא עד חברון" - (סוטה לד) כלב לבדו הלך שם ונשתטח על קברי אבות שלא יהא ניסת לחבריו להיות בעצתם וכן הוא אומר (דברים א) ולו אתן את הארץ אשר דרך בה וכתיב (שופטים א) ויתנו לכלב את חברון
Kaleb went to pray by our Forefathers so that he should not be tempted to join the spies bad report of the Land of Israel
Another source is Rashi Bereishis 48,7 that in Yirmiya chapter 31 when the Bnei Yisroel were sent to exile they would pray by Rachel's tomb to help them.
"ואקברה שם" - ולא הולכתיה אפי' לבית לחם להכניסה לארץ וידעתי שיש בלבך עלי אבל דע לך שע"פ הדבור קברתיה שם שתהא לעזרה לבניה כשיגלה אותם נבוזראדן והיו עוברים דרך שם יצאת רחל על קברה ובוכה ומבקשת עליהם רחמים שנא' (ירמיהו לא) קול ברמה נשמע וגו' והקב"ה משיבה יש שכר לפעולתך נאם ה' וגו' ושבו בנים לגבולם