Maybe what you are looking for is about a man never forgetting his first wife in San. 22a:

>א"ר שמואל בר נחמן לכל יש תמורה חוץ מאשת נעורים שנא' (ישעיהו נד, ו) ואשת נעורים כי תמאס מתני לה רב יהודה לרב יצחק בריה אין אדם מוצא קורת רוח אלא מאשתו ראשונה שנא' (משלי ה, יח) יהי מקורך ברוך ושמח מאשת נעוריך 
>
>Rav Shmuel bar Nachman said, "for everything there is a replacement except for the wife of one's youth as it says, 'And the wife of you when she is rejected (Isa. 54:6)'. Rav Yehudah taughter Rav Yitzchok his son, 'A person doesn't find pleasure except from his first wife, as it says, 'Your womb shall be blessed and you shall be happy with the wife of your youth (Pro. 5:18)".