Yeshiva.org.il has an article on יצחק אבינו
כאשר הכתוב מספר כי יצחק אבינו לקח את רבקה כאשר היה בן ששים שנה, רש"י
מבאר זאת ומוסיף ליצחק את הכינוי התואם את תכונותיו:"בן שישים שנה - עשר
שנים משנשאה עד שנעשית בת שלוש עשרה שנה וראויה להריון, ועשר שנים הללו
צפה והמתין לה כמו שעשה אביו לשרה, כיון שלא נתעברה ידע שהיא עקרה והתפלל
עליה. ושפחה לא רצה לישא, לפי שנתקדש בהר המוריה להיות עולה תמימה.
It explains according to Rashi that Isaac was 60 years old when he married Rebecca who
was 3 years old. Isaac waited 10 years until she was 13 and should be
able to conceive and then waited another 10 years for her to conceive.
She did not conceive. (Avrohom took a shifcho after the 10 years that
he waited for Soroh to conceive.) Isaac did not want to to take a
shifcho because he was made holy as an עולה תמימה (perfect offering)
when he was taken up on Mount Moriah (and it would have been
inappropriate for the עולה תמימה to associate with a shifcho.)
So we see that Isaac had no other partners and therefore did not associate with Rebecca's maidens.