Rambam in Guide for the Perplexed 3:48 writes:
It is also prohibited to kill an animal with its young on the same day
(Lev. xxii. 28), in order that people should be restrained and
prevented from killing the two together in such a manner that the
young is slain in the sight of the mother; for the pain of the animals
under such circumstances is very great. There is no difference in this
case between the pain of man and the pain of other living beings,
since the love and tenderness of the mother for her young ones is not
produced by reasoning, but by imagination, and this faculty exists not
only in man but in most living beings. This law applies only to ox and
lamb, because of the domestic animals used as food these alone are
permitted to us, and in these cases the mother recognises her young.
(Friedlander translation)
The Sefer Hachinuch in Mitzvah # 294 mentions a similar reason, and also adds an additional idea that not killing the mother and child on the same day reminds us that there is Divine Providence on each animal species as a whole:
משרשי המצוה שיתן האדם אל לבו כי השגחת השם ברוך הוא על כל מיני בעלי
חיים בכלל ועם השגחתו עליהם יתקיימו לעולם כי השגחתו בדברים זהו קיומם
ועל כן לא יבטל מן המינין לגמרי כל ימי עולם ואע"פ שהשגחתו על מין האדם
בפרט וכמו שכתבתי למעלה בסדר אשה כי תזריע עשה ג' לא כן מיני שאר בעלי
חיים אלא דרך כלל במין ישים השם השגחתו ברוך הוא ועל כן נמנענו מלכלות
האילן וענפיו ביחד לרמז זה ועוד נוכל לומר בענין על צד הפשט כמו כן שהוא
לקבוע בנפשנו מדת החמלה ולהרחיק מדת האכזריות שהיא מדה רעה ולכן אע"פ
שהתיר לנו האל מיני בעלי חיים למחייתנו צונו לבל נהרוג אותו ואת בנו ביחד
ולקבוע בנפשנו מדת החמלה
Radvaz in Metzudas Dovid Mitzvah # 203 echoes the idea about instilling compassion in mankind, and he throws in some kabbalistic stuff as well, most notably the idea that a human may have been reincarnated in this animal:
טעם מצוה לפי הפשט לקבוע בנפשותינו מדת החמלה והרחמנות שהיא מדה טובה מאד
ולהרחיק ממנו מדת אכזריות כפי מה שכתבנו למעלה במצות השחיטה ועל דרך הסוד
כבר כתבתי למעלה דעת קצת חכמי קבלה שיש חזרה בבהמות ואם נשלם עונו הקב"ה
מזמינו ליד ישראל לשחיטה לקבל ענשו ברחמים ואז מתעלה במדרגה הראויה כפי
משפטו הצדק ולפי זה טעם המצוה הוא משום ואהבת לרעך כמוך ואין ראוי לדון
אב ובנו ביום א' ואם ישחטם ביום א' אין כאן דין ברחמים גם לדעת אחרים
כיון שבעלי חיים הראוים להקרבה נאצלו ממדת הרחמים והכח שלהם גם הוא מושך
משם אין ראוי לנהוג במדת הדין הקשה עמהם דנהי דהותרה לאכילה מכל מקום לא
הותרו לעשות בהם אכזריות המדה ולפיכך נוהג בחולין ובמוקדשין אינו נוהג
ואינו נוהג אלא בשחיטה לפי שאז באה לתקנו ולעלותו וסוד מצוה תלוי בסוד
מצות שלוח הקן שהוא לעורר הרחמים בעולם כאשר נבאר בסמוך בע"ה וכבר כתבתי
לך כי לפעמים תתגלגל נפש אדם בבהמה טהורה ואם טהרה ונשלם עונה יזמין אותה
הקב"ה לקרבן ועל כן תתעלה ויש שמזמין אותו לאכילת ישראל ותתעלה אבל לא
כעילוי הראשון ואם נתנבלה או נטרפה ע"י סמאל וכחותיה זה לראיה שלא נשלם
עונה ותתגלגל עוד בבהמה טמאה ואם גדול עונה תנתן לעבוד ולמשא כחמור וגמל
וכיוצא בהם ואם לא היה עונה כל כך יטרפוה חיות היער ויש מי שכתב שזה רמז
הכתוב וריוח תשימו בין עדר ובין עדר ר"ל בין עדר בהמה טמאה לטהורה ובין
כל גלגול וגלגול מחזירין אותו באדם אולי ישוב ואם לא ישוב בכל אלה
מורידין אותו לארץ כדאיתא ורוח הבהמה היורדת היא למטה לארץ ואח"כ עולה
במדרגת הגלגולים עד שעולה אפילו רשע שבישראל אין נשמתו נאבדת כי חשב
מחשבות לבלתי ידח ממנו נדח ומה שאמר הכתוב והאבדתי את הנפש ההיא שהיא
נאבדת מכלל ישראל ובאה בכלל הגוים ולכן תקנו שלא עשני גוי והכל במשפטו
הצדק ואנחנו אין בנו דעת לדעת דבר זה על בוריו