Even the mishnah in pirkei avos is not interpreted by many achronim as the simple understanding.
For example the Maharal explains that the mishnahs meaning is that a man should not learn torah with a woman. (see his peirush on this mishnah in full) but not having to do with having a conversation.
Also a different version in avos derebi natan gives a slightly different approach. Basically saying, to limit the scope of conversation to things that wont cause issues.
אבות דרבי נתן, פרק שביעי, משנה ג
דבר אחר: אל תרבה שיחה עם האשה כיצד? בזמן שאדם בא לבית המדרש ולא היו נוהגין בו כבוד, או שערער עם חברו, אל ילך ויאמר לאשתו: כך וכך ערערתי עם חברי, כך וכך אמר לי, כך וכך אמרתי לו, מפני שבוזה את עצמו ובוזה את אשתו ובוזה את חברו, ואשתו שהיתה נוהגת בו כבוד עומדת ומשחקת עליו. כיון ששמע חברו אמר: אוי לי, דברים שבינו לביני הלך ושׂחן לאשתו. ונמצא אותו האיש בוזה את עצמו ואת אשתו ואת חברו.
אבות דרבי נתן, פרק שביעי, משנה ג
The Chazon Ish writes that Rizui - time that she needs, certainly does not go into this category (and give a blanket heter for shanah rishonah).
It is attributed to Rav Wolbe that nowadays shana Rishona is 10 years.
I also heard in the name of a gadol from the last generation, that tarbe, means whatever she needs is appropriate, but if you need more light talk, that is excessive.
Here is a gemara that does support the idea of not having conversation with ones wife.
אמר רב: אפילו שיחה יתירה שבין איש לאשתו מגידים לו לאדם בשעת מיתה. איני? [האומנם?! והרי] והא רב כהנא הוה גני תותי פורייה דרב [רב כהנא התחבא תחת מיטתו של רב, רבו] ושמעיה דסח וצחק ועשה צרכיו [ושמע את רב משוחח (עם אשתו) וצוחק בשעת האקט המיני] אמר: דמי פומיה דרב כמאן דלא טעים ליה תבשילא [נשמע פיו של רב כאדם שמעולם לא טעם תבשיל, כלומר תאב מאוד]. אמר ליה [רב לכהנא]: כהנא פוק לאו אורח ארעא! [כהנא צא! זוהי לא דרך ארץ!] לא קשיא [אין סתירה בין דברי רב להתנהגותו עם אשתו]: כאן דצריך לרצויה, הא דלא צריך לרצויה [כאן, שהיה צריך לרצות אותה, ושם (בדבריו לעיל) כשאין צורך לרצותה].
תלמוד בבלי, מסכת חגיגה, דף ה, עמוד ב