In his commentary to a similar verse in Exodus 20:4-5, Ralbag explains that the punishment that God inflicts on children for the sins of their fathers is not a direct punishment, but it is a natural consequence. He explains this by giving an example wherein the fathers commit a sin which earns them the punishment of being exiled among the nations. Their children will thus be born into exile – not because God is "punishing" them, but because that is simply the natural state of affairs. If your parents are in exile then you will nolens volens be born in exile. If the children manage to attain high levels of perfection it is possible that God will intervene and rescue them from exile, but if they merely refrain from doing bad things that won't be enough to stimulate a Divine intervention.
Thus, what the verse means when it says that children are punished for their fathers's sins is that the fathers' sins will indirectly cause the children's suffering, but not that God specifically exacts retribution on the children for sins that they haven't committed.
והנה יסופק בזה המאמר ספק חזק והוא איך יתכן שיענוש ה' יתעלה בני החוטא והנה אין להם אשם בחטא אביהם ואנחנו מתירין זה הספק בזה האופן והוא שהעונש יביא ה' יתעלה לעוברים על דבריו אם על צד ההשגחה על דרך התוכחת אם על צד סור ההשגחה שיחולו עליהם הרעות הנכונות לבוא עליהם מצד המערכת וכבר יהיו אלו הרעות באופן שיגיע בהם רע לזרעם לא היה מגיע להם לולא חטא אבותיהם והמשל כי כאשר מרו אבותינו חוייב להם מהעונש שיגלו בין האומות ויירשו גוים ארצם והנה נמשך לזרעם אחריהם הגלות הזה בסיבת המצאם גולים בהולדם עד שלא יתכן שימלטו מזה הרע אם לא בהיותם יוצאים ממנו על צד המערכת או בשיהיו בתכלית השלמות שיתכן שיוציאם ה' יתעלה מהארצות אשר הדיחם שם על דרך המופת ובזה האופן היה מה שאמר הנביא אבֹתינו חטאו ואינם ואנחנו עונֹתיהם סבלנו וזה שאם לא חטאו אבותינו היינו אנחנו נמצאים בארץ ולא נצא ממנה אם לא בשנעשה מהפעולות המגונות מה שנתחייב עליהם כמו זה העונש ואולם כשנמצאנו בגלות בחטא אבותינו הנה לא יספיק לנו לשוב שם ההשמר מהפעולות המגונות אבל יצטרך לנו שנקנה מהשלמות מה שנהיה בו דבקים בה' יתעלה באופן שיוציאנו מהגלות הזה על צד ההשגחה הנפלאה ובזה האופן לא יהיה עוול אם יגיע עונש לבנים בעבור חטא אביהם כי הוא במקרה
Ralbag further notes that the Sages resolve the difficulty in a different manner, by asserting that God punishes children for the sins of their fathers when the children continue in the sinful ways. Ralbag agrees that this is true and explains it as follows: the punishment of God intended as a rebuke varies according to the severity of the sin. If someone merely did their own sin than a lesser rebuke would suffice to snap them out of it. But when children are entrenched in the sinful ways of their fathers it is much harder to return them to the straight path, and therefore a greater rebuke is necessary:
ואולם רבותינו ז"ל התירו זה הספק באופן אחר וזה שהם אמרו שה' יתעלה הוא פוקד עוון אבות על בנים כאשר יהיו הבנים אוחזים מעשה אבותיהם בידיהם והוא בלי ספק מאמר אמיתי כמו שביארנו ברביעי מספר מלחמות ה' וזה כי הרע המסודר מה' יתעלה על צד התוכחת יהיה לפי המרי רוצה לומר שמי שהסתבך במרי סיבוך מועט תספיק לו תוכחת מעוטה ומי שהחזיק בו באופן ששב לו קנין חזק יצטרך לתוכחת יותר עצומה ובהיות הענין כן הנה כאשר חטא האדם לבדו תספיק לו תוכחת יותר מעוטה מהתוכחת אשר תצטרך לו אם היה מחזיק אביו בזאת התכונה והיה הוא אוחז מעשה אבותיו כי אז נסתבך בזה המרי סיבוך יותר חזק ובזה האופן אמרה התורה ואף בעונת אבתם אתם ימקו והנה מה שאמרנוהו בזה הוא יותר נאות לפי הפשט
Ralbag also discusses this extensively in Milchamot Hashem 4:6.
