This may be a reference to what his son writes in the first section of שיחות החפץ חיים דרכיו נמוקיו ושיחותיו מחיי אבא in #27:
לא ישר היה בעיניו דרכי בימי נעורי ששקעתי בעניני חסד ובעניני צבור לכונן ולתקן דברים הרבה ובשביל זה בטלתי מלמודי הרבה זמנים באמרו לי כי לתקן ולספק צרכי עדה הקטנה ביותר אף של חמישים משפחות לא יספיק זמן של כל החיים והאם זוהי דרך הישרה הלא ידעת כי גם אנכי לא רחוק ממדת החסד והטבה אבל לא אבלה כל זמני על זה רק אנכי מחבר ספרים על מדות האלה ומפיצם בין אלפי ישראל ולומדים בהם ובאים לידי מעשה
It was not proper in his eyes my approach in my youth where I immersed myself in matters of kindness and matters of the community, to arrange and fix many things, and on account of this I lost from my learning many times. He would say to me that to fix and to satisfy all the needs of the smallest community, even of [only] 50 families, an entire lifetime would be insufficient. And is this the proper way? Do you not know that I too am not distant from the trait of kindness and goodness, but I do not squander all my time on this. Rather, I write books about these traits and spread them among the thousands of Israel, and they learn them and come to actualization.