R. Asher Ashkenazi, a disciple of R. Chaim of Volozhin, records the story a little differently. He writes that R. Chaim made the following argument to his teacher, the Vilna Gaon:
You only wear Rashi tefillin because you wear tefillin all day. Since Rashi tefillin is the main one, every moment of wearing Rabbeinu Tam tefillin is a wasted moment where you could have been wearing Rashi tefillin. But I anyway spend many hours not wearing tefillin at all, so why shouldn't I put on Rabbeinu Tam tefillin in order to fulfill the mitzvah according to all opinions.
R. Ashkenazi writes that the Vilna Gaon responded to R. Chaim by saying that if he really wants to fulfill all the opinions he would have to put on 24 pairs of tefillin. The conclusion of 24 was explained as follows:
In addition to the dispute between Rashi and Rabbeinu Tam there is also the opinion of R. Hai Gaon that is the reverse of Rabbeinu Tam. This brings us to 3 permutations. Then there is the dispute about the petuchot u'stumot which brings us up to 6 permutations. Then there is the dispute about whether the words should be written on the flesh side of the parchment which brings us up to 12 permutations. Finally there is the dispute whether the parshiot should be standing up or lying down which brings us up to 24 permutations.
Orchot Chaim (Keter Rosh) # 13
תפילין דרבינו תם שאל מרבו הגר"א ז"ל מו"ר אינו מניח תפילין דרבינו תם
כדי שלא לבטל אף רגע מתפילין ושל רש"י עיקר אבל אני שבלאו הכי הנני מבטל
כמה שעות מתפילין מה בכך אם אניח איזה שעות ביום ואצא ידי חובת תפילין
לכל הדעות
השיבו כשתרצה לצאת לכל הדיעות תצטרך להניח כ"ד זוגות והיכן מצינו כ"ד
חילוקי דעות בתפילין אמר לו דוק ותשכח ואסיק על דעתו דדעת רב האי גאון
היא כרבינו תם רק להיפך מימין לשמאל הרי ג' זוגות מחלוקת בפתוחות וסתומות
הרי ששה זוגות מחלוקת אם לכותבן בקלף במקום בשר הרי י"ב מחלוקת אם להניח
הפרשיות מעומדות או מונחות הרי כ"ד זוגות