It seems likely that the intent was Rambam's Sefer HaMitsvot (Asseh #5). (If I recall, the Rav would often quote it):
שצונו לעבדו יתעלה וכבר נכפל צווי זה פעמים, אמר (משפטים כג כה) ועבדתם את י"י אלהיכם ואמר (ראה יג ה) ואותו תעבודו ואמר (ואתחנן ו יג) ואותו תעבוד ואמר (ס"פ עקב) ולעבדו. ואעפ"י שזה הצווי הוא גם כן מן הציוויים הכוללים כמו שביארנו בשרש הרביעי הנה יש בו יחוד שהוא צוה בתפילה. ולשון ספרי ולעבדו זו תפילה. ואמרו גם כן ולעבדו זה תלמוד. ובמשנתו של רבי אליעזר בנו שלרבי יוסי הגלילי (פרש' יב עמ' רכח) אמרו מנין לעיקר תפילה בתוך המצות מהכא את י"י אלהיך תירא ואותו תעבוד. ואמרו עבדהו בתורתו עבדהו במקדשו. כלומר ללכת שם להתפלל בו ונגדו
That is, the commandment is a general one; to worship God (which would have been off topic as too broad), but it is interpreted as referring especially to prayer. It is also applied to talmud Torah.
Indeed, this is stated in Reshimot Shiurim of the Rav to Berakhot 11b:
ונראה ליישב עפ"י המתבאר מדברי הרמב"ם בספר המצות (מ"ע ה') וז"ל...עכ"ל. ומבואר מדבריו דתורה ותפלה תרוויהו הויין קיום של מצות "ועבדתם את ה' אלוקיכם" דמהוים קיום מצות עבודה שבלב.