What you say is similar - somewhat - to what the Ralbag explains there.
He says it refers to the covenant that Abraham made with Abimelech not to fight with each other:
- The blind refers to Isaac who- towards the end of his life - lost his sight.
- The lame refers to Jacob who - after the fight with the angel - limped for a while.
וַיֵּלֶךְ הַמֶּלֶךְ וַאֲנָשָׁיו יְרוּשָׁלִַם אֶל הַיְבֻסִי יוֹשֵׁב הָאָרֶץ וַיֹּאמֶר לְדָוִד לֵאמֹר לֹא תָבוֹא הֵנָּה כִּי אִם הֱסִירְךָ הַעִוְרִים וְהַפִּסְחִים לֵאמֹר לֹא יָבוֹא דָוִד הֵנָּה:
רלב"ג והנה היה היבוסי יושב בירושלים ולא יכול דוד להוציאם משם בעבור שבועת אברהם לאבימלך שהיתה כתובה בצלמים אשר שם שהם עורים ופסחים כי עינים להם ולא יראו רגלים ולא יהלכו ואפשר שהיו הצלמים ההם בצורת עִור ופִּסח העור להורות על ברית יצחק שבסוף ימיו כהו עיניו מראות והפסח בעבור יעקב שהיה צולע על יריכו ועשו זה להורות שכבר נשתלש להם זה הברית עם האבות בכללם ולזאת הסבה אמר היבוסי לדוד לא תבא הנה אם לא הסירות תחלה העורים והפסחים שבהם זכירת זה הברית כאילו יאמר לא יבא דוד הנה כי לא יוכל להסיר אלו הצלמים שבהם זכירת זה הברית