Hacham Ovadia in Yechave Da'at 4:47 quotes Morenu Harav Haim Vital (1543-1620) who speaks about this concept in Sha'ar Hagilgulim (Hakdama 11) and in his introduction to Sha'ar Hamitzvot. He seems to get it from the Zohar Parashat Balak (202a) which says:
והיה כעץ שתול על פלגי מים, מה אילן זה יש בו שרשים ויש בו ענפים ויש בו
עלים ויש בו פרחים ויש בו מוח וכו', כך התורה יש בה פשוטי המקראות, דרשות
הפסוקים, רמזי החכמה על ידי גימטריאות ונוטריקון, וסודות נעלמים וכו
So, it seems, the oldest and primary source for PaRDe"S explanation is the Zohar.
(Disclaimer: I have not seen/looked into any of the primary sources inside other than the excerpt above. I only quote Hacham Ovadia.)