Although מרגלים is a term used to refer to spies throughout Tanach (such as the brothers of Yosef as alleged spies [B'reishis 42:9,11,14,16], the spies who spied out the Land of Israel in the days of Y'hoshua [Y'hoshua 2:1; ibid. 6:21,23], and the spies dispatched by David to locate Shaul [Sh'muel I 26:4]), the noun itself is not used to describe the spies in the days of Moshe. However, as you mention, the verb form of the root .ר.ג.ל is used to describe the activities of the famous spies in the days of Moshe (D'varim 1:24), as well as other spying activities ordered by Moshe (B'midbar 21:32).
The earliest usage of the noun מרגלים as a reference to the famous spies from the days of Moshe is found in the Mishna (Sanhedrin 10:3):
מרגלים אין להם חלק לעולם הבא שנאמר (במדבר י"ד) וימותו האנשים מוציאי דבת הארץ רעה במגפה לפני ה' וימותו בעולם הזה במגפה בעולם הבא
Loosely translated, the Mishna says:
The spies (מרגלים) have no portion in the World to Come, as it says (B'midbar 14): "And the men who brought forth the evil report of the land died in the plague before HaShem." "And they died" - in this world; "in the plague" - in the World to Come.
The earliest usage that I found of the specific expression "חטא המרגלים" is found in writings of rishonim from the 13th century. The Ramban, noting the juxtaposition of the verse describing the sin of the golden calf (D'varim 9:21, ואת חטאתכם אשר עשיתם את העגל) with the verse recalling the transgression in the episode of the spies (D'varim 9:23, 'ותמרו את פי ה), writes (ibid. 9:22-24):
והנה החטא לנסות את השם הוא חטא גדול ואשמה רבה כאשר הזהיר ממנו (לעיל ו טז) לא תנסו את ה' אלהיכם כאשר נסיתם במסה על כן החזיר אותו להם בכאן. וכך הזכיר פעם אחרת חטא המרגלים בקצרה בעבור העון הגדול כי בו ישלים ממרים הייתם עם השם
Rabbeinu Bechaya uses this expression in commenting that the חטא המרגלים prevented the Israelites from being worthy of entering the Land of Israel immediately (D'varim 1:1, תיכף שקבלו ישראל התורה בסיני היו ראוים להכנס לארץ לולא חטא המרגלים שעכבם במדבר ארבעים שנה; see also commentary to Sh'mos 6:8). The Ralbag also refers to the חטא המרגלים in his commentary to Y'hoshua (14:6).