I subsequently found that this statement is sourced in the Zohar I parshas Chayei Sarah p. 126b
אמר רבי יוסי האי דאמרת בקדמיתא דכד נחש אתא על חוה אטיל בה זוהמא שפיר אבל הא תנינן דכד קאימו ישראל על טורא דסיני פסק מנייהו זוהמא, ישראל דקבילו אורייתא פסק מנייהו זוהמא אבל שאר עמין עעכו"ם דלא קבילו אורייתא לא פסקא זוהמא מנייהו, א"ל שפיר קאמרת אבל תא חזי אורייתא לא אתייהיבת אלא לדכורי דכתיב (דברים ד') וזאת התורה אשר שם משה לפני בני ישראל דהא נשי פטירין מפקודי אורייתא ועוד דאהדרו כלהו לזוהמתן כקדמיתא בתר דחטו
It just says that after the Jews sinned the contamination returned. It doesn't clarify which sin, but I guess the context makes it obvious that it's referring to the sin of the Golden Calf. This is how the Chida in his Nitzotzei Oros ad. loc. § 1 understood it, and how the Sulam ad. loc. explains it. The Chida also says this is discussed by the Zohar Chadash, but I'm not sure yet where.
Thanks to @shmosel there's also explicit mention in Zohar I parshas Bereishis p. 52b and Zohar II parshas Ki Sisa p. 193b:
ישראל בשעתא דקיימו ישראל על טורא דסיני אתעבר מנייהו זוהמא דהאי חיויא דהא כדין בטול יצר הוה מעלמא... כיון דחטאו בעגל אתעבר מנייהו כל אינון דרגין ונהורין עלאין
I also found it in Zohar Chadash Rus p. 83b, although it doesn't seem to be the one the Chida is referencing.
It's interesting to me that the editions of Nefesh HaChaim I saw don't cite this Zohar, even though they cite other Zohars he's referencing. I guess they didn't realize the source...