I subsequently found that this statement is sourced in the Zohar I *parshas Chayei Sarah* p. 126b

> אמר רבי יוסי האי דאמרת בקדמיתא דכד נחש אתא על חוה אטיל בה זוהמא שפיר אבל הא תנינן דכד קאימו ישראל על טורא דסיני פסק מנייהו זוהמא, ישראל דקבילו אורייתא פסק מנייהו זוהמא אבל שאר עמין עעכו"ם דלא קבילו אורייתא לא פסקא זוהמא מנייהו, א"ל שפיר קאמרת אבל תא חזי אורייתא לא אתייהיבת אלא לדכורי דכתיב (דברים ד') וזאת התורה אשר שם משה לפני בני ישראל דהא נשי פטירין מפקודי אורייתא ועוד **דאהדרו כלהו לזוהמתן כקדמיתא בתר דחטו**

It just says that after the Jews sinned the contamination returned. It doesn't clarify which sin, but I guess the context makes it obvious that it's referring to the sin of the Golden Calf. This is how the Chida in his Nitzotzei Oros ad. loc. § 1 understood it, and how the Sulam ad. loc. explains it. The Chida also says this is discussed by the Zohar Chadash, but I'm not sure yet where.

Thanks to @shmosel there's also explicit mention in Zohar I *parshas Bereishis* p. 52b and Zohar II *parshas Shemos* p. 193b:

> ישראל בשעתא דקיימו ישראל על טורא דסיני אתעבר מנייהו זוהמא דהאי חיויא דהא כדין בטול יצר הוה מעלמא...
**כיון דחטאו בעגל** אתעבר מנייהו כל אינון דרגין ונהורין עלאין 

It's interesting to me that the editions of Nefesh HaChaim I saw don't cite this Zohar, even though they cite other Zohars he's referencing. I guess they didn't realize the source...