We learn in Parshat Eikev:
וָאֵ֗פֶן וָֽאֵרֵד֙ מִן־הָהָ֔ר וְהָהָ֖ר בֹּעֵ֣ר בָּאֵ֑שׁ וּשְׁנֵי֙ לֻחֹ֣ת הַבְּרִ֔ית עַ֖ל שְׁתֵּ֥י יָדָֽי׃
I turned and went down the mountain, a mountain ablaze with fire, the two Tablets of the Covenant on my two hands.
When did this fire (which is mentioned at Matan Torah already) cease to exist?
The closest I could find is what the HaEmek Davar says in this verse - that since the fire was still burning, Moshe understood that this was a message that he'd have to go up again to get another set of Luchos, hence the permission to break the first set.
וההר בוער באש. ועדיין היה בוער באש ולא היה כמו שאמר ה׳ מתחלה במשוך היובל המה יעלו. ממילא יהא נפסק האש וגלוי שכינה. אבל כאשר ירדתי לאחור ראיתי שעדיין ההר בוער באש. ומזה היה לי הוכחה דרצונו ית׳ ליתן לי לוחות שניות ומסתמא רצונו שישברו לוחות אלו. ויהיה נצרך לוחות שניות:
This makes it sound like the fire burnt until Moshe come down on Yom Kippur with the 2nd Luchos, but it stopped before he actually came down (otherwise he would have had reason to break the 2nd set.)
But I cannot find anything explicit.