I think :According to Pirkei De'Rebbi Eliezer (Chapter 50), he got his wealth by looting all the treasure houses of the kings of Yehuda and the Kodshei Kedoshim (Holy of Holies):
רבי פנחס אומר שני עשירים היו לפנים בעולם, קרח בישראל והמן בשושן . . שלקח כל אוצרות מלכי יהודה ואת כל אוצרות קדשי הקדשים
for more check : rosh hashanah 2016; shana tova [yom kippur 2016][3]; yom kippur 2016.