Source in Jewish Literature
The Talmud (kiddushin 70b) states that one who stigmatizes another is guilty of the same:
ותני: כל הפוסל - פסול, ואינו מדבר בשבחא לעולם, ואמר שמואל: במומו פוסל
He who declares [others] unfit is [himself] unfit, and never speaks good [of anyone]; and Samuel said: With his own blemish he stigmatizes [others] as unfit.’ (Soncino Translation).
Source that the Baal Shem Tov said it
This does not say that he is necessarily worse, though.
This is also discussed by R. Ya'akov Yosef haCohen, a student of the Ba'al Shem Tov in his Toldot Ya'akov Yosef the first Hassidic book to ever be published (1780), in Parshat Shoftim where he quotes the Ba'al Shem Tov himself:
שנותן דופי בבני אדם למצוא בהם מום וחסרון, ובפרט ששונא לעובדי ה' אז וודאי יש בו מום, כמאמר הש"ס בקדושין (ע א) ההוא דקרי לאינשי עבדי וכו', דכל הפוסל במומו פוסל וכו', ומסתמא אדם זה בו כל דבר רע, כמו ששמעתי ממורי זלה"ה
To summarize: one who criticizes others can be presumed to have every negative characteristic. In this the Ba'al Shem Tov extends the Talmud's statement that he possesses the same negative characteristics.
This idea is later cited in the Baal Shem Tov's collected comments to the Torah (B'reishit: 126):
קכו. שנינו (נגעים ב', ה') כל הנגעים אדם רואה חוץ מנגעי עצמו, ופירש הבעל שם טוב הקדוש, כל הנגעים שאדם רואה חוץ, זה נמשך מנגעי עצמו, כמאמר רבותינו ז"ל (קידושין ע' א) כל הפוסל במומו פוסל: (דברי שלום פרשת קרח דף נ"ו ע"ב
There the Baal Shem Tov is cited as having homiletically explained the statement that "one may examine anyone's leprosy except one's own" (Negaim 2:5) that that which one perceived as negative on others, stems from his possessing the same fault.