The Shivlei Pinches (Parshas Vayechi, 5774) shares an incredible idea about the spiritual impurity/kelipah of the Philistim (Hebrew here).
The Shivlei Pinches explains, regarding Shimshon HaGibor, that:
שמשון הגיבור פלש לפני מיתתו לשער נ' של קליפת הפלשתים - Shimson HaGibor broke into the fiftieth gate of impurity before his death.
This got me thinking. There are different sources (Shem MiShmuel, Parashas Beshalach, sefer Mi’Pi Kohen (Shoftim) by Rabbi Shimon Kohen) that explain what was going wrong with the Philistim. The Mishnah in Pirkei Avos 3:13 is quoted, and it is said that the Philistim were light-headed with regard to religion, if you would say "G-d parted the reed-sea for us" - they would lough out loud for example. This somewhat also seems to be the explanation the sefer "באתי לארמוני" gives. Refer to here (sv. פלשתים דקדושה ופלשתים דקליפה):
ומזה מובן מש"כ ולא נחם אלהים דרך ארץ פלישתים כי קרוב הוא כי פלישתים היא קליפת ליצנות שהוא ענין הרחבת פיו כרצונו לדבר מה שלבו חפץ והיא שמחה של הוללות לאמור שפתינו אתנו וכו' ואין מעצור לרוחו ולכן נקרא קליפה כי כמו שהקליפה מכסה ומסתרת על הפרי כי היא נראית כמו שהיא עיקר הפרי כך השמחה של הוללרת מכסה ומסתרת על אור ה' שבה
Another example of the nature of the Philistim during the days of the Shoftim and Shmuel can be found in the following description:
The Philistines who serve as frequent antagonists in Judges and Samuel were a cruel, warlike nation that continuously terrorized the neighboring Israelites. They lived all along the Mediterranean coast in a pentapolis of five city-states: Gaza, Ashkelon, Ashdod, Ekron and Gath. Each city-state was governed by its own lord, known as a “seren,” a word whose Greek parallel5 reflects the foreign elements that influenced Philistine language and culture.
B"H I finally found the source, that Rav Daniel Glatstein shlita also talks about. It can be found in the sefer Ateres Menachem (p. 21). There, it writes:
בהעלותך נג הרה"ק ר"ר משה מםאמבור ז"ל כ' בם' תפלה למשה ששמע ממורו הה"ק רבי ר' מענדלי מרומנוב שא' על ולא נחם אלקים דרך ארץ פלשתים ע"ד שאחז"ל ובושב לצים לח ישב זה פלשתים שלצנים היו עיין ע"ז דף י"ט ואמר אלו הי' יודע פרעה שעם ליצנות יכולים להכחיש כל העולם לא הי' ישראל יוצאים מתחת ידו לעולם ת"ו ובפעם השנית הראה באצבעו דרך התלון ואמר בזה"ל רואים אתם שזה מים ועם ליצנות יכולים להכחיש שזה ינו שמים ואחר םעודתו אמר בחדרו בםבורים אתם שבבית מדרשנו היום בשעת התפלה לא התפללו ליצנים זה הי' מתלוצץ על הש"ץ שמאריך ואין קולו ערב בתפלתו ע"כ ועיין בם' אמרי תמת מהרה"ק מהר"ל איגר מלובלין זצ"ל בפ' תצא בקו"א שמביא ד"ז דשם רבנו שקליפת הליצנות היא בפלשתים רבנו שקליפת הליצנות היא בפלשתים וכו' ע"ש ועיין ביוצר לשבת הגדול במאמר אין ערוך אליך וכו' וגאלם מבעלי לצון והבן ת מכאדמו"ר
So, it seems that clownery is the main sin by which the Philistim got down to the 50th level of impurity. Rests the question: How could ליצנות make the Philistim go down the 50th level of impurity?