Rashi on the Daf (S.V Rav Yosef) says that the Sifrei Minim ie. Sefer Ben Sira is called a Sefer Min:
שיש בו דברי הבאי ובא עליהם לידי ביטול תורה
Because it has Divrei Havai - empty things, and they cause Bittul Torah.
Rav Yaakov Kaminetzky basing himself off Rashi's interpretation is qouted saying that any book that leads to Bittul Torah is classified as a Sefer Min.
The Rambam as well, in his commentary to the Mishna, also classifies books that are wasteful as Sifrei Minim:
ובספרים החיצונים אמרו שהם ספרי תועים (סנהדרין ק ע"ב) וכן ספר בן סירא
והוא היה איש שחיבר ספרים יש בהם היתולים מענייני הכרת, פנים אין בהם טעם
ולא תועלת, אלא איבוד הזמן בהבל. כגון אלה הספרים הנמצאים אצל הערב מספור
דברי הימים והנהגות המלכים וייחוסי הערבים וספרי הניגון וכיוצא בהן מן
הספרים שאין בהם חכמה ולא תועלת גופני, אלא איבוד הזמן בלבד
The Bartenura on the Mishna defines Sifrei Minim as the books of Aristotle the Greek and his friends:
כגון אריסט״ו היוני וחביריו
Though the Rav allows it in the bathroom or the Bath House.