On one level the answer may be that the derivative source for kol isha does not exist for kol ish. The issue of kol isha is presented in the Talmud (Berachot 24a) as follows:
א"ר יצחק טפח באשה ערוה למאי אילימא לאסתכולי בה והא א"ר ששת למה מנה
הכתוב תכשיטין שבחוץ עם תכשיטין שבפנים לומר לך כל המסתכל באצבע קטנה של
אשה כאילו מסתכל במקום התורף אלא באשתו ולק"ש אמר רב חסדא שוק באשה ערוה
שנאמר גלי שוק עברי נהרות וכתיב תגל ערותך וגם תראה חרפתך אמר שמואל קול
באשה ערוה שנא' כי קולך ערב ומראך נאוה אמר רב ששת שער באשה ערוה שנא'
שערך כעדר העזים
R. Isaac said: A handbreadth [exposed] in a [married] woman
constitutes sexual incitement. In which way? Shall I say, if one gazes
at it? But has not R. Shesheth [already] said: Why did Scripture
enumerate the ornaments worn outside the clothes with those worn
inside? To tell you that if one gazes at the little finger of a woman,
it is as if he gazed at her secret place! — No, It means, in one's own
wife, and when he recites the Shema’. R. Hisda said: A woman's leg is
a sexual incitement, as it says. Uncover the leg, pass through the
rivers, and it says afterwards, Thy nakedness shall be uncovered, yea,
thy shame shall be seen. Samuel said: A woman's voice is a sexual
incitement, as it says, For sweet is thy voice and thy countenance is
comely. R. Shesheth said: A woman's hair is a sexual incitement, as
it says, Thy hair is as a flock of goats. (Soncino translation)
As you can see in the part that I bolded, the verse cited by Samuel only refers to the voice of a woman, not the voice of a man.