The Gemara in Bava Metzia (59a), in dealing with the prohibition of causing anguish - Onas Devarim, says that it is imperative to speak to ones wife nicely, for they cry very easily.
אמר רב לעולם יהא אדם זהיר באונאת אשתו שמתוך שדמעתה מצויה אונאתה קרובה
The Gemara is saying to take into account the levels of sensitivity of each person. The fact that a woman cries easier, you must cater that sensitivity and adjust how you speak to that person. Thus, we see the principle that despite someone being very sensitive nonetheless you must take that into account and speak nicer to them.
Furthermore, we see in the Rambam (Deos 6:10) a need for an extra level of sensitivity. The Rambam writes that it is imperative to be careful of the honor of orphans and widows for they are of lowly spirit and are depressed:
חייב אדם להזהר ביתומים ואלמנות מפני שנפשן שפלה למאד ורוחם נמוכה אע"פ
שהן בעלי ממון אפילו אלמנתו של מלך ויתומיו מוזהרים אנו עליהן שנאמר כל
אלמנה ויתום לא תענון והיאך נוהגין עמהן לא ידבר אליהם אלא רכות ולא
ינהוג בהן אלא מנהג כבוד ולא יכאיב גופם בעבודה ולבם בדברים קשים ויחוס
על ממונם יותר מממון עצמו כל המקניטן או מכעיסן או הכאיב להן או רדה בהן
או אבד ממונן הרי זה עובר בלא תעשה וכל שכן המכה אותם או המקללן ולאו זה
אף על פי שאין לוקין עליו הרי עונשו מפורש בתורה וחרה אפי והרגתי אתכם
בחרב ברית כרת להן מי שאמר והיה העולם שכל זמן שהם צועקים מחמס הם נענים
שנאמר כי אם צעק יצעק אלי שמוע אשמע צעקת
However, this extra level of sensitivity only applies in cases where there is no overt need to speak harsher. But, in a case where you must speak "tougher" for the persons benefit ie. You are a therapist and are working with that person, or you are their teacher and you must guide them on the right path, the Rambam qualifies the prohibition:
בד"א בזמן שעינה אותן לצורך עצמו אבל עינה אותם הרב כדי ללמדן תורה או
אומנות או להוליכן בדרך ישרה הרי זה מותר ואע"פ כן לא ינהוג בהן מנהג כל
אדם אלא יעשה להם הפרש וינהלם בנחת וברחמים גדולים וכבוד שנאמר כי ה'
יריב ריבם אחד יתום מאב אחד יתום מאם ועד אימתי נקראים יתומים לענין זה
עד שלא יהיו צריכין לאדם גדול להסמך עליו ולאמנן ולהטפל בהן אלא יהיה
עושה כל צרכי עצמו לעצמו כשאר כל הגדולים.
Rav Elchonon Wassermann (Kovetz Ha’aros Yevamos #70) echoes this qualification as well:
"Similarly, concerning the prohibition of Lashon harah, it is permitted against people who cause discord and quarrels in order to stop the fight. Similar concerning using words to cause anguish (onas devarim), it is permitted to publicly criticize someone if it is for the sake of chastisement. It is even permitted to publicly embarrass someone if it is done for the necessity of chastisement for a person who has not stopped his bad behavior after being rebuked in private. In such a case it is even permissible to curse him. In fact, this is what was done by the prophets in the past as the Rambam (Hilchos De’os 6:8) notes. We have thus shown from all this, that all the prohibition involving interpersonal actions does not apply when the act is beneficial."
Thus, even for an overly sensitive person if speaking to them harshly will cause them anguish it is permitted.
For more see here
