The Sefer Hachinuch Mitzva 239 - רלט. מצות תוכחה לישראל שאינו נוהג כשורה - does mention such a concept.
ומכל מקום, אמרו זכרונם לברכה (שם) גם כן, שאם יראה המוכיח שאין בדברי תוכחותיו שום תועלת נמצא, מתוך גדל רשע החוטא, או שהוא אלם ורשע ביותר ומתירא ממנו שלא יעמד עליו ויהרגנו שאינו חיב במצוה זו באיש כזה, וזהו אמרם זכרונם לברכה (יבמות ס"ה:) כשם שמצוה לומר דבר הנשמע, כך מצוה לשתק במקום שאין הדבר נשמע, לפי שיהיה בענין קלון למוכיח ולא תועלת לאשר הוכח. ומכל מקום יש להתישב לכל בר נפש ולהשגיח הרבה בענינים אלה, ולחשב ולראות אם יהיה תועלת בדבריו אל החוטא, שיוכיחנו ויבטח בשם יתברך, כי הוא יעזרנו במלחמו עם שונאיו, ואל ירך לבבו ולא יירא, כי השם שומר את כל אוהביו ואת כל הרשעים ישמיד, ואם ישוב החוטא יהיה לו בזה שכר גדול, ומי שבידו להשיבו ולמחות בו ולא מחה הוא נתפש על חטאו, וזה דבר ברור מדברי רבותינו (שבת נ"ה א'), גם מן הכתוב (ישעיהו ג' י"ד). ועוד אמרו זכרונם לברכה (שם) שאפילו הקטן חייב להוכיח הגדול אם יראה הגדול הולך בדרך לא טוב.
Roughly translated as:
Nevertheless (despite the Mitzva to rebuke), the rule is that if one is convinced that the sinner will not listen to the rebuke - either because of his wickedness, or you're afraid of his violent tendencies - then one is exempt from rebuking.
As the Rabbis Of Blessed Memory have said: "the same way it's a Mitzva to say what will be heard, so it is a Mitzva to refrain from saying things that will be ignored".
However one shouldn't take this exemption lightly, rather one should be brave and attempt to rebuke them, and Hashem will help you in your quest to vanquish evil from the world.