R' ovadya yosef writes:
אין להתיר לומר קדיש וברכו ושאר דברים שבקדושה הנאמרים בעשרה, סמוך לקברות צדיקים, מבלי שיהיה שם מנין של עשרה אנשים. ואין לסמוך בזה על דברי אגדה לומר שצדיקים במיתתם קרויים חיים, (כמבואר בברכות יח:), לצרפם למנין. שמכל מקום אפילו על דוד מלך ישראל אמרו (שבת קנא:) במתים חפשי, כיון שמת אדם נעשה חפשי מכל המצות. וממילא אין לצרף למנין צדיקים שנפטרו. לפיכך יש למחות באלה הנוהגים לומר קדיש ליד קברי הצדיקים והוריהם, בערב ראש חודש ניסן ובערב ראש חודש אלול, אפילו אין שם מנין של עשרה אנשים. ואם עברו ואמרו קדיש, אין לענות אמן אחריהם, שהיא בכלל אמן יתומה. [ילקו"י מהדורת תשס"ד, ספר על הל' פסד"ז, סי' נה הע' י' עמוד שסא, שאר"י ח"ב עמ' צט].
Whats understood from this is that when there isn't minyan a person shouldnt answer amein.