The Bavli on Sota 39b says that one should respond - and the wording there is almost identical to the Yerushalmi:
בזמן שהכהנים מברכים את העם מה הן אומרים אמר ר' זירא אמר רב חסדא ברכו ה' מלאכיו גבורי כח וגו' ברכו ה' כל צבאיו משרתיו עושי רצונו ברכו ה' כל מעשיו בכל מקומות ממשלתו ברכי נפשי את ה' במוספי דשבתא מה הן אומרים אמר רבי אסי שיר המעלות הנה ברכו את ה' כל עבדי ה' וגו' שאו ידיכם קדש וברכו את ה' ברוך ה' מציון שוכן ירושלים הללויה ולימא נמי יברכך ה' מציון דכתיב בההוא עניינא אמר יהודה בריה דר"ש בן פזי מתוך שהתחיל בברכותיו של ה מסיים בברכותיו
However, on the next pager - Sota 40a - various Amoraim discuss whether the above applies only in the Bet Hamikdash - or whether it applies at all, since it seems incorrect to talk back while one is being given a Bracha.
א"ר חייא בר אבא כל האומרן בגבולין אינו אלא טועה אמר רבי חנינא בר פפא תדע דבמקדש נמי לא מיבעי למימרינהו כלום יש לך עבד שמברכין אותו ואינו מאזין א"ר אחא בר חנינא תדע דבגבולין נמי מיבעי למימרינהו כלום יש עבד שמברכין אותו ואין מסביר פנים
It seems that the Rema on Orach Chaim 45 agrees that one should not talk during the Brachot - he says one should say the רִבּוֹן for bad dreams only when the Cohanim are humming, and not while they say the actual blessings. However, in Siman 130:1 it seems that the Mechaber says to say it during the actual Birkat Cohanim.
The Kitzur Shulchan Aruch (100:13) is more explicit:
בְּשָׁעָה שֶׁהַכֹּהֲנִים אוֹמְרִים אֶת הַתֵּבוֹת, אֵין לַצִּבּוּר לוֹמַר שׁוּם פָּסוּק, רַק יִשְׁמְעוּ הֵיטֵב בְּכַוָּנָה אֶת הַתֵּבוֹת מִפִּי הַכֹּהֲנִים, כִּי כְּלוּם יֵשׁ עֶבֶד שֶׁמְבָרְכִים אוֹתוֹ וְאֵינוֹ מַאֲזִין וּמְכַוֵּן לַבְּרָכָה. וְאִם אוֹמְרִים הַפְּסוּקִים, אֵינָם יְכוֹלִים לְכַוֵּן לַבְּרָכָה. אַךְ קְצָת נוֹהֲגִים לוֹמַר פְּסוּקִים. וְיִזָהֲרוּ שֶׁלֹּא לְאָמְרָם אֶלָּא בְּשָׁעָה שֶׁשְּׁלִיחַ הַצִבּוּר אוֹ הַכֹּהֲנִים מְנַגְּנִים, וְלֹא בְּשָׁעָה שֶׁאוֹמְרִים אֶת הַתֵּבוֹת.