You asked:
What if, during the hand-washing, less than ten people remain in the shul? Should the chazzan pause until they come back?
The answer is: The Chazzan continues as usual.
Source: The Kitzur Shulchan Aruch in 15:10 gives the rules what to do when the Minyan disappears:
אִם אֵין בְּבֵית הַכְּנֶסֶת רַק מִנְיָן מְצֻמְצָם, אָסוּר לְכָל אֶחָד מֵהֵם לָצֵאת, וְעַל הַיּוֹצֵא נֶאֱמָר וְעוֹזְבֵי ה' יִכְלוּ. אֲבָל אִם יִשָּׁאֲרוּ עֲשָׂרָה, יְכוֹלִים הַיְתֵרִים לָצֵאת, אִם כְּבָר שָׁמְעוּ בָּרְכוּ, וּקְדֻשָּׁה וְהַקַּדִּישִׁים עַד לְאַחַר עָלֵינוּ.
Intro: You really shouldn't walk out. (Not an option in our case.)
וּבְדִיעֲבַד אִם לֹא נִשְׁאֲרוּ עֲשָׂרָה, יְכוֹלִין לִגְמֹר גַּם בְּלֹא עֲשָׂרָה (רַק שֶׁיִּהְיוּ רֹב מִנְיָן) אֵת הָעִנְיָן שֶׁהִתְחִילוּ בַּעֲשָׂרָה,
If they walked out, you continue what you're doing until the end of that section. Specifically:
וְאִם הִתְחִיל הַשְּׁלִיחַ צִבּוּר לַחְזֹר אֵת הַתְּפִלָּה, גּוֹמֵר הַחֲזָרַת כָּל הַתְּפִלָּה וְאוֹמְרִים קְדֻשָּׁה, וְגַם אוֹמֵר אֱלֹהֵינוּ וֵאלֹהֵי אֲבוֹתֵינוּ בָּרְכֵנוּ בִּבְרָכָה וְכוּ', אֲבָל אֵין הַכֹּהֲנִים נוֹשְׂאִין אֵת כַּפֵּיהֶם,
If you're in the repetition of the Amida, you finish, including Kedusha, but the Cohanim cannot do Birkat Cohanim. (In our case, they'd be back - so Birkat Cohanim would happen.)
וְגַם אֵין אוֹמְרִים קַדִּישׁ לְאַחַר הַשְּׁמוֹנֶה עֶשְׂרֵה, כִּי הֵמָּה עִנְיָנִים אֲחֵרִים (כָּךְ כָּתַב הַפְּרִי חָדָשׁ וְעוֹד מֵהָאַחֲרוֹנִים ז"ל)
You also cannot say Kaddish after the Amida. (Could happen in our case if they go out to wash after having touched their shoes when putting them back on.)
וְאִם הִתְחִילוּ לִקְרֹת בַּתּוֹרָה בַּעֲשָׂרָה, וְיָצְאוּ מִקְּצָתָן, גּוֹמְרִין אֶת הַקְּרִיאָה, אֲבָל אֵין מוֹסִיפִין, וְגַם אֵין קוֹרִין לְמַפְטִיר, אֶלָּא הָאַחֲרוֹן שֶׁבְּמִנְיַן הַקְּרוּאִים, קוֹרֵא אֵת הַהַפְטָרָה בְּלֹא בְּרָכוֹת. (נ"ה קמ"ג)
If you lose you Minyan during Kriat HaTorah, you can call up the 7 minimum, but no more, and the last (7th) Aliya says the Haftara without Brachot. (Not related to our case.)