Mishna Avoda Zara 4:10 (פרק ד - משנה י):
גּוֹי שֶׁנִּמְצָא עוֹמֵד בְּצַד הַבּוֹר שֶׁל יַיִן, אִם יֶשׁ לוֹ עָלָיו מִלְוָה, אָסוּר . אֵין לוֹ עָלָיו מִלְוָה, מֻתָּר . נָפַל לַבּוֹר וְעָלָה, וּמְדָדוֹ בַקָּנֶה, הִתִּיז אֶת הַצִּרְעָה בַקָּנֶה אוֹ שֶׁהָיָה מְטַפֵּחַ עַל פִּי חָבִית מְרֻתַּחַת, בְּכָל אֵלּוּ הָיָה מַעֲשֶׂה, וְאָמְרוּ יִמָּכֵר
Bartenura:
אַף עַל גַּב דְּנָגַע בְּשָׁעָה שֶׁנָּפַל אֵינוֹ אָסוּר בַּהֲנָאָה
The Mishna continues:
וְרַבִּי שִׁמְעוֹן מַתִּיר. נָטַל אֶת הֶחָבִית וּזְרָקָהּ בַּחֲמָתוֹ לַבּוֹר, זֶה הָיָה מַעֲשֶׂה וְהִכְשִׁירוּ.
Bartenura:
וְרַבִּי שִׁמְעוֹן מַתִּיר. וְאֵין הֲלָכָה כְּרַבִּי שִׁמְעוֹן
In this first case the Wine is prohibited for consumption, but one may derive benefit - Hana'ah - from it.
But in your question he moves many objects in this movement. And he doesn't notice the wine, e.g. if he can not see the bottle. It seems permitted for benefit a fortiori from
נטל את החבית וזרקה בחמתו לבור זה היה מעשה והכשירו
in which he knows of the wine but is distracted with his anger and it's permitted. If he doesn't know that the wine is here (and he isn't looking for wine), it seems also permitted.
Sh.Ar. YD 124, 10, rules likewise (permitted for benefit) about the case in the Mishnah:
מַגַּע גּוֹי לֶאֱסֹר בַּהֲנָאָה צָרִיךְ שְׁלֹשָׁה תְּנָאִים: אֶחָד, שֶׁיִּתְכַּוֵּן לִגֹּעַ, לַאֲפוּקֵי תִּינוֹק שֶׁנָּגַע דְּלָאו בַּר כַּוָּנָה הוּא, וְכֵן לַאֲפוּקֵי נָפַל לְבוֹר וְעָלָה מֵת; שֵׁנִי, שֶׁיֵּדַע שֶׁהוּא יַיִן; וּשְׁלִישִׁי, שֶׁלֹּא יְהֵא עוֹסֵק בְּדָבָר אַחֵר
The Sifsey Cohen Sayf Koton 71 says for us, when the gentiles are not idolators, this wine is good for drink.
In your case the man is occupied with opening the refrigerator for another reason, he doesn't know of the presence of wine. What can be the problem? This is assuming that the Jew sees that he does nothing else.
For now, I do not know more.