I disagree with your presentation of the question, in that as far as I can tell, the Korban Haedah does not seem to be disagreeing with the Rambam, but rather interpreting that same Rambam. H/t to @ba who noted the language similarity.
The Rambam writes:
מִי שֶׁהָיָה דּוֹלֶה אֶת הֶחָבִית לְהַעֲלוֹתָהּ לַגַּג. וְנִפְסַק הַחֶבֶל וְנָפְלָה עַל חֲבֵרוֹ וַהֲרָגַתְהוּ. אוֹ שֶׁהָיָה עוֹלֶה בַּסֻּלָּם וְנָפַל עַל חֲבֵרוֹ וַהֲרָגוֹ. פָּטוּר מִן הַגָּלוּת. שֶׁזֶּה כְּמוֹ אָנוּס הוּא. שֶׁאֵין זֶה דָּבָר הַקָּרוֹב לִהְיוֹת בְּרֹב הָעִתִּים אֶלָּא כְּמוֹ פֶּלֶא הוּא. אֲבָל אִם הָיָה מְשַׁלְשֵׁל אֶת הֶחָבִית וְנָפְלָה עַל חֲבֵרוֹ וַהֲרָגַתְהוּ. הָיָה יוֹרֵד בַּסֻּלָּם וְנָפַל עַל חֲבֵרוֹ. הָיָה מְעַגֵּל בְּמַעְגֵּלָה וְנָפְלָה עַל חֲבֵרוֹ וַהֲרָגַתְהוּ. גּוֹלֶה. שֶׁנֶּאֱמַר (במדבר לה כג) "וַיַּפֵּל עָלָיו וַיָּמֹת" שֶׁיִּפּל דֶּרֶךְ נְפִילָה. שֶׁהֲרֵי דֶּרֶךְ נְפִילָה מָצוּי בְּרֹב הָעִתִּים לְהַזִּיק וְדָבָר קָרוֹב הוּא לִהְיוֹת. שֶׁהֲרֵי טֶבַע הַכָּבֵד לֵירֵד לְמַטָּה בִּמְהֵרָה. וְהוֹאִיל וְלֹא זֵרֵז עַצְמוֹ וְתִקֵּן מַעֲשָׂיו יָפֶה בִּשְׁעַת יְרִידָה יִגְלֶה. וְכֵן כָּל כַּיּוֹצֵא בָּזֶה:
I have bolded two sections of this Ramabm. The first section is the "reason" (see Penei Yehoshua here) given for why Derech Aliyah (going upwards) is exempt from Galus. The Rambam says that it is because this is not something that happens regularly, rather, it is highly unlikely to happen.
The second section writes that a downward fall is more likely to happen, and therefore, if that happens, it is a case of negligence.
In summary, if it is Derech Yeridah, extra care should have been taken, and therefore, one is negligent if it happened to them. If it was going upwards, there is no negligence at all, since that very rarely happens.
The issue with this is that if so, it seems unfair that in this case, the person should have no place to run; he is theoretically even more innocent than the negligent person! In this case, he has no protection from the Goel Hadam!
The Korban Haedah here writes:
כל שבדרך ירידתו גולה. דכתיב ויפול עליו עד שיהא דרך נפילה והטעם שקרוב הדבר שבשגגה נעשה שטבע הכבד לירד למטה במהרה ודרך עלייה אין רגילות ליפול וקרוב הדבר שהוא מזיד לכך אינו גולה ואם ימצאנו גואל הדם רשאי להרגו וכל דנקט התנא לאתויי אפילו ירידה שהיא לצורך עלייה מיקרי ירידה:
The bolded section is where he writes that it is highly unlikely that that it will fall downwards when one is going up. Because it is so unlikely, the odds are that if this happened, it was a case of Meizid, because it is so unlikely to take place as an Ones. This is an interpretation of the Rambam, that answers the question asked above, of how can we not afford this person any protection.
In fact, in his "Tosfos-equivalent Peirush" (Shayarei Korban), he claims that this is the opinion of the Rambam!
כל שבדרך ירידה כו'. עיין בקונטרס כ"כ הרמב"ם.
Note that there he goes on to disagree with the Rambam personally in the Shayarei Korban.
Note: I'm not agreeing or disagreeing, simply noting that this was how the Korban Haedah felt.