Refer to the Sforno there:
וייצר ה' אלהים אמנם להוית בעלי חיים לא הספיק זה אבל היתה יצירת היוצר ית' על אופנים מתחלפים וזה כי ליצירת האדם בירר עפר מן האדמה חלק נכבד ממנה:
וייצר ה' אלוקים, the animals had not rated involvement of both attributes of G-d in their creation and formation. Not only that, but in order to create man G-d had used עפר מן האדמה, the choicest of the dust available on earth. (Sefaria translation)
Thus we see that the creation of man differed to the animals in that Hashem 'took pains' (kviyachol) to create Adam from the choicest of dust.
Indeed, following on from your comment, it is worth noting the HaKsav VeHakabalah which does indeed note a physiological element to this specific use of dust. He writes:
עפר מן האדמה. עפר הוא עפר תיחוח, אדמה היא אדמת סלע הקשה, ולפי שיצר אותו בשר ועצמות והוא עיקר בנין האדם, כי הגידים הם לחבור האברים, והעור לסככו, לכן יצר הבשר מן עפר תיחוח, והעצמות מן האדמה הקשה....
Dust of the earth - עפר is crushed/loose earth, whilst אדמה is hard rock soil, and since He (Hashem) created flesh and bones, this is the essence of human structure. Because the sinews connect to the limbs, and the skin shield/cover it. Therefore, he created the flesh from the loose earth and the bones from hard ground....
Finally, if we return to the initial point that Adam was created from the choicest earth and that is the reason for the phraseology of "עפר מן האדמה" - Radak helps to underline this difference between man and animals.
עפר מן האדמה, זכר העפר אע"פ שארבע היסודות היו מעורבות בו, זכר העפר לפי שהוא עיקר היצירה בנבראי היבשה, ובנבראי המים הם העיקר, אע"פ שהם משרר היסודות ג"כ ולפיכך חיותם במים; ובעוף האויר הוא עיקר יסודו לפיכך הוא עף באויר. ואמר שיצר את האדם עפר כלומר צוה שיעשה גולם אחד מזה משאר הגלמים וצורת איבריו עפר מוגבל והיה אותו הגולם ברצון האל בשר עצמות וגידים, ואמר מן האדמה כלומר מן המשובח שבה, כי גוף האדם הוא תואר נקי משאר ב"ח, וצורתו השלמה בצורות, לפיכך הוא הולך בקומה זקופה. וכתב החכם ר' יוסף בן צדיק כי זה לפי שהחמר שלו זך ודק בין שאר הגופים כמו שאנו רואים שמן הנר בעודו זך תעלה השלהבת ממנו על קו יושר לזכות השמן, ואם לא יהיה זך אלא עכור תהיה השלהבת עולה ממנו מעוותת ולא תלך על קו יושר. והעילה האחרת שהאדם צומח מן השמים, כלומ' שכל צמח צומח מעקרו ונהיה העיקר בזה ממול השמי' לפיכך אנו צומחים מן השמים, ומפני זה נקרא אדם פרי מהופך.
עפר מן האדמה, the Torah here mentions only one of the four raw materials man is made of, seeing it is the predominant one, at least quantitatively, in all land based living creatures as opposed to the creatures whose habitat is the water, whose predominant raw material is the water. In the case of the birds, air is the quantitatively predominant raw material. This fact enables the birds to fly in the air. Mention of the raw material עפר means that this raw material distinguishes man, is the most visible, the result of G’d’s directive to earth to bring forth a lifeless human being beautifully shaped, functional, awaiting only the soul G’d would insert to turn it into a living creature. מן האדמה, the prefix ה was used here to let us know that only the choicest earth was employed in constructing this golem. Man’s body is superior to the bodies of the other mammals that had also been produced by primarily using earth as their raw material. Proof that this claim is correct is the fact that man alone of all the mammals on earth walks upright. The scholar Rabbi Yoseph ben Tzadik (in a book called olam hakatan) writes that we can understand this by comparing pure oil and impure oil respectively supplying a wick with its fuel. When pure oil is used, the flame rises perpendicularly, not flickering from one side to another, whereas when impure, insufficiently refined oil is used, the flame does not rise in an uninterrupted upward motion. Similarly, the fact that man walks upright is a reflection of the purity of the raw material used in his composition. An additional reason why man is able to walk upright is the fact that he contains the soul whose origin is in heaven. This fact would reflect that whatever grows reflects its origin in the manner in which it grows. Seeing that man’s head is his most important part, it being higher than the rest of his body, it is no more than natural that he would walk in a manner which illustrates the superior importance of his head, i.e. walking upright, head held high. By holding his head high, he symbolically points toward heaven, his origin. (Sefaria translation)