The Ramban (Vayikra 23:40) writes
ועל דרך האמת "פרי עץ הדר" הוא הפרי שבו רוב התאוה ובו חטא אדם הראשון שנאמר (בראשית ג ו) ותרא האשה כי טוב העץ למאכל וכי תאוה הוא לעינים ונחמד העץ להשכיל ותקח מפריו ותאכל
The Eitz HaDaas was the Esrog which Adam HaRishon ate from. Why do we specifically take this fruit as part of the daled minim?