This is a broad question and Rishonim worked hard on this notion. I will give a taste only.
The lines in Tosfot Sukka 30a:
משום דהוה ליה מצוה הבאה בעבירה. והדתניא לקמן פ' לולב וערבה (ד' מג.) לכם משלכם להוציא את השאול ואת הגזול משום שאול איצטריכא, דבלאו לכם נפקא לן גזול משום מצוה הבאה בעבירה דאע''ג דקרא גבי קרבן כתיב הוא הדין בכל מצוה דהוי דאורייתא'
First opinion. The psul of Mitsva Habaa Beavera is a psul Deorayita. The source of the prohibition is a verse in Isaiah 61.8 "For I the Lord love judgment, I hate robbery with a burnt offering". And it apply for all Mitsvot.
כדמוכח בריש הגוזל קמא (ב''ק ד' צד.) גבי הרי שגזל סאה של חיטין וטחנה ואפאה והפריש ממנה חלה דאין זה מברך אלא מנאץ וא''ת לקמן (ד' לא:) דפסלינן לולב של אשרה ושל עיר הנדחת משום דמיכתת שיעוריה תיפוק ליה משום מצוה הבאה בעבירה, ותו אמאי שרינן דלאו אשרה דמשה? וי''ל דלא דמי לגזל דמחמת עבירת הגזל באה המצוה שיוצא בו
The psul is only in cases in which the Avera is a way to do the Mitsva, e.g. if because someone stole the Lulav, he has the opportunity to perform mitsvat lulav. But if someone did Avoda Zara on a palm and take a branch as Lulav, the problem is not Mitsva Habaa Beavera (but there is another problem not linked to our topic). For indeed, he could have taken the palm in the palm even if nobody made the Avera of Avoda Zara.
אבל הני אטו מחמת עבירה שנעשית בו מי נפיק ביה ומיהו יש ספרים דגרסי' לקמן (ד' לה.) אמתני' דאתרוג של אשרה מ''ט משום דהוה ליה מצוה הבאה בעבירה וגירסא משובשת היא אלא טעמא משום דמיכתת שיעוריה דאתרוג נמי בעי שיעור כאגוז או כביצה דאף על גב דאמרינן לקמן (ד' לא:) טעמא משום דלא גמר פירא מכל מקום בעינן דמינכר לקיחתה דמהאי טעמא פסלינן לקמן (ד' לה.) פלפלין ומיהו תימה בפרק כל שעה (פסחים ד' לה:) דתניא אין יוצא ידי מצה בטבל ודריש ליה מקרא תיפוק ליה משום מצוה הבאה בעבירה דקא אכיל איסורא ונפיק ידי מצה:
Tosfot ends with a kushia against his own pshat. It seems from some passages in Gemara that Averot which don't allow to perform the Mitsva lead to a problem of Mitsva Habaa Beavera, as AZ, or not to preleve Terumot and Maasrot.
The Tosfot 9a
ההוא מיבעי ליה למעוטי גזולה. תימה תיפוק ליה משום דהוה ליה מצוה הבאה בעבירה דמהאי טעמא פסלינן אתרוג הגזול ביום טוב שני לקמן בריש לולב הגזול (ד' כט:) ובההיא שמעתא גופא קשיא דקאמר בשלמא בי''ט ראשון בעינן לכם משלכם אלא בי''ט שני אמאי ומשני משום דהוה ליה מצוה הבאה בעבירה והשתא אם כן ל''ל לכם משלכם ומיהו התם איכא לשנויי דאצטריך למעוטי שאול אבל גבי סוכה ליכא לשנויי הכי לרבנן דאמרי לקמן פרק הישן ('' כז:) דאדם יוצא ידי חובתו בסוכה של חבירו ונפקא להו מדכתיב כל האזרח בישראל ישבו בסוכות מלמד שכל ישראל ראויין לישב בסוכה אחת וי''ל דטעמא דמצוה הבאה בעבירה לאו דאורייתא אלא מדרבנן
A second opinion in Tosfot. The psul of mitsva habaa beavera is a Rabbinic psul. So, in some cases where there is a problem of Mitsva Habaa Beavera, we look for a problem of Psul Deorayita.
ומיהו קשה מפרק הניזקין (גיטין ד' נה. ושם) גבי חטאת גזולה שלא נודעה לרבים דאמר עולא בגמרא בין נודעה בין לא נודעה אינה מכפרת מאי טעמא דיאוש כדי לא קני ושמעינן ליה לעולא דיאוש כדי קני גבי עורות של בעל הבית וגנב וגזלן (ב''ק ד' קיד.) ואומר ר''ת דטעמא דעולא בגיטין משום מצוה הבאה בעבירה אלמא דאורייתא היא
Rabenu Tam rules that the Psul is Deorayta (interpreting a Gemara addressing a Psul Bediavad for a Korban Chatat).
ומיהו בלאו הכי לא יתכן דהא בהדיא קאמר עולא משום דיאוש לא קני ועוד דבפרק מרובה (שם ד' סז:) דריש רבא בהדיא דיאוש לא קני מדכתיב קרבנו ולא הגזול אלא נראה דההוא דהגוזל בתרא לאו יאוש כדי הוא דאיכא יאוש ושינוי השם כדקאמר התם במרובה (שם סו:) דמעיקרא קרי ליה משכא והשתא קרי ליה אברזא ואע''ג דגבי קרבן נמי איכא שינוי השם כדאמר התם [דף סז:] דמעיקרא חולין והשתא הקדש מכל מקום ממעט מדכתיב קרבנו כיון דקודם הקדש לאו שלו הוא ואף על גב דחל עליו הקדש מחמת שינוי השם דאתי השתא לא חזי להקרבה דבעינן קרבנו בשעה שמקדיש:
Tosfot rejects the arguments of Rabenu Tam.
Tosfot Gittin 55a
…… ונראה לרבינו יצחק דבכל מקום לעולא יאוש לא קני והאי דהגוזל בתרא (שם דף קיד.) הוי יאוש ושינוי השם דמעיקרא משכא והשתא אברזא כדאמר במרובה (שם דף סו: שם) ואע''ג דגבי קרבן נמי הוי יאוש ושינוי השם כדאמרינן נמי התם (דף סז.) מעיקרא חולין והשתא הקדש מ''מ כיון דאינו קנוי אלא מחמת שהקדיש ולא היה קנוי לו קודם פסליה רחמנא להקרבה משום מצוה הבאה בעבירה ומיהו אם היה קנוי לו קודם ההקדש לא הוה חשיב מצוה הבאה בעבירה כדמוכח בסוכה (דף ל.) דאמר להו רב הונא להנהו אוונכרי כי זבניתו אסא מן העובדי כוכבים ליגזוז אינהו כו' ופריך וליקננהו בשינוי השם משמע דאי קנו ליה תו לא הוה מצוה הבאה בעבירה
A third opinion in Tosfot, it's Deorayita, but different from the Understanding of Rabenu Tam. According to Rabenu Yitschak after the acquisition of the object, there is no more psul of mitsva habaa beavera for the thief, because the object is acquired before the Mitsva, the Avera is already done and doesn't more cause psul.
… והא דאמר בריש הגוזל קמא (ב''ק צד.) הרי שגזל סאה של חיטין טחנה לשה ואפאה והרים ממנה חלה כיצד יברך אין זה מברך אלא מנאץ ואע''ג דקנה קודם לכן דשנוי קונה לענין ברכה ראוי להחמיר יותר וחשיב מצוה הבאה בעבירה אע''ג דכבר קנה אין להזכיר שם שמים עליו
But, according to Rabenu Yitschak despite that a thief can make a mitsva when a stolen object is beforehand acquired, to bless on the Mitsva remains a Mitsva Habaa Beavera (the line of Rabenu Tam hasn't this discrepancy, because he holds that the psul remains even after the Kinyanim and shinui hashem).
Note. It seems from Tosfot that if Mitsva Habaa Beavera is a Rabbinic Psul, the Mitsva is done Bediavad. But if it is a Deorayita Psul, the Mitsva is not done. This is indeed one of the opinions in Tosfot.
There are two opinions that MHB is a psul Deorayita, Rabenu Tam and Rabenu Yitschack, with differences explained above.
There is an opinon for which the ganav alone has a problem of MHB, reported in SA in the link below (in Bet Yosef the author is identified as the Orchot Chayim).
There are also discussions in Rishonim if MHB applies for Mitsvot Derabanan, see a long discussion in the Ran at the beginning of the third chapter of Succa.
From the words of the SA OC 649.1 It seems that he holds the line of Rabenu Yitschak.
