Although Meir's response is more on the mark in answering your question based on the Midrash itself, another consideration is the Meshech Chochma (Vaera 8) who says
ויצום אל בני ישראל ואל פרעה כו' להוציא את בנ"י כו' יתכן כי גם אז
במצרים היו גדולי האומה אשר היו שרים נכבדים ואפרתים והם היו משעבדים את
בני ישראל לעבדים שמכרו המצרים להם ואולי היו המה השלשה שבטים ראובן
ושמעון ולוי שהנהיגו שררה במצרים כמו שאיתא במדרש נשא פ' י"ג לוי שלא היה
בשעבוד מצרים לכן לא נטל נחלה בארץ, וכן ראובן לא נטל רק בעבר הירדן
ושמעון נתקיים עליו אחלקם ביעקב כמוש"פ רמב"ן ומהם היו בני חורין הרבה
ושרים אשר היו משעבדים את ישראל הנמכרים להם מהממשלה של פרעה, לכן צוה
השי"ת שבני ישראל גם פרעה יוציאו את בני ישראל מהשעבוד
Essentially, the commandment told "to Klal Yisroel and Pharaoh to remove the Jews from slavery," refers not only to the Egyptian leader's requirement to send us out, but also to the tribes in power who had Jewish slaves. Specifically, Reuven, Shimon, and Levi who did not receive an inheritance in Eretz Yisroel proper had more independence in Egypt to have Jewish slaves (perhaps not having the land to hope for would have made being a slave too emotionally crushing). Although the Meshech Chochma does not suggest the Egyptians desired their position of power, it does note the higher positions these tribes had.