This is a great question, as it exposes the problem with the Mordechai, one of the thorniest medieval texts in terms of the significantly different versions and abridgments produced over the generations, which make an authoritative version of this thirteenth-century compilation of Ashkenazic laws and customs quite challenging.
The numbering system you refer to developed out of Italian editions produced in the mid-16th century that included the Rif, Mordechai, and Tosefa in one book. R. Yehoshua Boaz, a Spanish exile who moved to Italy and wrote the commentary to the Mordechai called Shiltei Hagibborim, numbered the Mordechai in order to make the work an accessible companion to the laws of the Rif. Later editions of the Mordechai and the Rif corrupted this numbering system, exacerbated by the loss of a work Boaz made of this numbering system.
This information is based on the wonderful research of Avraham Halperin. He explains the complicated textual history of the Mordechai and its commentaries in the Machon Yerushalmi edition of the Mordechai, a revised, critical edition that relies on several archived manuscripts. It is there, in the introductory volume (pp. 37-38), that he writes the following paragraphs (with my quick translation of the relevant information):
לא עברו אלא כשלשים שנה מעת הדפסת הרי"ף, עם המרדכי והתוספתא בוונציה
כנ"ל והנה התחילו בעת ובעונה אחת שני בתי דפוס באיטליה להכין מהדורא חדשה
מהם. בית הדפוס האחד הוא של הנוצרי אלויזי בראגאדין בוונציה, והשני - של
המדפיס היהודי טוביה פואה בסביוניטה בדפוס בראגאדין הופיע הספר בשנת שי"ב
(1552) ובסביוניטה - בשנים שי"ד-שי"ט (1554-1559). הטכסט בשניהם - גם של
הרי"ף, גם של המרדכי וגם של התוספתא - מועתק מדפוס וונציה ואף סדר הדפים
והעמודים בהם הוא כמותו (ורק לעתים יש הבדל קל ביניהם, המתבטא בהעברת
שורה אחת או שתיים מסופו של עמוד אחד אל ראשיתו של משנהו). בשניהם הופיע
הספר בשלשה חלקים. החידוש המיוחד שהוכנס בהם הוא כפול: ציון ההלכות - גם
ברי"ף וגם במרדכי - באותיות לפי סדר הא"ב והוספת פירוש בשם ״שלטי
הגבורים״ אף הוא בשניהם. ההלכות צויינו על ידי הדפסת מעגל קטן ליד מילת
המפתח בפנים והאות בשוליים בצד. בכל אחד משלשת החלקים ערוכים סימני
האותיות בסדר שוטף מתחילה. סידור זה, וכן הפירוש הנ"ל הם פרי עבודתו של
רבי יהושע בועז, בעל התורה אור, העין משפט והנר מצוה שעל הגמרא. בהקדמתו
למהדורא זו (והיא העתקה לרוב המהדורות הבאות של הרי"ף ונמצאת גם אתו בראש
הרי"ף למסכת ברכות שבדפוסי הש"ס דירן) כותב יהושע בועז, שהוא מיין וריכז
את כל הדינים שבתלמוד בשני חלקים: ״עצות בנפשי שמתי לתת בסדר על ספר
תמי"ם כל הדינים הפשוטים בלי מחלוקת וגמגומים וכל הדינים אשר בהן מחלוקת
להציגן כסדרן על ספר המחלו״קת״. וכוונתו היתה כדבריו שם: ״לערוך שלחן מכל
הפוסקים אשר מתוך התלמוד הוציאו פסקים צדיקים, וסביב לו איש על מקומו
באותות אמרתי להקים, ואזי בשטיטת עין אחת ימצא איה איפה בספר דבריהם
חקוקים״. מפרי עבודתו (אולי כהכנה לספרים המתוכננים הללו) נתברכנו במראי
מקום כל דין שעליו פסק האלפסי ברב חילו, איפא (!) הביאו אותו בחבורים
מיימון וסמ"ג (ספר מצוות גדול) וטור באותות גדול על דגלו, כפי סדר שכתבתי
למעלה סביבו כתבתיהו, ולו שם עין משפט קראתיהו, גם לכל דין אות מאלפא
ביתא למנין שם חקקתיהו, לנר כל מצוה שם הצגתיהו. אולם הקובץ המרוכז של כל
ההלכות הללו במסגרת ״ספר חקר דינים״ של התלמוד, המבטח לנו בהמשך דבריו שם
לא הגיע לידינו
לעומת זאת, מעבודת הסימון המקבילה שנעשתה על ידו לרי"ף ולמרדכי (כדבריו שם: ״ועשיתיו לקצות פסקי הרי"ף הנ"ל סמני חקר דינין וסדרתיהו להלכותיו וכן ספר האשר"י ז"ל סדרתי סי' כל פסק דין שלו בדגלו לאותותיו וכן קיצור ספר מרדכי סדרתיהו להלכות בסימניו עם הגהותיו״) נדפסו
בשתי המהדורות הללו בראגאדין וסביוניטה לוחות הדינים לשניהם
הלוחות לספר המרדכי יצאו גם אחר כך בהוצאה נפרדת בשם ״קיצור מרדכי
וסימניו״. בדפוס וויצנטו קונסי בקרימונה, בשנת שי"ז (1557). ואמנם חלוקת
סימני הדינים שבלוחות אלה לפני אותיותיהם מתאימה בדיוק לסימנים שליד
הטכסט ברי"ף ובמרדכי
הדפוסים המאוחרים נהגו בתחילה להעתיק על פי מהדורה זו את סימני האותיות
בשולי הטכסט (ולא תמיד הדפיסו את לוחות חיקור הדינים) ואחר כך - בתוך
הטכסט עצמו (כגון בדפוס ווארשה תרי"ט-תרכ"א, למברג שעם הש"ס תר"ך-תרכ"ה
ובדפוסי ווילנא-ראם המאוחרים). כיון שסימני האותיות הללו נסובים רק על
ההלכות המצויות והמפוזרות בטכסט הרי שאין כל קשר ביניהם לבין חלוקתו של
הטכסט לפיסקאות או לסעיפים. קורה להן, שבפיסקה מסויימת יש כמה סימני
אותיות וכנגדה, בפיסקה אחרת שאין בה הלכה התואמת את המובא ברמב"ם, אין כל
ציון. כמו כן באים כרגיל סימני האותיות הנ"ל ליד מילות המפתח ולאו דווקא
בראשי הפיסקאות שם. בגלל חוסר חלוקה מגדרת של הטכסט גם ברי"ף וגם במרדכי
השתרש הנוהג לציין את המקומות בשניהם לפי סימני אותיות אלה לראות בהם
מעין ציוני סעיפים, למרות שאין הם עונים כלל וכלל על כך
Not thirty years since the Rif was printed alongside the Mordechai and
the Tosefta in Venice, as mentioned above, that two printing houses in
Italy began to make a new edition of them at the same time. The first
printing house was by the Christian, Alvise Bragadin in Venice, and the
other by the Jewish printer Tuvia Foa in Sabbioneta, the book appeared
in the Bragadin printing press in 1552 and in Sabbioneta in the years
1554-1559.
The text in both editions - each with the Rif, the
Mordechai and the Tosefta - was copied from Venice, and even the order
of the pages is the same (and only sometimes there is a slight
difference between them, which is expressed by moving one or two lines
from the end of one page to the beginning of another). In both
editions, the book appeared in three parts. The special innovation
introduced in them is twofold: the marking of the laws - both in the
Rif and in Mordechai - in letters according to the order of the
alphabet and the addition of a commentary with the name "Shiltei
Hagibborim" in both.
The laws were indicated by printing a small
circle next to the keyword on the inside and the letter on the side
margins. In each of the three parts the letter marks are arranged in a
starting order. This arrangement, as well as the aforementioned
commentary, are the fruit of the work of Rabbi Yehoshua Boaz, the
author of "HaTorah Or", the "Ein Mishpat" and the "Ner Mitzva" on the
Gemara. In his introduction to this edition (and it is a copy of most
subsequent editions of the Rif and it is also at the
beginning of the Rif on Tractate Brakhot in the printed editions of
Shas), Yehoshua Boaz writes that he sorted and summarized all the laws
in the Talmud ...However, the abridged compilation of all these laws in
the "Sefer Heqer Dinim" of the Talmud, assures us later in his remarks
there, that these works have been lost.
Nevertheless, from the parallel numbering work done by Boaz for the Rif
and the Mordechai ... in both of these editions, Bragadin and Sabbioneta
printed the lists of laws for each of them.
...Indeed, the division of the laws in these lists are according to
letters that correspond exactly to the signs next to the text in the
Rif and in the Mordechai.
Subsequent editions started copying this edition, incorporating the
alphabetically ordered arrangement on the margins of the text (and did
not always print the lists of the laws) and later - within the text
itself (such as in the Warsaw and Vilna editions). Since these letter
marks revolve only on laws found and scattered throughout the text,
there is no connection between them and the division of the text's
paragraphs or sections. Sometimes a certain paragraph will have
several letter marks and, by contrast, another paragraph that has no
laws corresponding to what is presented in the Rambam, doesn't have
any.
Likewise, the aforementioned letter marks appear next to keywords and
not necessarily at the beginning of the paragraphs there. Due to the
lack of a defined division in both the texts of the Rif and the
Mordechai, it has become customary to indicate the places in both
according to the lettered numbers to see as kinds of section markers,
even though they do not correspond with each other.
