The Aruch Hashulachan in Siman 168 indicates that it is based on your intention while you eat. If you intend to have enough, either when you start or in the middle of eating before you finish (or say a Bracha Achrona), then it is considered eaten together. If you intended to finish eating (or made a Bracha Achrona) then it would be a new start after that.
איתא בגמרא (מ"ב.) דפת הבאה בכיסנים מברך עליו 'בורא מיני מזונות' ולא 'המוציא', ומהו פת הבאה בכיסני יתבאר לפנינו. אך זהו כשאוכלם אכילת עראי, אבל כשקובע סעודה עליהם - מברך 'המוציא' וברכת המזון וטעון נטילת ידים. ואם בתחלה היה בדעתו לאכול מעט ובירך 'בורא מיני מזונות' ואחר כך אכל הרבה - צריך לברך ברכת המזון. וזהו אם לא נמלך בתחלת אכילתו לאכול הרבה אלא שכן היה שאכל הרבה, דממילא לא שייך כאן ברכת 'המוציא' ונטילת ידים. ואפילו אם באמצע אכילתו נמלך לאכול הרבה, מכל מקום כשלא נשאר מזמן ההמלכה עד סוף אכילתו שיעור קביעת סעודה - אין צריך ליטול ידיו ולברך 'המוציא', אבל אם בתחלת אכילתו נמלך לאכול הרבה - צריך ליטול ידיו ולברך 'המוציא' (וזהו כוונת המגן אברהם סקי"ד).
It is said in the Gemara (Brachot 42a) that bread which comes as dessert, one blesses over it "who creates kinds of nourishment" and not "Who brings [bread from the earth]", and what bread which comes as dessert is will be explained shortly. So, [our previous ruling is in effect] specifically when one eats it casually, but when one bases a meal on bread which comes as dessert, one blesses "Who brings [bread from the earth]" and [after eating] the blessing of the meal, and it requires washing of the hands. And if one originally intended to eat a little, and blessed "Who creates many types of nourishment", and then ate much -- one needs to bless the blessing of the meal. And this is in a case where one did not decide at the beginning of eating to eat a lot, and then it happened that one ate a lot, in which case the blessing of "Who brings [forth bread from the earth]" and hand-washing would not be appropriate. And even if, in the middle of one's eating, one changed one's mind and decided to eat a lot, nevertheless when from the time of the decision until the end of the eating there does not remain enough time to 'fix a meal' -- it's not necessary to wash one's hands and to bless "Who brings". But if one changed one's mind and decided to eat a lot at the beginning of one's eating, one does need to wahs one's hands (and this was the intention of the Magen Avraham on Shulchan Aruch, Orach Chayim 114)
Furthermore, he says later on that it may be dependent on the way you eat not the amount you eat. He says this in defense of those who eat a lot by Kiddushim and do not make Hamotzai or Birchas Hamazon:
ודע שכמה גדולים צעקו ככרוכיא על מה שנתפשט בדורינו בכל המדינה שבעת איזה שמחה עורכים שלחן עם כמה מיני דגים וכמה מיני בשר, ואוכלים עם פת הבאה בכיסנין ואוכלים בלא נטילת ידים ובלא 'המוציא' וברכת המזון, אלא בברכת 'מזונות' ולבסוף 'על המחיה', ואוכלים הרבה מאוד מהגלוסקאות ומחלה האפוי על שמן שקורין בוימי"ל חלה. ואין שום ספק בזה דצריכין ליטול ידיהם ו'המוציא' וברכת המזון, ואפילו אם יזהרו שלא לאכול הרבה מהפת, מכל מקום הא לדעת הגדולים שבסעיף הקודם אם שבעו מהלפתן חייבים ליטול ידיהם וכו' אף כשאוכלים מעט פת, ובוודאי כד' ביצים אוכלים. ורק מעט מהיריאים נזהרים בישבם על שלחן כזה לבלי לאכול הרבה, או שנוטלים ידיהם ומברכים 'המוציא' על פת סתם, אבל רוב המון ישראל אין שומרים עצמם מזה. על כן בוודאי חלילה לעשות כן, אך אין בידינו למחות כידוע. (וכדי ללמד קצת זכות נראה לעניות דעתי קולא מלשון הרי"ף בעניין זה, שכתב בזה הלשון: "מסקנא: היכא דאכל לה בתורת כיסנין מברך 'בורא מיני מזונות' וכו', והיכא דאכל לה בתורת קביעותא - מברך עליה 'המוציא' וג' ברכות" עכ"ל. ומשמע מלשונו דאינו תלוי בשיעור קביעת הסעודה אלא באופן האכילה, בין ההכנה לאכילת עראי ובין ההכנה לאכילת קבע. וזה ידוע שבאכילת סעודה גמורה פושטין הבגדים העליונים ויושבים סביב השלחן, אבל באכילות אלו חוטפין ואוכלין כמה שהן בלי הכנה, ויש אוכלין מעומד ומהלך כידוע וסוברים דזה לא מקרי קביעת סעודה. וזה שאמרו בגמרא: "כל שאחרים קובעין וכו'” צריך לדחוק לפירוש זה גם כן באופן שכתבנו, וכל ירא אלקים ירחק את עצמו מזה, והוא רחום יכפר עון).
The Birchas Habayis (9:4) also agrees with the Aruch Hashulchan and further, clearly states that once you were מסיח דעת or made a Bracha Achrona then you are considered to be starting over and it is not מצרף.
