The Shulchan Aruch O.C. 208:9 writes:
עירב קמח דוחן ושאר מיני קטניות עם קמח של חמשת מיני דגן ובשלו בקדירה מברך בורא מיני מזונות ועל המחיה ואם עשה ממנו פת מברך המוציא וברכת המזון ודוקא שיש באותו קמח מחמשת מינים כדי שיאכל ממנו כזית דגן בכדי אכילת פרס אבל אם אין בו זה השיעור מחמשת המינים אינו מברך לבסוף ברכת המזון אלא בתחילה מברך המוציא כיון שיש בו טעם דגן אף על פי שאין בו כזית בכדי אכילת פרס ולבסוף על המחיה
If one mixes other flours in with flour from the 5 grains and ... makes bread out of it, he makes hamotzi and birkas hamazon. But only if it has enough flour of the 5 grains to eat a k'zayis of grain within k'dei achilas pras. But if it does not have htis amount, he does not make birkas hamazon afterwards, rather he makes hamotzi at the beginning, since it has the taste of grain even though it does not have a k'zayis within k'dei achilas pras, and at the end he makes al hamichya.
Here, even though the mixture is considered bread and you make hamotzi, the other food which is mixed in does not contribute to the k'zayis for the birkas hamazon. Non-bread which is eaten within that timeframe (or even eaten together with the bread) does not contribute to that shiur.