Regarding the first part of the question, Qitzur Shulhhan Arukh, Yalqut Yosef (Orahh Hayim 301:54) states (my translation):
מותר לצאת בשבת לרשות הרבים עם סיכת ראש שנועדה להתפיס את הכיפה לראש, ואין לחוש בזה לאיסור הוצאה בשבת.
It is permitted to travel between domains on Shabbat with a hair clip which is designed to secure the kippah on one's head and one need not be concerned about this with regards to the prohibition of [transferring between domains on Shabbat].
Regarding the second part of the question, Qitzur Shulhhan Arukh, Yalqut Yosef (Orahh Hayim 301:10) states (my translation):
כל דבר שמשמש לבגד, כגון כפתורים שבשולי הבגד, או בשרוולי המעיל, או ב' כפתורים התפורים במעיל מאחור [פראק], מותר לצאת בהם בשבת לרשות הרבים, גם במקומות שאין עירוב, ואין צריך להסירם מערב שבת, מאחר שהם תפורים ומחוברים לבגד והם חשובים אצלו.
Everything of use to an article of clothing, for example buttons on a garment's edge or on a coat's sleeves or two buttons sewn on the backside of a coat, is permitted to be transferred to the public domain on Shabbat even in areas without an 'eiruv. And there is no need to remove these elements on 'Erev Shabbat, because they are sewn into and connected to the article of clothing and are part of its purpose.
Because the hair clips sewn into certain kippot are A) sewn into the garment and are B) fundamental to its purpose (even while not currently in use), it appears they would be permitted under this second ruling.