Even if there's no prohibition touching a penuya tehorah1 (single girl), these two cases have some sources which could indicate an issur.
Arusa
That very passage in masseches kalla states without sheva brachos a kallah is אסורה כנדה and this is quoted by Shu"t HaGeonim Shaarei Tzedek (4:4:24), Rashi Kesubos (7b) and many other sources.
It is forbidden to touch one's wife who is a nidda, as Rambam writes in Issurei Biah (11:19).
Accordingly, the Chida writes in his commentary to masseches kalla there that it is forbidden to touch a kalla like a nidda:
כלה בלא ברכה אסורה כלומר אפי' לחבק או ליגע בה כנדה.
So according to him there is prohibition to touch your arusah.
However, it should be noted that the simple reading of masseches kalla isnt that she is actually like a nidda, but just that although she is your wife, relations with her are prohibited.That is the natural reading of the continuation:
מה נדה שלא טבלה אסורה לבעלה, אף כלה בלא ברכה אסורה לבעלה
There is no evidence that the particulars of hilchos nidda apply to her. Indeed, R. Aurbach of T'veria is quoted in the article: הוראות והערות הרב שלמה זלמן אוירבך בדיני חופה ונשואין printed in מבקשי תורה כז, תשס"ב, יב - טו that it obviously doesn't mean that they have the same laws2:
הדבר פשוט ואין צריך לפנים שאין בכלה בלא ברכה דיני הרחקות אף שכ' ואסורה לבעלה כנדה.
Also, a noteworthy comment of the Rambam sheds light on what he thinks is the significance of the comparison to nidda
תשובת הרמב"ם סימן רפח
וכלה בלא ברכה אסורה לבעלה מדרבנן וזה שאמרו כנדה לחזק הדבר בלבד
We see he felt Chazal used this expression to show how serious their prohibition should be viewed.
Shomeres yavam
Regarding a shomeres yavam, one important source potentially indicating a problem touching her, is the Yerushalmi Yevamos (1:1) regarding the practice of R. Yossi ben Chalafta who performed the act of yibbum through a sheet. While there is much discussion about this passage, some, such as Korban Ha'Edah there, connect this to the view of Abba Shaul (Yevamos 39b) that intent for yibbbum must be pure since otherwise the children are like mamzerim. Rambam explains (Bechoros 1:7) that in his view, the shomeres yavam retains characteristics of erva, and is therefore only permitted through yibbum alone. Similarly, Maharshal implies in Yam Shel Sh'lomo to Yevamos (4:2) that R. Yossi's behavior was related to the erva status of a sister in law that yevama carries.
This would be a source to prohibit non-yibbum contact that would be forbidden with other arayos (classically hugging or kissing and other such contact).
It should be noted that there are many reasons why halacha would nevertheless not follow this.
Credits to an anonymous scholar who provided me with the sources.
1 Interestingly, regarding touching brides, the Sefer Maharil (מנהגים) הלכות נישואין writes:
והחתן תופש אותה בידו
The groom holds her hand. He was speaking on the day of the wedding, before the kiddushin
2 However, the following in the Sefer Shalmei Simcha pg. 186 implies Rav Shlomo Zalman Auerbach himself held she does have harchokos like a niddah.
יש נוהגין שהחתן לא ימסור לכלה את כוס הברכה מידו לידה, כיון דהוי אחר האירוסין, וכלה בלא ברכה אסורה לבעלה כנדה. ורבינו אמר שזה אינו ובודאי מן הראוי שהחתן יתן לכלה. ואין בזה כל חשש, שהרי הכוס של אירוסין הוא לפני אירוסין, ועדיין איננו "כלה" בלא ברכה, והכוס של נישואין אף דהוי אחר קידושין לפני הנישואין דהיינו לפני ייחוד, אין בזה כל חשש, ששתי חומרות הן, א. שיטת הר"מ שמצריך גם ייחוד. ב. חומרא דהושטה מיד ליד כשיטת רש"י.
Perhaps this is just derech pilpul but not to imply she's really like a niddah. I subsequently saw the source of Rav Auerbach of Tiveria inside and realized he was directly commenting on this source. He says like I thought on this statement of his father:
ודברי אאמו"ר זצ"ל נאמרו בדרך מו"מ של הלכה בלבד דממנ"פ אין לאסור, אבל לא נתכוין לדייק מדבריו שיהיה החתן אסור לאחוז ביד הכלה בלכתם לחדר יחוד.