The source is a Mishna (Kidushin 3:12) which states that if Issur Karet is involved (excluding Niddah) then the Marriage is invalid (i.e. they are not married). Any offspring of such a union would be Mamzerim.
A list of these is in Vayikra Ch 18 and pasted below. (That's in אַחֲרֵי מוֹת; the Kriat HaTorah for Yom Kippour afternoon.)
Marrying a non-Jew is forbidden, and the marriage is invalid, as the Rambam says in הלכות אישות - פרק רביעי
טו: הַמְקַדֵּשׁ כּוּתִית אוֹ שִׁפְחָה אֵינָן קִדּוּשִׁין אֶלָּא הֲרֵי הִיא אַחַר הַקִּדּוּשִׁין כְּמוֹ שֶׁהָיְתָה קֹדֶם הַקִּדּוּשִׁין. וְכֵן עַכּוּ''ם וְעֶבֶד שֶׁקִּדְּשׁוּ בַּת יִשְׂרָאֵל אֵין קִדּוּשֵׁיהֶן קִדּוּשִׁין. יִשְׂרָאֵל מוּמָר שֶׁקִּדֵּשׁ אַף עַל פִּי שֶׁהוּא עוֹבֵד עַכּוּ''ם בִּרְצוֹנוֹ הֲרֵי אֵלּוּ קִדּוּשִׁין גְּמוּרִין וּצְרִיכָה גֵּט מִמֶּנּוּ:
In all other forbidden cases, the marriage is valid, yet forbidden. Some forbidden marriages cause the offspring to be mamzerim, some to be Chalalim and some to simply be blemished.
Source: Rambam הלכות אישות - פרק ראשון
List of Karet-unions; marriage not possible.
ז: עֶרְוַת אָבִיךָ וְעֶרְוַת אִמְּךָ לֹא תְגַלֵּה אִמְּךָ הִוא לֹא תְגַלֶּה עֶרְוָתָהּ: - Parents
ח: עֶרְוַת אֵשֶׁת אָבִיךָ לֹא תְגַלֵּה עֶרְוַת אָבִיךָ הִוא: - Father's wife
ט: עֶרְוַת אֲחוֹתְךָ בַת אָבִיךָ אוֹ בַת אִמֶּךָ מוֹלֶדֶת בַּיִת אוֹ מוֹלֶדֶת חוּץ לֹא תְגַלֶּה עֶרְוָתָן: Sister
י: עֶרְוַת בַּת בִּנְךָ אוֹ בַת בִּתְּךָ לֹא תְגַלֶּה עֶרְוָתָן כִּי עֶרְוָתְךָ הֵנָּה: Granddaughter (and daughter)
יא: עֶרְוַת בַּת אֵשֶׁת אָבִיךָ מוֹלֶדֶת אָבִיךָ אֲחוֹתְךָ הִוא לֹא תְגַלֶּה עֶרְוָתָהּ: Step sister (Father's wife's daughter)
יב: עֶרְוַת אֲחוֹת אָבִיךָ לֹא תְגַלֵּה שְׁאֵר אָבִיךָ הִוא: Father's sister (Aunt)
יג: עֶרְוַת אֲחוֹת אִמְּךָ לֹא תְגַלֵּה כִּי שְׁאֵר אִמְּךָ הִוא: Mother's sister (Aunt)
יד: עֶרְוַת אֲחִי אָבִיךָ לֹא תְגַלֵּה אֶל אִשְׁתּוֹ לֹא תִקְרָב דֹּדָתְךָ הִוא: Father's brother (Uncle) and his wife
טו: עֶרְוַת כַּלָּתְךָ לֹא תְגַלֵּה אֵשֶׁת בִּנְךָ הִוא לֹא תְגַלֶּה עֶרְוָתָהּ: Daughter-in-law
טז: עֶרְוַת אֵשֶׁת אָחִיךָ לֹא תְגַלֵּה עֶרְוַת אָחִיךָ הִוא: Brother's wife (except for Yibum)
יז: עֶרְוַת אִשָּׁה וּבִתָּהּ לֹא תְגַלֵּה אֶת בַּת בְּנָהּ וְאֶת בַּת בִּתָּהּ לֹא תִקַּח לְגַלּוֹת עֶרְוָתָהּ שַׁאֲרָה הֵנָּה זִמָּה הִוא Mother and daughter
יח: וְאִשָּׁה אֶל אֲחֹתָהּ לֹא תִקָּח לִצְרֹר לְגַלּוֹת עֶרְוָתָהּ עָלֶיהָ בְּחַיֶּיהָ: Sisters, if first wife-sister is still alive.
(יט: וְאֶל אִשָּׁה בְּנִדַּת טֻמְאָתָהּ לֹא תִקְרַב לְגַלּוֹת עֶרְוָתָהּ: Nidda. Not included.)
כ: וְאֶל אֵשֶׁת עֲמִיתְךָ לֹא תִתֵּן שְׁכָבְתְּךָ לְזָרַע לְטָמְאָה בָהּ: Married to another.