There is much discussion in Jewish literature about this subject, and there is also a difference between a woman wearing a tallit and tefillin. It is easy to show what the Gemara and the Rema say, but leaving out all of the rishonim and acharonim on the topic would prevent learning where the halakha stands. But here is a start.
Mishna - מסכת ברכות פרק ג:ג (Berakhot 3:3)
נשים ועבדים וקטנים פטורין מקריאת שמע ומן התפילין וחייבין בתפלה ובמזוזה ובברכת המזון
Women, slaves, and minors are exempt from the recitation of Shema, and from tefillin, and are obligated in prayer and mezuzah and the blessings on food.
The reason why women are not obligated is explained in the gemara קידושין (Kiddushin 33a-34b), where the Torah uses the words "sons" for the mitzvah of learning Torah, which is in the same verse as the mitzvah for wearing tefillin (this is a general principle of Torah verse application). Also, women are not obligated by positive time-bound mitzvot, so they're not obligated to wear tefillin (same sugya in Kiddushin). But can they wear teffilin anyway? Here is the main story of a woman wearing tefillin in the gemara.
Talmud Bavli - תלמוד בבלי מסכת עירובין דף צו עמוד א-ב (Eruvin 96a-b)
דתניא: מיכל בת כושי היתה מנחת תפילין ולא מיחו בה חכמים. ואשתו של יונה היתה עולה לרגל ולא מיחו בה חכמים. מדלא מיחו בה חכמים - אלמא קסברי: מצות עשה שלא הזמן גרמא היא. - ודילמא סבר להכרבי יוסי, דאמר: נשים סומכות רשות. דאי לא תימא הכי - אשתו של יונה היתה עולה לרגל ולא מיחו בה. מי איכא למאן דאמר רגל לאו מצות עשה שהזמן גרמא הוא? אלא: קסבר רשות, הכא נמי: רשות. אלא האי תנא היא, דתניא: המוצא תפילין מכניסן זוג זוג, אחד האיש ואחד האשה, אחד חדשות ואחד ישנות, דברי רבי מאיר. רבי יהודה אוסר בחדשות ומתיר בישנות. ע"כ לא פליגי אלא בחדשות וישנות, אבל באשה - לא פליגי. שמע מינה: מצות עשה שלא הזמן גרמא הוא, וכל מצות עשה שאין הזמן גרמא נשים חייבות. - ודילמא סבר לה כרבי יוסי, דאמר: נשים סומכות רשות? - לא סלקא דעתך, דלא רבי מאיר סבר לה כרבי יוסי, ולא רבי יהודה סבר לה כרבי יוסי. לא רבי מאיר סבר לה כרבי יוסי - דתנן: אין מעכבין את התינוקות מלתקוע. הא נשים - מעכבין. וסתם מתניתין רבי מאיר. ולא רבי יהודה סבר לה כרבי יוסי - דתניא: אדבר אל בני ישראל וסמך - בני ישראל סומכין ואין בנות ישראל סומכות. רבי יוסי ורבי שמעון אומרים: נשים סומכות רשות. וסתם סיפרא מני - רבי יהודה.
For it was taught: Michal the daughter of the Kushite wore tefillin and the Sages did not attempt to prevent her, and the wife of Jonah attended the festival pilgrimage and the Sages did not prevent her. Now since the Sages did not prevent her it is clearly evident that they hold the view that it is a positive precept the performance of which is not limited to a particular time.
But is it not possible that he holds the same view as R. Jose who
ruled: It is optional for women to lay their hands upon an offering?
For were you not to say so, how is it that Jonah's wife attended the
festival pilgrimage and the Sages did not prevent her, seeing that
there is no one who contends that the observance of a festival is not
a positive precept the performance of which is limited to a particular
time? You must consequently admit that he holds it to be optional;
could it not then here also be said to be optional? — It reprsents
rather the view of the following Tanna. For it was taught: If tefillin
are found they are to be brought in,
one
pair at a time, irrespective of whether the person who brings them in
is a man or a woman, and irrespective of whether the tefillin were new
or old; so R. Meir. R. Judah forbids this in the case of new ones but
permits it in that of old ones.
Now since their dispute is confined to the question of new and old
while in respect of the woman there is no divergence of opinion it may
be concluded that it is a positive precept the performance of which is
not restricted to a particular time, women being subject to the
obligations of such precepts. But is it not possible that he holds the
same view as R. Jose who stated: It is optional for women to lay their
hands upon an offering? — This cannot be entertained at all, since neither
R. Meir holds the same view as R. Jose nor does R. Judah hold the same
view as R. Jose. ‘Neither R. Meir holds the same view as R. Jose’,
since we learned: ‘Children are not to be prevented from blowing the
shofar’; from which it follows that women are to be prevented; and any
anonymous Mishnah represents the view of R. Meir. ‘Nor does R. Judah
hold the same view as R. Jose’, since it was taught: Speak unto the
children of Israel ... and he shall lay, only the sons of Israel
‘shall lay’ but not the daughters of Israel. R. Jose and R. Simeon
ruled: It is optional for women to lay. Now who is the author of all
anonymous statement in the Sifra? R. Judah. [Soncino]
Talmud Yerushalmi - תלמוד ירושלמי מסכת ברכות ב:ג ומקבילו מסכת ערובין י:א (Brachot 2:3 and Eruvin 10:1)
הרי מיכל בת כושי הית' לובשת תפילי' ואשתו של יונה הית' עולה לרגלי' ולא מיחו בידיה חכמ' ר' חזקיה בשם ר' אבהו אשתו של יונה הושבה מיכל בת כושי מיחו בידיה חכמ'
Behold Michal the daughter of the Kushite wore tefillin and the Sages did not attempt to prevent her, and the wife of Jonah attended the festival pilgrimage and the Sages did not prevent her. Rabbi Chizkiya [said] in the name of Rabbi Abahu: the wife of Jonah was sent back; the Sages did attempt to prevent Michal the daughter of the Kushite.
Rema - שו"ע או"ח לח:ג (Shulchan Aruch Orech Chaim 38:3)
DoubleAA already quoted this source. I'll just add that the Rema is quoting the Kol Bo's language, which besides noting women's exemption, also mentions problem with cleanliness.
כתב הר"ם נשים פטורות מתפילין מפני שהוא מצות עשה שהזמן גרמה שהרי אין מניחין אותן בשבת ויום טוב ואם רצו להניח אין שומעין להן מפני שאינן יודעות לשמור עצמן בנקיות ע"כ
The Maharam [whose students, like the Kol Bo, wrote his teachings] wrote that women are exempt from tefillin because they are positive time-bound mitvot since they are not worn on Shabbat or Yom Tov. And if they want to wear tefillin, one does not listen to them because they do not know how to maintain cleanliness.
Because of the Rema is the foremost Ashkenazic authority of halakha, the great modern Askenazic poskim (R. Moshe Feinstein-Igrot Moshe IV OC #9, Chafetz Chaim-Mishnah Berura OC 38:3, Arukh HaShulchan-OC:38) have similarly ruled against it. Sephardic opinions and other poskim who have explicitly allowed it deserves its own question.
Like tefillin, there are time-bound and other issues (male clothing, arrogance, etc.) that concern its permissibility. However, there is no story of women wearing it in the gemara, and there is generally a more stringent opinion against women wearing tefillin than tallit (perhaps because there isn't a requirement to buy a tallit and it's not obvious if it's time-bound). The discussion of women and tallit in the gemara is here:
Talmud Bavli - מנחות דף מג עמוד א (Menachot 43a)
ת"ר: הכל חייבין בציצית, כהנים, לוים וישראלים, גרים, נשים ועבדים; ר"ש
פוטר בנשים, מפני שמצות עשה שהזמן גרמא הוא, וכל מצות עשה שהזמן גרמא
נשים פטורות. אמר מר: הכל חייבין בציצית, כהנים, לוים וישראלים. פשיטא,
דאי כהנים לוים וישראלים פטירי, מאן ליחייב? כהנים איצטריכא ליה, ס"ד
אמינא, הואיל וכתיב: אלא תלבש שעטנז צמר ופשתים יחדיו גדילים תעשה לך,
מאן דלא אישתרי כלאים לגביה בלבישה הוא דמיחייב בציצית, הני כהנים הואיל
ואישתרי כלאים לגבייהו לא ליחייבו, קמ"ל, נהי דאישתרי בעידן עבודה, בלא
עידן עבודה לא אישתרי. ר"ש פוטר בנשים. מאי טעמא דר"ש? דתניא: בוראיתם
אותו - פרט לכסות לילה
Our Rabbis taught: All must observe the law of zizith, priests, Levites, and Israelites, proselytes, women and slaves. R. Simeon declares women exempt, since it is a positive precept dependent on a fixed time, and women are exempt from all positive precepts that are dependent on a fixed time.
The Master said, ‘All must observe the law of zizith, priests, Levites, and Israelites’. Is not this obvious? For if priests and Levites and Israelites were exempt, then who would observe it? — It was stated particularly on account of priests. For I might have argued, since it is written, Thou shalt not wear a mingled stuff, wool and linen together, and [it is followed by,] Thou shalt make thee twisted cords, that only those who are forbidden to wear mingled stuff must observe the law of zizith, and as priests are permitted to wear mingled stuff20 they need not observe [the law of zizith]; we are therefore taught [that they, too, are bound], for although while performing the service [in the Temple] they may wear [mingled stuff] they certainly may not wear it when not performing the service.
R. Simeon declares women exempt’. What is R. Simeon's reason? — It was taught: That ye may look upon it: this excludes a night garment. [Soncino]
Rema - שו"ע או"ח יז:ב (Shulchan Aruch Orech Chaim 17:2)
נשים ועבדים פטורים, מפני שהיא מצות עשה שהזמן גרמא. הגה: ומ"מ אם רוצים לעטפו ולברך עליו הרשות בידן כמו בשאר מצות עשה שהזמן גרמא (תוס' והרא"ש והר"ן פ"ב דר"ה ופ"ק דקדושין), אך מחזי כיוהרא, ולכן אין להן ללבוש ציצית, הואיל ואינו חובת גברא (אגור סימן כ"ז) פי' אינו חייב לקנות לו טלית כדי שיתחייב בציצית. ולקמן בסימן י"ט אמר כשיש לו טלית מארבע כנפות (ולבשו).
Women and slaves are exempt [from wearing tzitzit] because it is a time-dependent commandment.
Rem"a: And if they wish to wrap [in tzitzit] and say the blessing on them it is up to them to do so as with all positive time-dependent commandments... Yet, it appears arrogant and therefore women should not wear tzitzit, since it is not an obligation of the person, meaning a man isn't obligated to buy a tallit for himself in order to observe the mitzvot of tzitzit. they are doing it to appear more observant than others in which case they may not wear them since they are not required as men are.
Halakha considers the whole gamut of opinions, which are too numerous to cite here, but this is what the gemara and the rema have to say on the subject.
