Rema writes in his commentary to the Tur (OC 639):
והמרדכי בפרק הישן (סי' תשמא) כתב אבל העולם סמכו על דבר זה שיראים מן הצינה והוה כחולה שאין בו סכנה או כמצטער דפטורים מן הסוכה עכ"ל (עיין ב"י סימן תר"מ) ואפשר מזה נתפשט המנהג שרבים מקילים בשינת הסוכה ואף על גב דהטעם אינו מספיק שהרי ברוב המקומות אינו קר כל כך בימי הסוכות והיו יכולים לישן שם בכרים וכסתות.
The Mordechai wrote "the people rely on their fear of the cold [to avoid sleeping in the Sukkah] because it gives them the status of a sick person not in mortal danger or that of one in pain who are exempt from the Sukkah." And perhaps this is why the custom developed to be lenient in this regard, although this reasoning is not sufficient because in most places it is not too cold around Sukkos time and they could sleep in the Sukkah with [extra] blankets and pillows.
In other words, he is not impressed with the argument that it is too cold to sleep in the Sukkah in his town because one can always "bundle up" by bringing along an extra blanket.
What was the temperature like around Sukkot time where Rema lived? How does this compare to temperatures in, say, New York City?