The Gemara in Shabbos 113a–b interprets the passuk in Yishaya 58
ודבר דבר - שלא יהא דבורך של שבת כדבורך של חול. דבור - אסור, הרהור - מותר
Your manner of speech on shabbos should not be the same as the week. speech is forbidden, but thinking is permitted.
Rashi says it means no discussing business:
שלא יהא דבורך של שבת כדבורך של חול — כגון מקח וממכר וחשבונות.
Tosfos disagrees with Rashi, and say the point is reduce the amount of talking altogether. Tosfos quotes the Yerushalmi, that “with great difficulty did they (the rabbis) permit greeting people on Shabbos”:
שלא יהא דבורך של שבת כדבורך של חול — פי' בקונטרס כגון מקח וממכר ואין נראה לר"ת דהא כבר נפקא ממצוא חפצך אלא אומר ר"ת כדאמר בויקרא רבה (פ' לד) ר"ש בן יוחי הוה ליה אימא סבתא דהות מישתעיא סגיא אמר לה אימא שבתא הוא שתקה משמע שאין כל כך לדבר בשבת כמו בחול ובירושל' אמרי' בטורח התירו בשאלת שלום בשבת.
The Shulchan Aruch codifies this, but with a focus on not discussing business, and the Rema cites the Terumas Ha'Deshen (307:1):
ודבר דבר (ישעיה נח, יג): שלא יהא דבורך של שבת כדבורך של חול; הלכך אסור לומר: דבר פלוני אעשה למחר או סחורה פלונית אקנה למחר, ואפילו בשיחת דברים בטלים אסור להרבות. הגה: וב"א שסיפור שמועות ודברי חדושים הוא עונג להם, מותר לספרם בשבת כמו בחול; אבל מי שאינו מתענג, אסור לאומרם כדי שיתענג בהם חבירו (ת"ה סי' ס"א).
Rav Herschel Schachter of Yeshiva University hypothesizes that the minhag of saying Nisht Shabbos G'redt may have developed from a totally separate Halacha in Nichum Aveilim -comforting the mourners and Bikur Cholim- visiting the sick. That although technically there is no problem with being Mevaker a Choleh or being Menachem Avel, however, because inevitably you will come to discuss things that are Divrei Chol (ie. Details of the sickness, the details of the death) you should add or change when saying either Hamakom Yenachem Eschem or Refuah Shleima one must add "Shabbos Hi M'liztok U'refuah Krova Lavo" for health and "Shabbos Hi L'Nachem" for a mourner, as if to say that although we shouldn't visit Hashem should give you...thus it developed that saying Nisht Shabbos G'redt before talking about actual Divrei Chullin, as a kind of play on the pre-existing Halacha in Hilchos Bikur Cholim and Nichum Aveilim. Nonetheless, despite its halachic origin, Rav Schachter says that saying nisht shabbos geredt does not help to speak about forbidden subjects.