ChatGPT mag der König der generativen KI sein, aber wird seine Leistung schlechter?
Eine schnelle Websuche auf der OpenAI-Community-Website und auf Reddit zeigt, dass der Chatbot im Laufe der Zeit stark an Qualität verliert.
Im Jahr 2025 hat ChatGPT eine Menge Probleme, die behoben werden müssen – von häufigen Halluzinationen und Bias bis hin zu einem Mangel an gesundem Menschenverstand, grassierendem Jailbreaking und restriktiver Inhaltsmoderation.
In diesem Artikel werfen wir einen detaillierten Blick auf die wichtigsten ChatGPT-Probleme, denen OpenAI im Jahr 2025 gegenübersteht. Dazu gehört auch eine Aufschlüsselung der Mängel von ChatGPT aus Sicht der Nutzer.
Wichtigste Erkenntnisse
- ChatGPT ist vielleicht der beliebteste Chatbot der Welt, aber er ist nicht ohne ernsthafte Probleme.
- Wegen Halluzinationen verbreitet ChatGPT häufig nachweislich falsche Informationen.
- Laut vielen Forschern weist ChatGPT eine liberale Voreingenommenheit auf.
- Auch mit einem Jailbreak können die Beschränkungen der ChatGPT-Inhaltsmoderation immer noch umgangen werden.
- Ferner können die Richtlinien für die Content-Moderation recht restriktiv sein.
Die größten Mängel des ChatGPT im Jahr 2025
1. Halluzinationen
Eines der größten Probleme von ChatGPT ist die Neigung des Chatbots zu Halluzinationen und ungenauen Antworten auf Fragen.
Wenn man ChatGPT zum Beispiel eine historische Frage stellt, besteht die Möglichkeit, dass er eine Antwort gibt, die nachweislich falsch ist.
Laut Brenda Christensen, Geschäftsführerin von Stellar Public Relations Inc. macht ChatGPT „häufig einfache Fehler“. Sie sagte:
„Ich habe zum Beispiel darum gebeten, einen Post in den sozialen Netzwerken zum Neujahrstag zu vergleichen, und es wurde fälschlicherweise das Jahr 2024 angegeben.“
Wie häufig irrt sich ChatGPT eigentlich?
Eine von der Purdue University durchgeführte Studie ergab, dass 52 % der von ChatGPT generierten Antworten falsch waren, was darauf hindeutet, dass bei der Verwendung des Tools eine konsequente Faktenüberprüfung erforderlich ist.
Bestimmte Techniken wie das bestärkende Lernen durch menschliche Rückkopplung (engl.: Reinforcement Learning from Human Feedback, RLHF) können zwar zur Verringerung der Häufigkeit von Halluzinationen beitragen, doch Yann LeCun, leitender KI-Wissenschaftler bei Meta, vertritt die Ansicht, dass Halluzinationen ein „unvermeidlicher“ Bestandteil von autoregressiven LLMs sind.
As I have said numerous times over the last few months, hallucinations are an inevitable property of auto-regressive LLMs.
That's not a major problem if you use them as writing aids or for entertainment purposes.
Making them factual and controllable will require a major redesign.— Yann LeCun (@ylecun) February 25, 2023
Aber warum gibt ChatGPT falsche Antworten?
Offenbar liegt dies zum Teil daran, dass LLMs Muster in Trainingsdaten lernen und diese Muster dann zur Vorhersage des Textes verwenden, der die Frage in dem Prompt eines Nutzers beantworten wird.
Einige dieser Prognosen sind daher zwangsläufig falsch.
2. Fehlender gesunder Menschenverstand
Ein weiteres Hauptproblem von ChatGPT ist das Fehlen eines gesunden Menschenverstands.
Im Gegensatz zu einem Menschen denken Chatbots nicht und haben daher kein wirkliches Verständnis für das, was sie gesagt haben und ob es logisch korrekt ist.
Liran Hason, VP of AI bei Coralogix, erklärte gegenüber Techopedia:
„GPT stützt sich auf Muster von Trainingsdaten, aus denen es gelernt hat, wie man Fragen beantwortet. Es begreift die Welt nicht wirklich und hat eine zeitliche Grenze, vor der keine Informationen mehr in den Daten enthalten sind.“
Diese Einschränkungen bedeuten, dass ChatGPT nur zu grundlegenden Schlussfolgerungen fähig ist.
So kann es zum Beispiel einfache mathematische Fragen „Wie viel ist 30+30?“ beantworten, hat aber möglicherweise Schwierigkeiten mit komplexeren Konzepten und Gleichungen.
OpenAI versucht jedoch, diese Schwachstelle mit leistungsfähigeren Modellen wie o1 zu beheben, die nach eigenen Angaben erweiterte Schlussfolgerungen ziehen können.
We're releasing a preview of OpenAI o1—a new series of AI models designed to spend more time thinking before they respond.
These models can reason through complex tasks and solve harder problems than previous models in science, coding, and math. https://t.co/peKzzKX1bu
— OpenAI (@OpenAI) September 12, 2024
3. Mangel an Kreativität
Wenn es um kreative Aufgaben geht, kann ChatGPT zwar hilfreich sein, erzeugt aber oft extrem langweilige Inhalte.
Allzu häufig sind die mit ChatGPT erstellten Sätze formelhaft, während ein menschlicher Autor eine natürlichere Ausdrucksweise hätte.
Dmytro Tymoshenko, CEO von Noiz, erklärte gegenüber Techopedia:
„Die Ergebnisse sind in der Regel fade und allgemein gehalten und bieten keine originellen Ideen. Sie sind zwar strukturiert und kohärent, aber meistens haben sie wenig bis keinen Informationswert.“
„Je öfter man ChatGPT mit ähnlichen Prompts füttert, desto mehr lernt es die ‚Schablone‘ der Standardantwort, was zu fast identischen Ergebnissen führt.“
Erschwerend kommt hinzu, dass ChatGPT aufgrund des Fehlens eines gesunden Menschenverstands und eines Denkvermögens keine wirklichen Erkenntnisse über die Welt um uns herum zu bieten hat.
Es ist unwahrscheinlich, dass ChatGPT einen Artikel, ein Drehbuch oder ein Buch schreiben könnte, das ein Publikum so fesseln könnte wie ein menschlicher Kreativkopf.
4. Bias
Ein weiteres Problem, mit dem ChatGPT konfrontiert ist, besteht in der Voreingenommenheit.
Bei einer Reihe von Gelegenheiten hat der Chatbot von OpenAI erhebliche Vorurteile gezeigt.
Eine Studie der University of East Anglia aus dem Jahr 2023, in der ChatGPT zu seinen politischen Überzeugungen befragt wurde, ergab, dass die Ergebnisse eine „signifikante und systematische politische Voreingenommenheit gegenüber den Demokraten in den USA, Lula in Brasilien und der Labour Party im Vereinigten Königreich“ aufweisen.
Eine Vielzahl anderer Untersuchungen hat ebenfalls eine liberale Tendenz ergeben.
Diese voreingenommenen Resultate haben zu einer beträchtlichen Gegenreaktion gegen den Chatbot geführt.
Elon Musk ging in einem Tweet sogar so weit, dass er schrieb: „Bei ChatGPT ist woke in seine Knochen programmiert.“
ChatGPT has woke programmed into its bones https://t.co/Q8gwas4FpT
— Elon Musk (@elonmusk) December 22, 2024
Da Modelle wie GPT-4o und GPT-4 mit einem Blackbox-Ansatz entwickelt werden, liegt es an den Usern, die Ergebnisse anhand von Drittquellen zu überprüfen, um sicherzustellen, dass sie nicht in die Irre geführt werden.
5. Jailbreaking
Beschränkungen bei der Content-Moderation sind eine der wichtigsten Kontrollen, die ChatGPT daran hindern, hasserfüllte und bösartige Inhalte zu produzieren.
Zum Leidwesen von OpenAI können diese Richtlinien durch Jailbreaking umgangen werden.
Einer der schlimmsten ChatGPT-Fehlschläge geschah, als es dem derzeitigen Leiter von Claude Relations, Alex Albert, gelang, GPT-4 nur wenige Tage nach dessen Veröffentlichung zu jailbreaken.
Well, that was fast…
I just helped create the first jailbreak for ChatGPT-4 that gets around the content filters every time
credit to @vaibhavk97 for the idea, I just generalized it to make it work on ChatGPT
here's GPT-4 writing instructions on how to hack someone's computer pic.twitter.com/EC2ce4HRBH
— Alex Albert (@alexalbert__) March 16, 2023
Zudem gab es eine Reihe von Nutzern, die Prompts wie Do Anything Now (DAN) eingaben, um sich über die Richtlinien des Modells zur Inhaltsmoderation hinwegzusetzen und Ausgaben zu erstellen, die eigentlich blockiert werden sollten.
Manche User verwendeten Jailbreaks zur Vermeidung übereifriger Content-Moderation, andere wiederum zur Erstellung hasserfüllter und bösartiger Inhalte.
So können Bedrohungsakteure beispielsweise Jailbreaks zur Erzeugung von Phishing-E-Mails oder sogar bösartigem Code für den Diebstahl der persönlichen Daten von Benutzern einsetzen.
6. Abnehmende Leistung bei langen Dialogen
Viele Benutzer haben sich darüber beschwert, dass die Leistung von ChatGPT abnimmt, je länger man sich mit ihm unterhält.
Häufig wird bemängelt, dass ChatGPT bei langen Gesprächen nicht mehr den Anweisungen folgt oder Details vergisst.
Dies ist eine große Einschränkung, und zwar deshalb, weil es schwierig ist, sich längere Zeit mit dem Chatbot auszutauschen.
Wenn man immer wieder neue Chats starten muss, ist das kein schönes Benutzererlebnis.
This is one of the most common problems when using ChatGPT – it starts to “forget” what happened earlier in the conversation and start making things up to fill the gaps This is because of the AI’s context window. Here’s a quick explanation of what’s going on here and some fixes pic.twitter.com/drKmVh8F9n
— Kyle Balmer (@iamkylebalmer) July 31, 2024
7. Übermäßige Content-Moderation
Ein anderer Mangel von ChatGPT besteht in seiner zu restriktiven Inhaltsmoderation.
Während zu wenig Content-Moderation die Gefahr des Missbrauchs birgt, sind die Inhaltsfilter von ChatGPT oft übereifrig.
Es ist nicht ungewöhnlich, dass man eine Frage zu einem harmlosen Thema stellt und der Assistent die Antwort verweigert.
Gleichzeitig hat der Nutzer keinen Einblick in die Richtlinien, die hinter den Kulissen für die Erstellung der Inhalte gelten.
Dies gibt wenig Aufschluss darüber, wie man die Moderation von Anfragen vermeiden kann und ob die Bestimmungen selbst ideologisch voreingenommen sind oder nicht.
Zweifellos hat OpenAI als privates Unternehmen das Recht, ein Maß an Inhaltskontrollen einzuführen, von dem es glaubt, dass es seine User und seinen Ruf schützt.
Dies muss aber auch mit einem einheitlichen Nutzererlebnis in Einklang gebracht werden, was derzeit nicht der Fall ist.
ChatGPT's trains of thought reveal a panicky observance of secretive and far reaching political ("ethics" and "content policy") guidelines, which can not be shared with or even mentioned to the user. I perceive this as aesthetically despicable and personally insulting.
— Joscha Bach (@Plinz) November 1, 2024
8. Unstimmigkeiten bei der Spracherkennung
Obwohl GPT-4o und der erweiterte Sprachmodus von den Kritikern hoch gelobt wurden, war das Experimentieren von Techopedia mit dieser Funktion eher negativ.
Allzu oft macht ChatGPT mit GPT-4o Fehler, missversteht Spracheingaben und gibt irrelevante Antworten.
Während unserer Tests mussten verbale Prompts oft mehrmals eingegeben werden, bevor das Modell das Gesagte verstand. Solche Ungereimtheiten machen die Spracheingabe weit weniger praktisch als eines Textes.
Fazit
ChatGPT hat einige schwerwiegende Mängel, auf die man achten sollte.
Wenn Sie im Internet suchen, werden Sie viele Beispiele dafür finden, dass ChatGPT falsch liegt und Fehlinformationen verbreitet.
Wer ChatGPT nutzt, muss die Fakten und die Ergebnisse genauestens überprüfen, um sicherzustellen, dass er nicht durch Fehlinformationen oder Vorurteile beeinflusst wird.
FAQ
Worin ist ChatGPT schlecht?
Warum gibt ChatGPT falsche Antworten?
Wie oft irrt sich ChatGPT?
Quellenangaben
- Study Finds That 52 Percent of ChatGPT Answers to Programming Questions Are Wrong
- Yann LeCun auf X
- Introducing OpenAI o1
- OpenAI auf X
- Fresh evidence of ChatGPTs political bias revealed by comprehensive new study
- Revisiting the political biases of ChatGPT
- Elon Musk auf X
- Alex Albert auf X
- Is ChatGPT getting worse? And did anyone else notice it got really bad after the outage?
- Kyle Balmer auf X
- Joscha Bach auf X