KI, die halluziniert, braucht (laut OpenAI) KI, die korrigiert

In der Welt der Künstlichen Intelligenz gibt es kaum einen Bereich, der so faszinierend und zugleich so umstritten ist wie die Fähigkeit der KI, Sprache zu verstehen und zu generieren. Ein besonders heiß diskutiertes Thema ist die sogenannte „Halluzination“ von KI-Modellen wie ChatGPT – die Tendenz der Modelle, falsche oder unsinnige Informationen zu generieren.

Inhaltlich falscher Output ist ein großes Problem der aktuellen KI-Chatbots, und die Fähigkeit, solche Fehler zuverlässig zu erkennen und zu korrigieren, ist eine Herausforderung.

OpenAI, das Unternehmen hinter ChatGPT, hat kürzlich einen neuen Schritt angekündigt: die Einführung von CriticGPT, einem Modell, das angeblich dazu dient, Fehler in den Ergebnissen von ChatGPT zu erkennen und zu korrigieren.

Doch ist dies wirklich eine bahnbrechende Innovation oder einfach nur ein geschickter Schachzug, um den Kunden doppelt zur Kasse zu bitten?

Das Wichtigste auf einen Blick

Was ist CriticGPT?

CriticGPT wurde von OpenAI als ein zusätzliches Modell vorgestellt, das darauf abzielt, die Fehler von ChatGPT zu identifizieren und zu korrigieren. Die Idee dahinter ist, dass es ein weiteres KI-Modell geben soll, das das ursprüngliche Modell überwacht und sicherstellt, dass die von ChatGPT gelieferten Informationen korrekt und zuverlässig sind.

In einem Blogbeitrag von OpenAI wird beschrieben, dass CriticGPT zunächst ausschließlich für die Überprüfung und Korrektur von Code-Ausgaben konzipiert worden ist. OpenAI plant jedoch, die Einsatzmöglichkeiten dieses Modells auf weitere Anwendungsbereiche auszudehnen.

OpenAI schreibt:

„Wir haben ein Modell, basierend auf GPT-4, namens CriticGPT trainiert, um Fehler in den Code-Ausgaben von ChatGPT zu erkennen. Wir haben festgestellt, dass Personen, die Hilfe von CriticGPT bei der Überprüfung von ChatGPT-Code erhalten, in 60 % der Fälle besser abschneiden als diejenigen ohne Hilfe. Wir beginnen damit, CriticGPT-ähnliche Modelle in unsere RLHF-Labeling-Pipeline zu integrieren, um unseren Trainern explizite AI-Unterstützung zu bieten. Dies ist ein Schritt in Richtung der Bewertung von Ausgaben fortschrittlicher AI-Systeme, die für Menschen ohne bessere Werkzeuge schwer zu bewerten sind.“

Doch Moment mal, nur 60 %? Das bedeutet doch, dass in 40 % der Fälle CriticGPT nicht in der Lage ist, Fehler zuverlässig zu identifizieren oder zu korrigieren. In anderen Worten: CriticGPT ist alles andere als eine fehlerfreie Lösung für die Probleme von ChatGPT.

Wenn wir uns vorstellen, dass dieses Modell bei der Überprüfung von Code nur in zwei von fünf Fällen erfolgreich ist, stellt sich die Frage, wie groß der tatsächliche Nutzen für die Nutzer wirklich ist.

Ein skeptischer Blick auf die CriticGPT-Idee

Ein kritischer Punkt, der von einigen Experten und Entwicklern angeführt wird, ist die Frage, ob CriticGPT tatsächlich in der Lage ist, die Fehler von ChatGPT zu erkennen und zu korrigieren. Bemerkenswert ist, dass beide KIs auf dem gleichen Modell, nämlich GPT-4, basieren.

GPT-4 ist besonders leistungsfähig und komplex, aber es ist auch anfällig für „Halluzinationen“ und erzeugt hin und wieder plausibel klingende, aber falsche oder ungenaue Informationen.

Die Tatsache, dass CriticGPT auf demselben technischen Fundament wie ChatGPT aufgebaut ist, wirft Zweifel an seiner Fähigkeit auf, signifikant zur Verbesserung der Genauigkeit und Zuverlässigkeit der generierten Inhalte beizutragen. Schließlich könnten beide Modelle, die auf denselben Algorithmen und Daten basieren, ähnliche Fehler und Voreingenommenheiten aufweisen.

Ist das CriticGPT-Konzept also von Anfang an zum Scheitern verurteilt? Stellt es überhaupt einen echten Fortschritt dar, wenn man einfach ein weiteres Modell aufsetzt, um die Fehler eines anderen Modells zu prüfen, ohne die grundsätzlichen Probleme der Fehleranfälligkeit zu adressieren?

Die Logik hinter CriticGPT

Wenn wir CriticGPT durchleuchten, stellt sich die Frage, ob das Modell tatsächlich dazu in der Lage ist, die Fehler des ursprünglichen Modells zu erkennen. Es gibt zahlreiche technische Hürden, die zeigen, dass die Korrektur von Halluzinationen nicht einfach ein iterativer Prozess ist, der durch ein weiteres Modell gelöst werden kann.

Künstliche Intelligenz, die bereits selbst Fehler macht, kann keine umfassende Prüfung auf Richtigkeit gewährleisten.

Ein weiteres Argument gegen CriticGPT ist die ökonomische Perspektive. Es besteht die Möglichkeit, dass OpenAI hier eine doppelte Einnahmequelle erschließen möchte: Kunden zahlen zunächst für die Nutzung von ChatGPT und müssen dann möglicherweise zusätzlich für CriticGPT aufkommen.

Auch wenn es derzeit keine konkreten Informationen über die Kosten für CriticGPT gibt, vermutet man, dass diese zusätzlichen Gebühren ein Teil des Geschäftsmodells sein könnten.

Die Grenzen von CriticGPT

OpenAI beschreibt im Blogbeitrag auch die Grenzen von CriticGPT. So wird erwähnt, dass das Modell auf relativ kurze Antworten von ChatGPT trainiert wurde. Um zukünftig komplexe und langwierige Aufgaben zu überwachen, müssen jedoch Methoden entwickelt werden, die den Trainern helfen, diese besser zu verstehen.

Ein weiteres Problem bleibt, dass Trainer manchmal Fehler beim Labeling machen, nachdem sie Halluzinationen bemerkt haben. In der realen Welt können Fehler oft über viele Teile einer Antwort verteilt sein. Aktuell konzentriert sich die Arbeit von CriticGPT auf Fehler, die an einem Ort aufgezeigt werden können. In Zukunft müssen jedoch auch verstreute Fehler angegangen werden.

OpenAI betont zudem, dass CriticGPT nur begrenzt helfen kann: Wenn eine Aufgabe oder Antwort extrem komplex ist, kann selbst ein Experte mit Unterstützung durch das Modell möglicherweise nicht korrekt beurteilen.

Diese Einschränkungen zeigen, dass CriticGPT zwar ein Schritt in die richtige Richtung ist, aber noch lange nicht die endgültige Lösung für alle Probleme der KI-Halluzinationen darstellt.

Welche Marktstrategie fährt OpenAI?

Die begrenzte Verbesserung durch CriticGPT – mit einer Erfolgsquote von nur 60 Prozent bei der Fehlervermeidung – deutet darauf hin, dass sowohl CriticGPT als auch ChatGPT weiterhin mit erheblichen Fehleranfälligkeiten konfrontiert sind.

Hier offenbart sich eine grundlegende Realität der aktuellen KI-Technologie: CriticGPT ist zwar ein Schritt in die richtige Richtung, aber es ist keineswegs die endgültige Lösung für die Komplexität und die Fehleranfälligkeit von KI-Systemen.

Vor diesem Hintergrund könnte man sich fragen, ob OpenAI mit CriticGPT tatsächlich einen Fortschritt in der KI-Technologie anstrebt oder ob dies nicht vielmehr ein durchdachter Marketing-Schachzug ist, um den Umsatz zu steigern.

Die absichtliche Benennung des Modells als CriticGPT und nicht als CorrectorGPT könnte darauf hindeuten, dass OpenAI bewusst eine vage, weniger verbindliche Bezeichnung gewählt hat, um keine überzogenen Versprechungen bezüglich tatsächlicher Fehlerkorrekturen zu machen.

Die Skepsis, dass CriticGPT nicht mehr als ein teurer Zusatz ist, der wenig über den bestehenden Fortschritt hinaus beiträgt, könnte durchaus berechtigt sein. Wenn ein KI-Modell, das selbst Fehler produziert, nur begrenzt in der Lage ist, die Fehler eines anderen Modells zu erkennen, stellt sich die Frage nach dem realen Nutzen von CriticGPT für die Nutzer.