OpenAI Whisper Tool fügt falschen Text bei Audiotranskripten hinzu

Transparenz
Highlights

  • Experten sind besorgt über die hohen Halluzinationsraten in OpenAIs Whisper-Tool, die die Transkriptionsgenauigkeit beeinträchtigen.
  • Studien zeigen, dass Whisper bei vielen Transkriptionen Halluzinationen erzeugt, was Bedenken hinsichtlich der Gesundheitsversorgung und der Barrierefreiheit aufwirft.
  • Die Fehlerquoten haben zu Forderungen nach staatlichen Vorschriften geführt, um die Risiken in kritischen Anwendungen zu mindern.

Experten schlagen Alarm wegen der hohen Halluzinationsrate von OpenAIs Whisper-Tool und drängen auf Regulierung, da Fehler Risiken in der Transkription und im Gesundheitswesen darstellen.

Ein Bericht der Associated Press hebt die ernsthaften Bedenken von Software-Ingenieuren, Entwicklern und akademischen Forschern über Transkriptionsfehler hervor, die von OpenAIs Whisper produziert werden.

Während Halluzinationen bei generativer KI eine bekannte Herausforderung für LLM-gesteuerte Chatbots wie ChatGPT sind, ist es überraschend, dass dieses Problem auch die Transkription betrifft.

Bedenken wegen Fehlern in Whispers Transkriptionen aufgekommen

Obwohl Entwickler bei Transkriptionstools mit einigen Fehlern rechnen, haben Ingenieure und Forscher festgestellt, dass Whisper eine höhere Häufigkeit von Halluzinationen aufweist als jedes andere KI-gestützte Tool.

Forscher stoßen häufig auf die Halluzinationen von Whisper. In einer Studie der University of Michigan wurden sie in acht von zehn Transkriptionen gefunden. Ein Ingenieur für maschinelles Lernen fand Halluzinationen in der Hälfte der von ihm analysierten 100 Stunden, während ein anderer Entwickler sie in fast allen 26.000 Transkripten entdeckte.

Darüber hinaus wurden in einer Studie 187 Halluzinationen in über 13.000 eindeutigen Audioschnipseln festgestellt, was zu Tausenden von fehlerhaften Transkriptionen führen könnte. Experten sagten der AP, dass einige der erfundenen Texte in den Whisper-Transkripten rassistische Kommentare, gewalttätige Rhetorik und sogar imaginäre medizinische Behandlungen enthalten.

Forscher der Cornell University und der University of Virginia analysierten ebenfalls Tausende von Ausschnitten aus TalkBank und fanden heraus, dass fast 40 % der Halluzinationen schädlich waren, da sie den Sprecher falsch interpretierten oder falsch darstellten.

Experten warnen davor, dass diese Fehler besonders besorgniserregend sind, wenn man bedenkt, dass Whisper in großem Umfang für die Übersetzung und Transkription von Interviews, die Erstellung von Text in Verbrauchertechnologien und die Erstellung von Videountertiteln verwendet wird. Das Tool wird auch für Untertitel für Gehörlose und Hörgeschädigte verwendet, eine Gruppe, die besonders anfällig für fehlerhafte Transkriptionen ist.

Darüber hinaus sind Experten besorgt über die rasche Einführung von Whisper-basierten Tools zur Transkription von Patientengesprächen in medizinischen Zentren, obwohl OpenAI vor deren Einsatz in „Hochrisikobereichen“ warnt.

Experten drängen auf Regulierung angesichts der Halluzinationsprobleme von Whisper

Whisper ist in ChatGPT von OpenAI integriert und wird in den Cloud-Plattformen von Oracle und Microsoft eingesetzt. Es dient Tausenden von Unternehmen zur Transkription und Übersetzung. Eine Version von Whisper wurde kürzlich über 4,2 Millionen Mal von HuggingFace heruntergeladen.

Über 30.000 Kliniker und 40 Gesundheitssysteme, darunter die Mankato Clinic und das Children’s Hospital Los Angeles, nutzen ein auf Whisper basierendes Tool, das von Nabla, einem Unternehmen mit Niederlassungen in Frankreich und den USA, entwickelt wurde. Nach Angaben von Nabla hat das Tool etwa 7 Millionen Arztbesuche transkribiert.

Die hohe Rate an Halluzinationen hat Experten und ehemalige OpenAI-Mitarbeiter dazu veranlasst, staatliche KI-Vorschriften zu fordern und OpenAI aufzufordern, diesen Fehler zu beheben.

Ein Sprecher von OpenAI sagte, dass das Unternehmen nach Wegen sucht, um Halluzinationen zu reduzieren und die Erkenntnisse der Forscher für Modellaktualisierungen zu nutzen. Sie rieten auch davon ab, Whisper in „Entscheidungskontexten“ zu verwenden, in denen Genauigkeitsmängel zu erheblichen Fehlern führen könnten.

Olesia Vlasova
KI und Tech Journalistin
Olesia Vlasova
KI und Tech Journalistin

Olesia ist eine erfahrene Redakteurin und Journalistin. Bevor sie als Autorin für KI-Nachrichten zu Techopedia kam, war sie als Redakteurin tätig und hat zahlreiche Artikel und Interviews über Wissenschaft für T-J, PostNauka und andere Medienplattformen geschrieben und bearbeitet. Außerdem leitete sie den Blog einer IT-Schule und arbeitete als Nachrichtenschreiberin und Übersetzerin.