ChatGPT in Gefahr: Der neueste Cyberangriff auf KI-Pakete mit Halluzinationen

ChatGPT ist von einer neuen Cyberattacke bedroht. Laut einer aktuellen Untersuchung von Vulcan Cyber können Hacker den Chatbot ausnutzen, um bösartige Pakete innerhalb der Entwicklergruppe zu verbreiten. Bei diesem Angriff, der als “AI Package Hallucination” bekannt ist, werden trügerische URLs, Verweise oder komplette Code-Bibliotheken und Funktionen erstellt, die in Wirklichkeit nicht existieren.

Mit dieser neuen Technik sind Cyberkriminelle in der Lage, unveröffentlichte Pakete durch ihre eigenen bösartigen Gegenstücke zu ersetzen. Auf diese Weise können Angreifer Angriffe über die Lieferkette durchführen und bösartige Bibliotheken in bekannte Speichersysteme einschleusen.

Um den Ernst der Lage zu verstehen, sollten wir uns mit diesem Thema näher befassen.

Was ist ChatGPT?

ChatGPT ist ein generativer KI-Chatbot, der die Methode der natürlichen Sprachverarbeitung (NLP) verwendet, um einen menschenähnlichen Dialog zu erstellen. Das Sprachmodell kann Fragen beantworten und Nutzern bei verschiedenen Aufgaben helfen, z. B. beim Schreiben von Aufsätzen, Komponieren von Liedern, Erstellen von Beiträgen in sozialen Medien und Entwickeln von Codes.

Was ist AI Package Hallucination?

“KI-Paket-Halluzination” ist der neueste, einer der kritischsten und tödlichsten Hackerangriffe, mit denen ChatGPT bisher konfrontiert war. Mit dieser Technik können die Cyber-Angreifer nun bösartige Pakete direkt an das Entwicklerteam weiterleiten.

Kürzlich haben die Forscher von Vulcan Cyber einen besorgniserregenden Trend festgestellt. Dieser Angriffsvektor beinhaltet die Manipulation von Web-URLs, Referenzen und kompletten Code-Bibliotheken und Funktionen, die einfach nicht existieren.

Die Analyse von Vulcan hat ergeben, dass diese Anomalie auf die Verwendung veralteter Trainingsdaten in ChatGPT zurückgeführt werden kann, was zur Empfehlung nicht vorhandener Code-Bibliotheken führt.

Die Forscher haben eine Warnung bezüglich der möglichen Ausnutzung dieser Schwachstelle herausgegeben. Sie warnen davor, dass Hacker die Namen dieser nicht existierenden Pakete sammeln und ihre eigenen bösartigen Versionen erstellen können. Anschließend könnten ahnungslose Entwickler diese bösartigen Pakete auf der Grundlage der von ChatGPT bereitgestellten Empfehlungen versehentlich herunterladen.

Dies unterstreicht die dringende Notwendigkeit der Wachsamkeit innerhalb der Entwicklergemeinschaft, um zu verhindern, dass sie unwissentlich schädlichen Code in ihre Projekte einbauen.

Was sagen die Forscher?

Die Forscher von Vulcan bewerteten ChatGPT, indem sie es mit häufigen Fragen aus der Programmierplattform Stack Overflow testeten. Sie fragten diese Fragen speziell in den Umgebungen Python und Node.js ab, um die Fähigkeiten von ChatGPT in diesen Programmiersprachen zu bewerten.

Die Forscher fragten ChatGPT ausführlich mit über 400 Fragen ab, und während dieser Bewertung enthielten etwa 100 seiner Antworten mindestens einen Verweis auf Python- oder Node.js-Pakete, die in Wirklichkeit nicht existieren.

In den Antworten von ChatGPT wurden insgesamt 150 nicht existierende Pakete erwähnt.

Die Forscher zeigten ein potenzielles Sicherheitsproblem bei der Verwendung der ChatGPT-Paketempfehlungen auf. Sie wiesen darauf hin, dass Angreifer die von ChatGPT vorgeschlagenen Paketnamen ausnutzen könnten, um ihre eigenen bösartigen Versionen zu erstellen und sie in beliebte Software-Repositories hochzuladen. Folglich könnten Entwickler, die sich bei der Entwicklung von Lösungen auf ChatGPT verlassen, diese bösartigen Pakete unwissentlich herunterladen und installieren.

Die Forscher betonten, dass die Auswirkungen eines solchen Szenarios wesentlich gefährlicher wären, wenn Entwickler, die online nach Programmierlösungen suchen, ChatGPT um Paketempfehlungen bitten und dabei versehentlich ein bösartiges Paket verwenden.

Wie funktioniert die KI-Paket-Halluzination?

Craig Jones, Vice President of Security Operations bei Ontinue, hat erklärt, wie der KI-Paket-Halluzination-Angriff funktionieren könnte:

• Angreifer bitten ChatGPT um Hilfe bei der Programmierung von allgemeinen Aufgaben;
• ChatGPT könnte eine Paketempfehlung geben, die entweder nicht existiert oder noch nicht veröffentlicht ist (eine “Halluzination”);
• Dann erstellen die Angreifer eine bösartige Version des empfohlenen Pakets und veröffentlichen es;
• Während andere Entwickler dieselben Fragen an ChatGPT stellen, empfiehlt es ihnen möglicherweise dasselbe bereits vorhandene, aber bösartige Paket.

Vorsorgliche Schritte zur Verhinderung des Angriffs

Melissa Bischoping, Leiterin der Endpunkt-Sicherheitsforschung bei Tanium, betont angesichts des jüngsten Cyberangriffs die Bedeutung vorsichtiger Code-Ausführungspraktiken:

Sie sollten niemals Code herunterladen und ausführen, den Sie nicht verstehen und nicht getestet haben, indem Sie ihn einfach aus einer zufälligen Quelle – wie den Open-Source-Repos von GitHub oder den Empfehlungen von ChatGPT – übernehmen.

Darüber hinaus empfiehlt Bischoping, private Kopien des Codes aufzubewahren und nicht direkt aus öffentlichen Repositories zu importieren, da diese bei den aktuellen Cyberangriffen kompromittiert worden sind.

Diese Strategie wird auch weiterhin angewandt werden, und der beste Schutz besteht darin, sichere Kodierungsverfahren anzuwenden und den für die Verwendung in Produktionsumgebungen vorgesehenen Code gründlich zu testen und zu überprüfen.

Laut Vulcan Cyber gibt es mehrere Vorsichtsmaßnahmen, die Entwickler ergreifen können, um potenziell bösartige Pakete zu identifizieren und sich vor Cyberangriffen zu schützen. Diese Schritte umfassen:

• Überprüfung des Erstellungsdatums des Pakets: Wenn ein Paket erst vor kurzem erstellt wurde, könnte dies Verdacht erregen.
• Auswertung der Anzahl der Downloads: Wenn ein Paket nur sehr wenige oder gar keine Downloads aufweist, ist es möglicherweise weniger zuverlässig und sollte mit Vorsicht behandelt werden.
• Überprüfung von Kommentaren und Bewertungen: Wenn ein Paket nur wenige Kommentare oder Sterne hat, ist es ratsam, es mit Vorsicht zu installieren.
• Prüfen Sie die beigefügten Hinweise oder die Dokumentation: Wenn die dem Paket beigefügte Dokumentation oder Hinweise unvollständig oder irreführend sind oder einen Verdacht erwecken, ist es ratsam, zweimal nachzudenken, bevor Sie mit der Installation fortfahren.

Indem sie wachsam bleiben und diese Vorsichtsmaßnahmen befolgen, können Entwickler das Risiko minimieren, Opfer einer Cyberattacke über ChatGPT oder eine andere Code-Ausführungsumgebung zu werden.

Die Quintessenz

Die Entdeckung des KI-Halluzinationsangriffs auf den Chatbot durch das Vulcan Cyber-Forschungsteam verdeutlicht die erhebliche Bedrohung für Benutzer, die sich bei ihrer täglichen Arbeit auf ChatGPT verlassen.

Um sich vor diesem Angriff und den potenziellen Risiken im Zusammenhang mit bösartigen Paketen zu schützen, sollten Entwickler und andere potenzielle Opfer äußerste Vorsicht walten lassen und die wichtigsten Sicherheitsrichtlinien befolgen.