Halucynacje AI

Co to jest halucynacja AI?

Halucynacje sztucznej inteligencji to zjawisko, w którym duży model językowy (LLM), taki jak GPT4 OpenAI lub PaLM Google, wymyśla fałszywe informacje lub fakty, które nie mają oparcia w rzeczywistych danych lub zdarzeniach.

Avivah Litan, wiceprezes ds. analiz w firmie Gartner, wyjaśnia:

Halucynacje to całkowicie sfabrykowane dane wyjściowe dużych modeli językowych. Mimo że fakty są zupełnie zmyślone, duże modele językowe przedstawiają je z przekonaniem i autorytatywnie.

Chatboty oparte na generatywnej sztucznej inteligencji (GenAI) mogą sfabrykować dowolne fakty i prawdziwe informacje – od nazwisk, dat i wydarzeń historycznych po cytaty, a nawet kod.

Halucynacje są na tyle powszechne, że OpenAI ostrzega użytkowników ChatGPT. W ostrzeżeniu podaje, że „ChatGPT może generować niedokładne informacje o ludziach, miejscach lub faktach”.

Przez to użytkownicy stają przed sporym wyzwaniem. Muszą ocenić, które informacje są prawdziwe, a które fałszywe.

Przykłady halucynacji AI

Chociaż stale pojawiają się nowe przykłady halucynacji sztucznej inteligencji, jeden z najbardziej znanych przypadków miał miejsce w filmie promocyjnym, który został opublikowany przez Google w lutym 2023 roku. Wówczas Bard, chatbot AI tej firmy, błędnie stwierdził, że Kosmiczny Teleskop Jamesa Webba wykonał pierwsze zdjęcie planety spoza Układu Słonecznego.

Z kolei wersja demonstracyjna AI Microsoft Bing w lutym 2023 roku przeanalizowała zestawienie zysków firmy Gap i przedstawiła nieprawidłowe podsumowanie faktów i liczb.

Przykłady te pokazują, że użytkownicy nie mogą cały czas w pełni ufać chatbotom w kwestii generowania prawdziwych odpowiedzi. Zagrożenia, jakie niesie ze sobą halucynacja sztucznej inteligencji, wykracza jednak daleko poza rozpowszechnianie dezinformacji.

Według zespołu badawczego Vulcan Cyber ChatGPT może de facto generować nieistniejące adresy URL, odniesienia i biblioteki kodu, a nawet polecać niczego niepodejrzewającym użytkownikom potencjalnie złośliwe oprogramowanie.

Dlatego ci, którzy eksperymentują z LLM i GenAI, muszą dołożyć starań podczas pracy z tymi narzędziami i weryfikować dokładność danych.

Co powoduje halucynacje AI?

Do kluczowych czynników, które powodują halucynacje sztucznej inteligencji, należą:

• nieaktualne dane szkoleniowe lub ich słaba jakość;
• nieprawidłowa klasyfikacja lub oznaczenie danych;
• błędy rzeczowe, niespójności lub stronniczość w danych szkoleniowych;
• niewystarczająco dobre zaprogramowanie do prawidłowej interpretacji informacji;
• brak podania przez użytkownika kontekstu;
• trudności z odczytaniem intencji kolokwializmów, wyrażeń slangowych lub sarkazmu.

Dlatego ważne jest, aby pisać prompty (polecenia) prostym językiem z jak największą liczbą szczegółów. Mimo to odpowiedzialność za wdrożenie właściwego oprogramowania i zabezpieczeń w celu zmniejszenia halucynacji spoczywa na producencie sztucznej inteligencji.

Jakie zagrożenia niesie ze sobą halucynacja sztucznej inteligencji?

Jednym z głównych niebezpieczeństw związanych z halucynacjami AI jest nadmierne poleganie na dokładności wyników systemu sztucznej inteligencji.

Choć niektóre osoby, takie jak dyrektor generalny Microsoftu Satya Nadella, twierdzą, że systemy AI, w tym Microsoft Copilot, mogą być „pożytecznie błędne”, zdarza się, że narzędzia te rozpowszechniają dezinformację i nienawistne treści, gdy nikt ich nie kontroluje.

Dezinformacja generowana przez LLM sprawia problemy, ponieważ systemy te mogą tworzyć treści, które wyglądają na szczegółowe, przekonujące i wiarygodne. W rzeczywistości są jednak nieprawidłowe, przez co użytkownik wierzy w nieprawdziwe fakty i informacje.

Gdy użytkownicy bez sprawdzania biorą treści generowane przez sztuczną inteligencję za autentyczne, istnieje możliwość rozprzestrzeniania się fałszywych informacji po Internecie.

Do tego dochodzi również ryzyko odpowiedzialności prawnej i zgodności z przepisami. Jeśli np. organizacja korzysta z usługi opartej na LLM do komunikacji z klientami, a ta udziela wskazówek, które szkodzą własności użytkownika lub produkują obraźliwe treści, dana firma naraża się na pozew lub inne działania prawne.

Jak wykryć halucynacje AI?

Najlepszym sposobem na wykrycie halucynacji AI jest samodzielna weryfikacja faktów, które generuje sztuczna inteligencja, w zewnętrznych źródłach. Sprawdzanie faktów, danych i twierdzeń w witrynach informacyjnych, raportach branżowych, badaniach i książkach za pośrednictwem wyszukiwarki może pomóc zweryfikować, czy informacja jest prawdziwa.

Ręczna weryfikacja jest dobrą opcją dla użytkowników, którzy chcą wykryć dezinformację. Niemniej w środowisku korporacyjnym sprawdzenie każdego fragmentu informacji może okazać się logistycznie lub ekonomicznie nieopłacalne.

Z tego powodu warto rozważyć użycie zautomatyzowanych narzędzi do podwójnej weryfikacji GenAI pod kątem halucynacji. Np. narzędzie open-source NeMo Guardrails firmy Nvidia może identyfikować halucynacje poprzez porównanie danych wyjściowych jednego LLM z wynikami innego systemu.

Podobnie wygląda to w przypadku firmy Got It AI, która oferuje rozwiązanie TruthChecker. Wykorzystuje ono sztuczną inteligencję do wykrywania halucynacji w treściach generowanych przez GPT-3.5 i nowszych wersjach.

Oczywiście firmy takie jak Nemo Guardrails czy Got It AI, które wykorzystują zautomatyzowane narzędzia do sprawdzania systemów AI, powinny dołożyć starań, aby zweryfikować skuteczność swoich rozwiązań w identyfikowaniu dezinformacji i przeprowadzić ocenę ryzyka w celu ustalenia ewentualnej potrzeby podjęcia innych działań zmierzających do wyeliminowania potencjalnej odpowiedzialności.

Podsumowanie

Sztuczna inteligencja i duże modele językowe mogą dostarczyć firmom ekscytujące możliwości, ale użytkownicy mieć świadomość ryzyka i ograniczeń tych technologii, aby uzyskać najlepsze wyniki.

Rozwiązania AI są najbardziej pożyteczne, gdy wykorzystuje się je do zwiększania ludzkiej inteligencji, a nie do jej zastępowania.

Dopóki użytkownicy i przedsiębiorstwa zdają sobie sprawę, że LLM potrafią tworzyć fałszywe informacje, i weryfikują dane wyjściowe w innych źródłach, dopóty ryzyko rozprzestrzeniania się lub wchłaniania dezinformacji pozostanie niskie.