AI 환각

AI 환각이란?

AI 환각 (AI Hallucination)은 OpenAI의 GPT4 또는 Google PaLM과 같은 대규모 언어 모델(LLM)이 실제 데이터나 이벤트에 기반하지 않은 거짓 정보나 사실을 구성하는 것을 말한다.

Avivah Litan, Gartner VP 애널리스트의 설명:

AI 환각은 대규모 언어 모델에서 완전히 조작된 결과물이다. 완전히 꾸며낸 사실을 표현하지만, 결과적인 LLM 출력은 자신감 있게 잘못된 결과를 보여주는 경우가 있다.

생성형 AI 기반 챗봇은 이름, 날짜, 역사적 사건부터 인용문, 심지어 코드에 이르기까지 모든 사실 정보를 조작할 수 있다.

AI 환각 현상은 OpenAI가 실제로 ChatGPT 내에서 사용자에게 “사람, 장소 또는 사실에 대한 부정확한 정보를 생성할 수 있다.” 라는 경고를 표시할 정도로 흔한 현상이다.

이런 생성형 인공지능를 활용할때 사용자는 어떤 정보가 진실이고 어떤 정보가 거짓인지 구분해야 한다.

AI 환각 현상의 예시

AI 환각의 사례는 흔히 등장하지만, 가장 주목할 만한 사례 중 하나는 2023년 2월 Google이 공개한 홍보 동영상의 일부에서 발생했다. 당시 AI 챗봇 바드는 제임스 웹 우주망원경이 태양계 밖 행성의 첫 번째 이미지를 촬영했다고 잘못 주장했다.

마찬가지로 2023년 2월에 진행된 Microsoft Bing AI 출시 데모에서 Bing은 Gap의 손익계산서를 분석 당시 부정확한 정보를 출력하고 수치를 잘못 요약하여 제공했다.

이러한 사례는 사용자가 챗봇이 항상 진실한 답변을 제공한다고 믿을 수 없다는 것을 보여준다. 그러나 인공지능의 착각으로 인한 위험은 잘못된 정보를 퍼뜨리는 것 그 이상이다.

실제로 벌칸 사이버의 연구팀에 따르면 ChatGPT는 존재하지 않는 URL, 참조 및 코드 라이브러리를 생성하거나 의심하지 않는 사용자에게 잠재적으로 악성 소프트웨어 패키지를 추천할 수도 있다.

따라서 LLM 및 생성형 AI를 실험하는 조직과 사용자는 이러한 솔루션으로 작업할 때 반드시 실사를 수행하고 결과물의 정확성을 다시 한 번 확인해야 한다.

AI 환각은 왜 발생하나요?

AI 환각의 주요 요인은 다음과 같다:

• 오래되었거나 품질이 낮은 훈련 데이터;
• 잘못 분류되거나 레이블이 잘못 지정된 데이터;
• 학습 데이터의 오류, 불일치 또는 편향;
• 정보를 올바르게 해석할 수 있는 프로그래밍 부족;
• 사용자가 제공한맥락 또는 정보의 부족;
• 구어체, 속어 표현 또는 풍자의 의도를 유추하기 어려워함.

프롬프트는 가능한 한 자세하고 정석적인 영어로 작성하는 것이 중요하다. 따라서 AI 환각 가능성을 완화할 수 있는 충분한 프로그래밍과 보호 장치를 구현하는 것은 궁극적으로 제작자의 책임이다.

AI 환각의 위험성은?

AI 환각의 주요 위험 중 하나는 사용자가 AI 시스템 출력의 정확성에 지나치게 의존하는 경우에 해당한다.

Microsoft의 CEO 사티아 나델라와 같은 일부 사람들은 Microsoft 코파일럿과 같은 AI 시스템이 “유용하게 잘못 사용될 수 있다”고 주장하지만, 이러한 솔루션을 방치하면 잘못된 정보와 혐오 콘텐츠를 확산시킬 수 있다.

이러한 솔루션은 서비스 상에서는 상세하고 설득력 있고 신뢰할 수 있는 것처럼 보이지만 실제로는 부정확한 콘텐츠를 생성하여 사용자가 사실이 아닌 사실과 정보를 믿게 만들 수 있기 때문에 LLM으로 생성된 잘못된 정보를 해결하기가 어렵다.

또한, 사람들이 AI가 생성한 콘텐츠를 액면가 그대로 받아들이면 부정확하거나 틀린 정보가 인터넷 전체에 퍼질 가능성이 있다.

마지막으로 법률 및 규정 준수 책임의 위험도 있다. 예를 들어, 조직이 고객과의 커뮤니케이션에 LLM 기반 서비스를 사용하여 사용자의 재산을 손상시키거나 불쾌한 콘텐츠를 되풀이하는 안내를 발행하는 경우 법적 조치의 위험에 처할 수 있다.

AI 환각을 감지 방법?

사용자가 AI 시스템이 환각을 일으키는지 감지하는 가장 좋은 방법은 타사 소스를 통해 솔루션이 제공하는 결과물을 수동으로 사실 확인을 하는 것이다. 검색 엔진을 통해 뉴스 사이트, 업계 보고서, 연구 및 서적에서 사실, 수치 및 주장을 확인하면 정보가 올바른지 여부를 확인하는 데 도움이 될 수 있다.

수동으로 확인하는 방법은 잘못된 정보를 찾으려는 개인 사용자에게는 좋은 옵션이지만, 기업 환경에서는 각각의 정보를 세일일히 수동으로 확인하는 것이 물류/경제적으로 비효율적일 수 도 있다.

따라서 AI 환각을 검수하기 위해 생성 AI 솔수션을 사용하는 방법도 가능하다. 예를 들어, 엔비디아의 오픈 소스 툴인 NeMo Guardrails는 한 LLM의 출력을 다른 LLM과 교차 확인하여 AI 환각을 식별할 수 있다.

이와 비슷하게, Got It AI는 AI를 사용하여 GPT-3.5 이상에서 생성된 콘텐츠의 환각을 감지하는 TruthChecker라는 솔루션을 제공한다.

물론, NeMo Guardrails 또는 Got It AI와 같은 자동화된 도구를 사용하여 AI 시스템을 검수하고자 하는 기업체는 이러한 솔루션이 잘못된 정보를 식별하는 데 얼마나 효과적인지 실사를 통해 검증하고, 잠재적 책임을 없애기 위해 필요한 다른 요소가 있는지 결정하기 위해 위험 평가를 수행해야 한다.

글을 마치며

AI와 LLM은 기업에게 흥미로운 기능을 제공할 수 있지만, 최상의 결과를 얻으려면 사용자가 이러한 기술의 위험과 한계를 염두에 두는 것이 중요하다.

궁극적으로 AI 솔루션은 인간의 지능을 대체하는 것이 아니라 인간의 지능을 증강하는 데 사용될 때 가장 큰 가치를 제공한다.

사용자와 기업이 LLM이 정보를 조작하고 출력 데이터를 다른 곳에서 검증할 수 있는 잠재력이 있음을 인식하는 한, 잘못된 정보가 확산되거나 흡수될 위험을 최소화할 수 있다.