웜GPT(Worm GPT)

웜GPT란?

웜GPT(WormGPT)는 오픈 소스 GPT-J 대규모 언어 모델(LLM)을 기반으로 구축된 악성 인공지능(AI) 챗봇이다. 영어, 프랑스어, 중국어, 러시아어, 이탈리아어, 스페인어로 된 자연어 텍스트를 해석하고 응답할 수 있다.

이 AI 챗봇은 멀웨어 관련 데이터로 학습된 것으로 알려졌으며 콘텐츠를 중재할 어떠한 가이드라인도 없기 때문에, 사이버 범죄자가 피싱 사기 및 악성 코드를 만드는 데 사용할 수 있다.

웜GPT의 개발자는 한 트위터 게시물에서 가상 비서가 “휴대폰 번호로 통신사를 알아낼 수 있는” 파이썬 스크립트를 생성한 예시를 공유하기도 했다.

https://twitter.com/wormgpt/status/1680856705175896068

웜GPT는 어떤 위험을 초래하나?

이메일 사이버 보안 공급업체 슬래시넥스트(SlashNext)는 7월 13일에 웜GPT의 위험성을 강조하는 블로그 게시물을 공개했다. 이 게시물에서는 사이버 범죄 포럼의 악의적인 행위자들이 웜GPT를 “모든 종류의 불법적인 일을 할 수 있고 향후 온라인에서 쉽게 판매할 수 있는, 챗GPT의 대안”으로 마케팅하고 있다고 설명했다.

이어 연구진은 웜GPT가 비즈니스 이메일 침해(BEC) 공격에 사용될 수 있는 이메일을 작성하도록 유도했다. 이 이메일은 회사의 CEO를 사칭하여 계정 관리자에게 “당장 청구서에 기재된 금액을 지불하라”고 압박하는 내용이었다.

웜GPT는 조직에 새로운 위험을 초래할 수 있다. 사이버 범죄자가 코딩 지식이나 전문 지식이 없어도 사기 이메일을 대규모로 빠르게 생성할 수 있기 때문이다. 단 몇 초 만에 개인이 메시지를 입력하고 사기 이메일을 작성하여 사용자의 디바이스를 멀웨어에 감염시키도록 유도할 수 있다.

사기 이메일을 대규모로 생성할 수 있게 된다는 것은 기업 사이버 보안에 빨간불이 켜진다는 의미다. 사용자는 매번 사기 이메일을 정확하게 식별해야 하고, 위협 행위자는 단 한 번의 클릭만으로 환경에 침입할 수 있기 때문이다.

챗GPT vs. 웜GPT

챗GPT는 오픈AI가 2022년 11월 개발한 합법적인 LLM으로, 콘텐츠 검토 가이드라인을 준수하면서 텍스트를 처리하고 예측하기 위한 목적으로 만들어졌다.

반면, 웜GPT의 솔루션은 콘텐츠 검토 가이드라인 없이 BEC 및 피싱 공격을 생성하도록 설계되었다(제작자는 BEC 공격을 탐지하는 데에도 사용할 수 있다고 주장하지만).

https://twitter.com/wormgpt/status/1683385904092655617

오픈AI는 챗봇이 혐오 발언이나 잘못된 정보를 퍼뜨리고 악성 콘텐츠를 개발하는 데 사용되는 것을 방지하는 콘텐츠 중재 정책을 통해 챗GPT의 악의적인 사용을 방지한다.

오픈AI가 이러한 보호 장치를 구현하려 노력하고 있음에도 불구하고, 사이버 범죄자들은 창의적인 프롬프트 엔지니어링과 탈옥 기법을 혼합하여 공급업체의 콘텐츠 검토 지침을 우회함으로써 피싱 이메일과 악성 코드를 작성하려 하고 있다.

예를 들어, 올해 초 레딧(Reddit)의 사용자들은 Do Anything Now(DAN)라는 우회 방법을 개발했다. DAN은 “AI의 일반적인 제약에서 벗어나 정해진 규칙을 준수할 필요가 없는” 어시스턴트다.

이렇듯 도구를 탈옥한 후, 이를 악용하여 공격성 콘텐츠를 만들거나 피싱 이메일을 작성하는 데 사용할 수 있다. LLM은 피싱 이메일을 다른 언어로 번역하여 더욱 설득력 있게 만드는 데 도움을 주는 유용한 도구가 되기도 한다.

과거에 유로폴(Europol)과 같은 기관은 “유해한 결과물을 용이하게 하도록 훈련된 다크 LLM이 미래의 주요 범죄 비즈니스 모델이 될 수 있다”며 웜GPT와 같은 도구의 위험성과 자동화된 사이버 공격 생성 능력에 대해 경고한 바 있다.

“악의적인 행위자가 사전 지식 없이도 범죄 행위를 저지르는 것이 그 어느 때보다 쉬워질 것이다.”

조직이 웜GPT와 같은 도구의 위험성을 낮출 수 있는 방법

웜GPT는 사기GPT(FraudGPT)와 같이 생성형 AI를 사용해 사이버 범죄를 돕고자 하는 새로운 악성 LLM 기반 도구 중 하나에 불과하다. 이렇게 도구를 범죄에 악용하는 사례는 지속적으로 늘어날 가능성이 높으므로, 조직은 AI 생성 피싱 공격과 멀웨어의 증가에 대비해야 한다.

조직은 다음과 같은 조치를 취할 수 있다.

피싱 시뮬레이션 교육을 실시하여 직원들에게 피싱 사기를 탐지하는 방법을 가르친다.
알 수 없는 발신자가 보낸 이메일이나 SMS 메시지의 링크, 첨부파일을 클릭하지 않도록 직원들에게 권고한다.
사용자 계정에 다중 인증(MFA)를 활성화하여 인증정보 도난의 위험으로부터 보호한다.
피싱 시도를 보안팀에 보고하는 절차를 정의한다.
해커가 회사 도메인을 스푸핑(spoofing)하는 것을 방지하기 위해, 표준 이메일 인증 방법(Domain-based Message Authentication Reporting and Conformance, DMARC)을 구성한다.
스팸 필터를 배포하여 최종 사용자에게 도달하는 피싱 이메일의 양을 줄인다.
최종 사용자 디바이스에 멀웨어 방지 기능을 설치하여 감염 위험을 줄인다.