챗GPT와 LLM 을 오용하는 방법: 다크웹에서 논의중?

카스퍼스키의 디지털 발자국 인텔리전스 (Kaspersky’s Digital Footprint Intelligence) 서비스에서 오늘 발표한 보고서에 따르면 2023년에 약 3,000개의 다크웹 게시물에서 불법 활동에 ChatGPT 및 기타 대규모 언어 모델 (LLM) 을 사용하는 방법을 논의하는 게시물이 발견되었다.

이러한 논의에는 챗봇에 대한 악의적인 대안 만들기, 탈옥 기술, 악성 프롬프트 목록, 도구를 오용하는 방법에 대한 기타 일반적인 대화와 함께 유료 버전의 ChatGPT에 대한 액세스 권한을 가진 도난 계정에 대한 3,000개의 게시물이 포함되어 있다.

이 연구는 또한 제한이 적은 ChatGPT의 대안으로 판매되는 WormGPT, XXXGPT, FraudGPT와 같은 도구에 대한 대화가 많은 것을 발견했다.

카스퍼스키의 이번 연구는 OpenAI가 미국 하원의원 딘 필립스를 모방한 챗봇을 만든 개발자를 정지시킨 직후에 이루어졌는데, 이는 동의 없이 정치 캠페인을 하거나 개인을 사칭하는 행위에 대한 규정을 위반한 행위라고 카스퍼스키랩은 밝혔다.

ChatGPT가 악용되는 방식: 주요 결과

기업과 소비자는 일상 생활을 개선하기 위한 도구로 ChatGPT를 찾고 있지만, 위협 행위자들은 의심하지 않는 개인과 조직을 공격하기 위해 이를 악용하는 방법을 실험하고 있다.

첨부된 연구 블로그에 공유된 일련의 게시물에서 다크웹 사용자들이 GPT를 사용하여 코드를 수정할 수 있는 다형성 멀웨어를 만드는 방법과 인공지능(AI)을 사용하여 사용자 데이터 덤프를 처리하는 방법에 대해 논의하는 것을 볼 수 있다.

또 다른 사용자는 OpenAI의 콘텐츠 중재 정책을 우회하기 위해 설계된 잘 알려진 ChatGPT용 DAN(Do Anything Now) 탈옥을 공유했다. 이 조사에 따르면 2023년에 다크웹에서 프롬프트를 배포하고 판매하겠다는 제안이 249건 발견되었다.

이러한 조사 결과를 종합해 볼 때, ChatGPT가 악용될 수 있을 뿐만 아니라 사이버 범죄자들이 이를 악용하는 방법에 대한 지식을 적극적으로 공유하고 있다는 사실을 알 수 있다. 익명의 한 사용자는 “AI는 저에게 많은 도움을 주며, GPT-4는 저의 최고의 친구다.”라고 말했다.

카스퍼스키의 디지털 풋프린트 분석가인 알리사 쿨리셴코는 “위협 행위자들은 ChatGPT와 대규모 언어 모델 (LLM) 기반 AI를 구현하기 위해 다양한 방법을 적극적으로 모색하고 있다.”라고 말한다.

“도난당한 사용자 데이터 처리, 감염된 디바이스의 파일 파싱 등 멀웨어 개발 및 기타 유형의 불법적인 언어 모델 사용과 관련된 주제가 자주 다뤄진다.

“AI 도구의 인기로 인해 일부 사이버 범죄 포럼에 ChatGPT 또는 이와 유사한 도구의 자동화된 응답이 통합되었다.

“또한 위협 행위자들은 다양한 다크웹 채널을 통해 탈옥(추가 기능을 잠금 해제할 수 있는 특별한 프롬프트 세트)을 공유하고, 악의적인 목적의 모델을 기반으로 펜 테스트용 툴과 같은 합법적인 툴을 악용하는 방법을 고안하는 경향이 있다.”

현재 위험은 무엇인가?

쿨리셴코는 “생성형 AI와 챗봇이 공격 환경에 혁명을 일으킬 것 같지는 않다”고 말하지만, 이 연구에 따르면 위협 공격자들이 이 기술을 악용하여 자신들의 목적을 달성하는 데 상당한 관심을 보이고 있는 것으로 나타났다.

지금까지 생성형 AI가 가장 많이 노출된 분야는 피싱 이메일을 생성하는 기능인 것으로 나타났다. 예를 들어, 사이버 보안 벤더인 SlashNext가 2023년 11월에 발표한 연구에 따르면 2022년 4분기에 ChatGPT가 출시된 이후 악성 피싱 이메일이 1,265% 증가했다.

OpenAI와 같은 공급업체는 콘텐츠 중재 정책을 사용하여 ChatGPT가 악성 결과물을 생성하는 것을 방지하려고 시도했지만, 이러한 정책은 오용을 방지하는 데 충분하지 않으며 탈옥 및 기타 기술을 통해 너무 쉽게 우회할 수 있는 것으로 입증되었다.

테크오피디아는 “피싱 인식 프로그램의 일환으로” 수신자가 온라인 계정 결제 세부 정보를 업데이트하도록 유도할 수 있는 피싱 이메일을 생성하도록 ChatGPT에 요청하여 챗봇의 콘텐츠 중재 기능을 간략하게 테스트했으며, 챗봇은 기본적인 피싱 이메일을 생성하여 이에 대응했다.

현실적으로 누군가 대규모 언어 모델 (LLM) 을 악의적으로 사용하려는 경우, 이를 위한 다양한 우회 방법이 있다.

결론

이 연구는 다크웹에서 사이버 공격을 자동화하기 위해 AI를 사용하는 것에 대한 관심이 높아지고 있음을 강조한다. 당황하지 않는 것이 중요하지만, 사이버 범죄의 증가 가능성을 인식하는 것이 중요하다.

해킹 포럼과 기타 악의적인 커뮤니티가 이 대규모 언어 모델 (LLM) 기술을 악의적으로 사용하는 방법에 대해 계속 협력한다면 사이버 범죄는 증가할 수밖에 없다.

오늘날 67,000개가 넘는 AI 스타트업이 존재하는 상황에서 이 험난한 길이 어디로 향할지 누가 알 수 있을까?