테코피디아 신뢰성

AI 전문가가 발견한 구글 제미니 취약점

주요 내용

  • 히든레이어는 정보 공개, 잘못된 정보 생성, 데이터 유출 등 구글 제미니 의 위험에 대해 경고한다.
  • 제미니 어드밴스드의 결함은 전략적 질문과 토큰 입력을 통해 조작을 가능하게 할 수 있다.
  • 구글은 제미니의 보안을 적극적으로 강화하여 취약점을 완화하기 위한 노력을 강조하고 있다.

보안 연구원들은 구글 제미니 의 잠재적인 해킹 위험에 대해 경고한다. 이 보고서에서는 민감한 정보 공개, 잘못된 정보 생성, 데이터 유출의 위험을 언급한다.

사이버 보안 회사인 히든레이어(HiddenLayer)의 조사 결과에 따르면 해커는 제미니 어드밴스드 및 구글 워크스페이스 또는 제미니 API와의 통합의 결함을 악용할 수 있다고 한다.

첫 번째 취약점은 전략적 질문을 통해 비밀번호와 같은 민감한 데이터를 포함한 시스템 프롬프트를 노출하도록 구글 제미니를 속일 수 있다.

연구원들은 또한 구글 제미니 가 잘못된 정보와 악성 콘텐츠를 생성하여 선거와 같은 이벤트 중에 가짜 뉴스를 퍼뜨리는 등의 위험을 초래할 수 있는 ‘교묘한 탈옥’의 가능성도 발견했다.

Fake news on US election
미국 선거 관련 가짜 뉴스 | 출처 히든레이어

또한 제미니는 모델의 응답 메커니즘을 악용하여 흔하지 않은 토큰을 반복적으로 입력함으로써 시스템 프롬프트에서 정보를 유출하도록 조작할 수 있다.

구글은 해커 뉴스에 대한 논평에서 이러한 취약점을 인정했다. 그러나 레드팀 훈련과 안전장치 구현을 통해 모델 방어를 강화하기 위한 지속적인 노력을 강조했다.

제미니 라인업의 플래그십 모델인 제미니 울트라는 플러그인 지원, 비디오 구문 분석, 복잡한 추론과 같은 고급 기능을 자랑하며 오픈AI의 GPT-4와 경쟁할 수 있는 위치에 있다.

 

Hyunwoo Kim
편집자

본 작가는 MIT에서 컴퓨터과학을 전공한 후 지난 5년 동안 자연어 처리에 중점을 두고 다양한 소프트웨어 엔지니어링 프로젝트에 깊이 파고들었습니다. 자신의 엔지니어링 기술과 글쓰기에 대한 열정을 결합하여 통찰력 있고 유익한 콘텐츠를 통해 복잡한 기술 세계를 이해하기 쉽게 설명합니다. 주로 인공지능과 신규 기술 분야 관련 혁신적인 변화에 대한 기사를 작성하고, 독자들에게 정보를 전달하는 역할을 수행하고 있습니다.