보안 연구원들은 구글 제미니 의 잠재적인 해킹 위험에 대해 경고한다. 이 보고서에서는 민감한 정보 공개, 잘못된 정보 생성, 데이터 유출의 위험을 언급한다.
사이버 보안 회사인 히든레이어(HiddenLayer)의 조사 결과에 따르면 해커는 제미니 어드밴스드 및 구글 워크스페이스 또는 제미니 API와의 통합의 결함을 악용할 수 있다고 한다.
첫 번째 취약점은 전략적 질문을 통해 비밀번호와 같은 민감한 데이터를 포함한 시스템 프롬프트를 노출하도록 구글 제미니를 속일 수 있다.
연구원들은 또한 구글 제미니 가 잘못된 정보와 악성 콘텐츠를 생성하여 선거와 같은 이벤트 중에 가짜 뉴스를 퍼뜨리는 등의 위험을 초래할 수 있는 ‘교묘한 탈옥’의 가능성도 발견했다.
또한 제미니는 모델의 응답 메커니즘을 악용하여 흔하지 않은 토큰을 반복적으로 입력함으로써 시스템 프롬프트에서 정보를 유출하도록 조작할 수 있다.
구글은 해커 뉴스에 대한 논평에서 이러한 취약점을 인정했다. 그러나 레드팀 훈련과 안전장치 구현을 통해 모델 방어를 강화하기 위한 지속적인 노력을 강조했다.
제미니 라인업의 플래그십 모델인 제미니 울트라는 플러그인 지원, 비디오 구문 분석, 복잡한 추론과 같은 고급 기능을 자랑하며 오픈AI의 GPT-4와 경쟁할 수 있는 위치에 있다.