테코피디아 신뢰성

구글 젬마: 인공지능 시장에 미치는 영향은?

구글 젬마: 인공지능 시장에 미치는 영향은?

구글은 최근 Gemini AI 업데이트에서 숨을 돌리지 않고 젬마(Gemma)라는 새로운 개방형 언어 모델 제품군을 출시했다고 발표했다.

Gemma는 이 기술 대기업의 대표 모델인 Gemini를 만드는 데 사용된 것과 동일한 연구로 구축된 텍스트 대 텍스트 모델이며 2B 또는 7B 매개변수 버전으로 제공된다.

구글의 개방형 모델 출시 결정의 핵심은 2023년 Meta가 3천만 번 다운로드되고 3,500개 이상의 기업 프로젝트에 사용된 LLaMA(대규모 언어 모델)를 출시했을 때처럼 오픈 소스 커뮤니티의 영향력을 활용하려는 시도다.

핵심내용

  • 구글의 Gemma 개방형 언어 모델 제품군은 최근 Gemini AI 업데이트의 뒤를 잇는 제품군이다.
  • LLM은 2B 또는 7B 파라미터 버전으로 제공되며, 텍스트 대 텍스트 작업을 위해 설계되었으며, 개인용 컴퓨터에서 실행할 수 있다.
  • 6조 개의 토큰 데이터 세트로 학습된 Gemma 모델은 질문 답변 및 요약과 같은 작업에서 비슷한 크기의 모델보다 뛰어난 성능을 발휘한다.
  • Gemma는 개방형 모델로 홍보되고 있지만, 구글은 전체 소스 코드와 학습 데이터가 아닌 매개변수만 공개하고 있다.
  • 이러한 장점에도 불구하고 잘못된 정보나 유해한 콘텐츠를 생성하는 데 악용될 수 있다는 우려가 존재한다.

구글은 발표 포스팅에서 이렇게 말했다: “Gemma 모델은 현재 널리 사용되고 있는 가장 크고 성능이 뛰어난 AI 모델인 Gemini와 기술 및 인프라 구성 요소를 공유한다.

이를 통해 Gemma 2B와 7B는 다른 개방형 모델에 비해 크기 대비 동급 최고의 성능을 달성할 수 있다.”라고 설명한다. 또한 Gemma 모델은 개발자 노트북이나 데스크톱 컴퓨터에서 직접 실행할 수 있다.”

구글에 따르면 이 모델은 웹 문서, 코드, 수학 등 6조 개의 토큰으로 구성된 텍스트 데이터 세트로 학습되었으며, 질문 답변, 요약, 추론 등의 텍스트 생성 작업에서 라마 2와 같은 대형 모델의 성능을 능가했다.

이번 출시는 구글의 Gemini 1.5가 출시된 지 일주일도 채 되지 않았고, Gemini LLM 제품군이 출시된 지 3개월도 채 되지 않은 시점에 이루어졌다.

젬마는 LLM의 세계에 어떤 역활을 하는가?

구글 딥마인드의 공동 창립자 겸 CEO인 데미스 하사비스는 이렇게 말했다: “구글은 책임감 있는 오픈 소스와 과학을 지원해온 오랜 역사를 가지고 있으며, 이를 통해 빠른 연구 진전을 이끌어낼 수 있다. 따라서 Gemini에 사용된 것과 동일한 기술에서 영감을 받아 동급 최고의 경량 오픈 모델 세트인 Gemma를 출시하게 되어 자랑스럽다.”

단, 구글은 이 모델을 완전히 오픈 소스로 공개하지 않고 매개변수만 공개하고 소스 코드와 학습 데이터는 공개하지 않았다는 점에 유의해야 한다.

Gemma는 텍스트, 음성, 이미지의 입력을 처리할 수 있는 멀티모달 모델이 아닌 텍스트 대 텍스트 모델이라는 점에서 Gemini와 차별화된다.

또한 계산량이 더 가볍기 때문에 노트북, 워크스테이션 또는 구글 클라우드 와 같은 클라우드 환경에서 Vertex AI 및 Google Kubernetes Engine을 통해 실행할 수 있다. 따라서 Gemini보다 온디바이스 애플리케이션에 더 적합하다.

젬마 / 라마 2 / 미스트랄 7B 비교분석

오픈소스 커뮤니티에서 Gemma의 입지와 관련해서는 두 가지 주요 경쟁자가 있다: 라마 2와 미스트랄 7B다. 이 두 모델은 각각 최고 성능의 오픈 소스 LLM 중 하나로 명성을 쌓아왔다.

그러나 구글에서 발표한 연구에 따르면 Gemma는 질문 답변, 추론, 수학 및 코딩 작업과 같은 중요한 영역에서 각 모델보다 성능이 뛰어난 것으로 나타났다.

아래에 테스트 결과 중 일부가 포함되어 있다:

벤치마크 젬마 7B 미스트랄 7B 라마 2 7B 2 13B에 전화
MMLU(일반) 64.3 62.5 45.3 54.8
BBH(다단계 추론 작업) 55.1 56.1 32.6 39.4
HellaSwag(상식추론) 81.2 81.0 77.2 80.7
GSM8K(기본 산수 및 초등학교 수학 문제) 46.4 35.4 14.6 28.7
MATH(도전적인 수학 문제, 대수 기하학, 기초 미적분) 24.3 12.7 2.5 3.9

 

Gemma의 결과는 전반적으로 견고했지만 특히 코딩과 수학 과제에서 인상적이었는데, 이 모델은 미스트랄 7B와 라마 2보다 훨씬 높은 점수를 기록했다.

연구원들이 값비싼 서버로 가득 찬 전체 데이터 센터를 유지하지 않고도 노트북에서 실험할 수 있는 가볍고 계산 효율적이며 고성능의 모델을 제공하는 데 성공했기 때문에 GPT-4나 Gemini와 같은 LLM만큼 강력하지는 않지만 그럴 필요는 없다.

책임감 있는 AI와 잠재적 과제

개방형 모델을 공개하기로 한 결정에 어려움이 없는 것은 아니다. 연구자들이 합법적인 사용 사례를 위해 Gemma를 자유롭게 실험할 수 있을 뿐만 아니라 이를 오용할 가능성도 있기 때문이다.

결과적으로 이 모델이 잘못된 정보와 혐오 또는 유해한 콘텐츠를 생성하는 데 사용될 수 있다(이는 개방형 LLM에만 국한된 위험은 아니지만).

MIT 연구진이 수행한 주목할 만한 연구 중 하나는 “1918년 인플루엔자 바이러스의 획득 및 방출 방법에 대한 정보를 수집하기 위해 “스파이시”라는 별명을 가진 라마 2 70B 모델의 버전이 어떻게 사용될 수 있는지”에 대해 설명했다.

이 연구는 “모델 코드와 가중치가 공개되면 행위자가 안전장치를 제거하거나 특정 기술 지식을 일반인이 더 쉽게 활용할 수 있도록 강화하는 방식으로 미세 조정하는 것을 막는 것이 거의 불가능해진다”고 주장했다.

다른 논평가들도 오픈소스 AI의 위험성에 대해 경고하고 있다. 앱옴니의 인공지능 디렉터인 멜리사 루찌는 테크오피디아에 다음과 같이 말했다:

“오픈 소스 AI 모델은 특히 Gemini를 기반으로 개발되었기 때문에 Gemma만큼 강력한 성능을 발휘할 수 있는 훌륭한 아이디어처럼 들린다. 그러나 국가 사이버 범죄자들이 공격에 AI를 사용하고 있고 위협 행위자들이 생산성 향상에 AI를 활용하는 방법을 모색하고 있다는 연구 결과에서 알 수 있듯이 악의적인 행위자들에게도 힘을 실어줄 수 있다.

“이런 일이 일어나지 않도록 충분한 제어 기능을 구현하면서도 제대로 작동하는 모델을 만드는 것은 거의 불가능하다. 이것이 오픈 소스 AI 모델에서 해결해야 할 가장 큰 문제다.”

어쨌든 구글은 오용을 방지하기 위해 CSAM 필터링, 민감한 데이터 필터링 및 콘텐츠 품질 필터링을 혼합하여 유해/불법 콘텐츠, 개인 정보 또는 조직의 콘텐츠 관리 정책을 위반할 수 있는 모든 텍스트를 제거했다.

이러한 안전 장치가 오용을 방지하기에 충분한지는 아직 미지수다.

결론

Gemma의 출시로 구글의 AI 제품 생태계가 더욱 깊어지고 있지만 진정한 승자는 오픈 소스 커뮤니티다. 이제 연구원들은 새로운 솔루션을 개발하기 위해 Gemma, Llama 2, Mistral 7B 중 원하는 것을 골라 실험할 수 있다.

이러한 오픈 소스 생태계가 성숙해짐에 따라 점점 더 강력한 LLM이 개발되어 오픈 소스 LLM과 폐쇄 소스 LLM 간의 격차가 좁혀질 것으로 보인다.

지금까지와 마찬가지로, 이러한 것들이 좋은 용도로 활용될지 나쁜 용도로 활용될지는 적어도 현재로서는 운영자의 손에 달려 있다.

Hyunwoo Kim
-

본 작가는 MIT에서 컴퓨터과학을 전공한 후 지난 5년 동안 자연어 처리에 중점을 두고 다양한 소프트웨어 엔지니어링 프로젝트에 깊이 파고들었습니다. 자신의 엔지니어링 기술과 글쓰기에 대한 열정을 결합하여 통찰력 있고 유익한 콘텐츠를 통해 복잡한 기술 세계를 이해하기 쉽게 설명합니다. 주로 인공지능과 신규 기술 분야 관련 혁신적인 변화에 대한 기사를 작성하고, 독자들에게 정보를 전달하는 역할을 수행하고 있습니다.