구글 람다

구글 람다란?

람다(LaMDA, Language Model for Dialogue Applications)는 구글이 개발한 대화형 대규모 언어 모델(LLMs)로, 대화를 포함하여 다양한 유형의 생성형 AI 작업을 완료하는 데 사용된다.

람다는 구글 제품에 최종 사용자와 자연어 대화를 수행할 수 있는 기능을 부여하기 위해 고안되었다. 오픈AI의 챗GPT와 경쟁하고 있는 구글 바드에도 활용되었다.

람다가 대중에게 알려진 데에는 워싱턴 포스트 기사의 역할이 컸다. 해당 기사는 “람다에 자의식이 있다”고 말한 구글의 선임 AI 엔지니어가 해고 된 사건을 보도하며, AI 소프트웨어가 지각 능력을 가질 수 있는가에 대한 많은 논쟁을 불러일으켰다. 이 기사가 온라인을 통해 빠르게 퍼지면서 튜링 테스트에 대해 의구심을 품는 사람들이 생겨났으며, 책임 있는 AI(Responsible AI) 프레임워크의 필요성에 대한 논의가 활발해졌다.

구글 람다의 목표

구글에 따르면 람다의 대규모 언어 모델에는 품질, 안전성, 그리고 “근거 기반(groundedness)”이라는 세 가지 주요 목표가 있다. 근거 기반이란 사실과 증거에 기반하여 응답을 생성하는 능력을 의미한다.

람다가 합리적인 응답을 생성하고, 책임 있는 AI 원칙을 고수하며, 사용자에게 검증할 수 있는 정보를 제공하도록 하기 위해 구글은 끊임없이 3가지 주요 목표를 기준으로 람다를 평가한다.

구글이 람다의 성능을 평가하는 방법은 다음과 같다.

• 사용자 설문 조사: 구글은 지속적으로 람다를 이용하는 고객들을 대상으로 사용 경험에 대해 묻는 설문조사를 실시한다. 정확성, 도움이 되는 정도, 인게이지먼트(engagement) 등 다양한 기준으로 람다를 평가하도록 유도한다.
• 전문가 평가: 구글은 자연어 처리(NLP) 전문가들과 협력하여 람다가 현실에 근거한 텍스트를 생성하는지, 유해하거나 오해의 소지가 있는 정보가 포함되지는 않는지 평가한다.
• 내부 지표: 람다의 성능을 평가하기 위해 구글은 다양한 내부 지표를 추적한다. 지표에는 모델이 텍스트를 생성할 수 있는 형식의 수, 모델이 도움이 되는 방식으로 사용자 프롬프트에 응답하는 횟수, 그리고 모델과 정기적으로 상호 작용하는 사용자 수 등이 포함된다.
• 인간 중심 검토(Humans-in-the-Loop Review): 구글의 엔지니어 및 연구원들은 람다의 응답이 정확한지, 도움이 되는지, 윤리적인지를 검토한다.

구글은 수집한 지표와 피드백을 사용하여 모델의 성능을 개선하고, 사용자에게 더 유용하고 매력적인 모델로 만들기 위해 노력하고 있다.

람다의 작동 방식

개발 초기에 람다는 자체지도학습(self-supervised learning) 알고리즘을 사용하여, 인터넷 웹사이트 및 공개적으로 이용 가능한 정보에서 수집한 2테라바이트에 달하는 대화 데이터를 학습했다. 수개월이 걸린 이 학습에는 총 18만 개의 중앙 처리 장치(CPU) 코어와 600개의 그래픽 처리 장치(GPU)를 갖춘 컴퓨터 클러스터가 투입됐다고 알려져 있다.

초기 파운데이션 모델 학습이 끝난 후에는 지도학습(supervised learning) 알고리즘을 사용하여 다양한 언어 관련 작업을 미세 조정했다. 그 결과, 허용 가능한 정확도 수준으로 언어 작업을 완료할 수 있는 통합 다중 작업 모델이 만들어졌다.

다음은 람다가 수행할 수 있는 작업들이다.

• 일련의 사용자 프롬프트에 대화 형식으로 응답하기
• 다양한 형식과 작문 스타일로 텍스트 생성하기
• 100개 이상의 다른 언어로 텍스트 번역하기
• 질문에 답하기

람다는 더 많은 사용자와 상호 작용하고, 더 많은 데이터에 노출됨에 따라 끊임없이 학습하고 있고, 개선되고 있다.

람다와 구글 바드

바드는 구글에서 개발한 인공지능 기반 챗봇이다. 경쟁사인 챗GPT와 달리 바드는 인터넷에서 실시간으로 정보를 가져올 수 있는 기능을 갖추고 있다.

구글 바드가 처음 출시되었을 때는 람다를 사용하여 챗봇의 다양한 언어 작업을 수행했다. 하지만 최신 버전의 바드는 람다 대신 팜 2(PaLM 2)를 사용한다.

팜은 Pathways Language Model의 약자로, 구글이 개발 중인 새로운 유형의 트랜스포머 기반 신경망 아키텍처다.

팜 2는 멀티모달로 설계되어 다른 머신러닝(ML) 모델이나 AI 시스템의 도움 없이도 텍스트, 이미지, 동영상 등 다양한 형식의 데이터 소스를 이해하고 처리할 수 있다.

반면 람다와 챗GPT 3.5 및 4.0은 단일 모달로서 텍스트만 이해하고 처리하며 생성할 수 있다.

LaMDA vs.  Lambda

구글 람다를 AWS의 Lambda와 혼동해서는 안 된다.

AWS Lambda는 사용자가 서버를 프로비저닝하거나 관리할 필요 없이 코드를 실행할 수 있는 클라우드 컴퓨팅 서비스다. Lambda는 서버리스 컴퓨팅의 예로 자주 언급되는데, 이는 개발자가 코드 작성 및 배포에 집중할 수 있게 하고 클라우드 제공 업체가 코드 실행에 필요한 기본 인프라를 처리하는 분산 아키텍처를 말한다.