인공지능(AI) 거버넌스

AI 거버넌스란?

인공지능(AI) 거버넌스란 AI 시스템의 안전하고 책임감 있는 개발을 보장하기 위한 법적 뼈대를 구축하는 것을 말한다.

AI 거버넌스 논의에서 사회, 규제 기관, 업계 리더들은 사회 전체에 해를 끼칠 수 있는 사회적, 경제적, 윤리적 위험을 완화하기 위해, 챗GPT를 비롯한 기타 머신러닝 기반 AI 솔루션의 개발을 통제하기 위한 방안을 모색하고 있다.

AI와 관련된 위험에는 사회 및 경제적 혼란, 편향성, 잘못된 정보, 데이터 유출, 지적 재산권 도용, 자동화로 인한 실업, 심지어 자동화된 사이버 공격의 형태로 무기화될 수 있는 위험까지 포함된다.

궁극적으로 AI 거버넌스의 최종 목표는 허용 가능한 사용 사례, 위험 관리 프레임워크, 개인정보 보호 메커니즘, 정확성, 나아가 공정성에 대해 정의함으로써, 안전하고 신뢰할 수 있으며 책임감 있는 AI 개발을 장려하는 것이다.

AI 거버넌스가 중요한 이유

AI 거버넌스와 규제는 AI의 개발과 도입에 따른 위험 수준을 이해하고 통제하는 데 중요한 역할을 한다. 궁극적으로는 사회와 기업에서 머신러닝 기술을 사용할 때 허용 가능한 위험 수준에 대한 합의를 도출하는 데 도움이 될 것이다.

그러나 AI 개발을 통제, 관리하는 것은 매우 어려운 일이다. 개발자나 도입자가 참고할 수 있는 중앙 집중식 규제나 위험 관리 프레임워크가 없을 뿐 아니라, 시스템이 사용되는 상황에 따라 위험성이 달라지기 때문에 이를 평가하는 것도 어렵기 때문이다.

챗GPT를 예로 들면, 기업은 환각이 부정확하거나 잘못된 정보를 확산시킬 수 있다는 점을 인정해야 할 뿐만 아니라, 사용자 프롬프트가 OpenAI에 유출될 수 있다는 사실도 인지해야 한다. 또한 AI가 생성한 피싱 이메일이 사이버 보안에 미칠 영향도 고려해야 한다.

보다 광범위하게, 규제 기관, 개발자 및 업계 리더들은 대규모 언어 모델(LLM)이 제공하는 부정확한 정보나 잘못된 정보를 줄이는 방법을 고려해야 한다. 이러한 정보는 잠재적으로 여론과 정치에 영향을 미칠 수 있기 때문이다.

동시에 규제 당국은 소규모 AI 개발 업체들의 혁신을 억압하지 않으면서도 위험을 완화하는 것 사이에서 균형을 맞춰야 한다.

거버넌스의 기반이 되는 투명성

규제 당국과 업계 리더들이 AI 관련 위험을 보다 포괄적으로 이해하기 위해서는, 먼저 자동화 시스템의 의사결정 과정에 대한 투명성(transparency)이 강화되어야 한다.

예를 들어, 업계에서 AI 플랫폼이 데이터셋을 처리한 후 결정을 내리는 방식을 더 잘 이해할수록, 그 결정이 윤리적인지, 공급업체의 처리 활동이 사용자의 프라이버시를 존중하고 일반 개인정보 보호 규정(GDPR)과 같은 데이터 보호 규정을 준수하는지를 더 쉽게 파악할 수 있다.

AI 개발이 투명하게 이루어질수록 위험을 더 잘 이해하고 완화할 수 있다. 마이크로소프트의 부회장 겸 사장인 브래드 스미스(Brad Smith)는 2023년 5월 블로그 게시물에서 “마이크로소프는 2018년에 AI에 대한 6가지 윤리 원칙을 채택할 때 다른 모든 원칙의 기반이 되는 한 가지 원칙, 즉 책임성(accountability)에 주목했다.”고 설명했다.

“기계가 사람들에 의해 효과적으로 감독 받고, 기계를 설계하고 운영하는 사람들이 다른 모든 사람에게 책임을 지도록 하는 것은 근본적 욕구(fundamental need)의 영역이다.”

AI 시스템이 데이터를 처리하는 방식에 대한 투명성이 없다면, 그것이 공정성을 유지하기 위한 공동의 노력으로 개발된 것인지, 아니면 단순히 개발자의 가치와 편견에 따라 개발된 것인지 평가할 방법이 없다.

NIST의 AI 위험 관리 프레임워크

2023년 1월 26일, 미국 국립표준기술연구소(NIST)는 AI 위험을 측정하고 관리하기 위한 자발적 권장 사항 및 가이드라인인 AI 위험 관리 프레임워크를 발표했다.

NIST의 규범은 신뢰할 수 있는 AI 개발을 촉진하기 위해 AI 거버넌스 논의에 뛰어든 최초의 포괄적인 위험 관리 프레임워크 중 하나다.

이 프레임워크에서 NIST는 위험을 ‘개인의 시민적 자유를 위협할 가능성이 있는 모든 것’으로 정의한다. 이러한 위험 AI 시스템 자체의 특성 또는 사용자가 시스템과 상호 작용하는 방식으로 인해 발생한다.

결정적으로, NIST는 조직과 규제 기관이 위험을 완전히 이해하기 위해 AI를 사용할 수 있는 다양한 상황을 인식해야 한다고 강조한다.

NIST는 또한 조직이 AI 위험 관리를 시작하는 데 사용할 수 있는 4가지 핵심 기능을 강조한다.

거버넌스: 윤리적, 법적, 사회적 위험을 관리하기 위한 조직 전반의 위험 관리 문화를 구축한다.
매핑: AI 시스템을 범주화하고 다른 조직과 개인에게 영향을 미칠 수 있는 잠재적 위험을 매핑한다.
측정: 정량적, 정성적, 또는 그것을 혼합한 하이브리드 위험 평가 기법을 사용하여 AI 위험의 범위를 평가한다.
관리: 지속적으로 AI 위험을 파악하고 시간이 지남에 따라 이러한 위험을 완화하기 위한 전략을 개발한다.

하지만 NIST의 프레임워크는 권장 사항 정도에 그치기 때문에 많은 비판을 받고 있다. 현 단계에서 조직이 책임감 있게 AI를 개발해야 할 규제적 의무는 없다.

신뢰할 수 있는 인공지능 개발의 장벽: 블랙박스

현재 AI 거버넌스를 가로막는 주요 장벽 중 하나는 마이크로소프트, 앤스로픽(Anthropic), 구글과 같은 AI 리더들의 블랙박스 개발 방식이다. 일반적으로 이러한 업체들은 경쟁 우위를 유지하기 위해 자사의 모델이 어떻게 작동하고 의사 결정을 내리는지 공개하지 않는다.

블랙박스 개발 방식은 AI 공급업체가 지적 재산을 보호할 수 있게 해주지만, 사용자와 규제 당국은 AI 솔루션이 어떤 유형의 데이터와 처리 활동을 통해 의사 결정이나 예측을 산출하는지 알 수 없게 된다.

업계의 다른 공급업체들, 예를 들어 메타(Meta)와 같은 곳은 블랙박스 개발에서 벗어나, Llama 2와 같은 LLM을 사용하여 공개적이고 투명한 접근 방식으로 전환하려고 노력하고 있다. 하지만 많은 공급업체들이 불투명성 기조를 유지하고 있기 때문에 이러한 솔루션이 제공하는 정확도나 편향성의 수준을 이해하기는 어렵다.