오픈AI, 재앙적 AI 위험 대비를 위한 '대비 프로젝트팀' 구성

미국의 인공지능 연구 기업인 오픈AI(OpenAI)가 AI의 잠재적 위험 대비를 위해 '대비(Preparedness) 프로젝트팀'을 구성했습니다. 이 팀은 재해 수준의 대규모 피해를 일으킬 수 있는 AI 위험을 추적하고 예측하는 역할을 맡고 있으며, 미래 AI 시스템의 위험을 모니터링하고 평가하는데 중점을 두고 있습니다.

출처 : OpenAI 웹사이트

이 프로젝트는 MIT 배치형 기계학습 센터 소장인 알렉산더 매드리의 지도 아래 진행됩니다. 그 주요 목표는 최신 AI 시스템의 진화 과정과 기능을 철저히 모니터링하고 예측하는 것입니다. 또한 빠르고 복잡한 AI 시스템의 발전을 분석하여 위험 정도를 평가하고, 안전한 관리 및 처리 절차와 인프라를 개발하는 것입니다.

 

이 프로젝트에서 고려되는 위협은 국가 안보 분야의 화학, 생물학, 방사능 등과 함께 자기 복제, 기만, 조작, 사회문제 등 다양한 영역에 걸칩니다. 또한, 아직 존재하지 않는 기능이라도 사회에 치명적인 영향을 미칠 수 있는 모든 위협을 다루고 있습니다.

 

이를 위해 오픈AI는 사이버 보안, 화생방 및 핵무기 방어, 국가 보안, 공공 안전 전문가를 모집하고 관련 기술 역량을 강화할 계획입니다. 또한, AI 안전을 위한 공유 표준 및 모범 사례 개발을 위한 프론티어 모델 포럼을 설립했습니다. 현재 이 포럼은 AI 개발 과정에서 위험을 최소화하기 위한 정책을 개발 중입니다.

 

오픈AI는 AI 모델이 인류에 긍정적인 영향을 미칠 수 있는 가능성을 가지고 있지만, 동시에 더 큰 위험을 초래할 수 있다는 우려가 있으며 이에 대비하기 위해 이번 전담 팀을 구성하게 되었습니다. 이를 통해 AI의 위험 수준과 대응 방안을 계속해서 업데이트하고 AI의 안전성을 강화하려는 노력을 지속할 것입니다. 이에 더불어 레드팀과 같은 가상 공격자를 조직하여 새로운 주요 모델을 평가하고 취약점을 발견하는 사용자에게 보상을 제공하는 버그 바운티 프로그램을 실시할 예정입니다.

 

오픈AI는 AI의 잠재적 위험에 대응하기 위해 최선을 다하는 AI 연구 및 배포 기업이며, 다양한 관점과 의견을 가진 인재를 환영하고 있습니다. AI가 모든 인류에게 혜택을 제공하고 동시에 안전하게 사용될 수 있도록 지속적으로 노력할 것입니다.