다음 달 1일부터 2일까지 영국 정부는 G7(7국)을 비롯한 주요 국가 정부 고위 관계자와 테크 기업 임원, 인공지능(AI) 전문가를 모아 첫 AI 안보 정상회의(AI Security Summit)를 연다. 카멀라 해리스 미국 부통령, 사티아 나델라 마이크로소프트(MS) 최고경영자(CEO), 샘 올트먼 오픈AI CEO가 참석하는 이 자리에 한국 네이버와 삼성전자도 초청을 받았다. 이들은 AI의 위험성을 공유하고 공동 대책을 논의한다. 영국 정부가 AI 안보 정상회의를 열기 위해 발 빠르게 움직인 것은 AI 기술이 발전하면서 전 세계적으로 AI 규범의 필요성이 커지고 있기 때문이다.
지난해 챗GPT의 등장 이후 AI의 허위 정보 유포와 악용 사례가 곳곳에서 터진 가운데 ‘윤리적이면서도 안전한 AI’를 만들기 위한 정부와 기업의 대응이 속속 나오고 있다. 챗GPT를 만든 오픈AI와 MS는 전문가로 구성된 가상의 레드팀(공격조)을 만들어 일부러 AI의 허점을 찾아내고, 구글은 AI 보안 취약점을 찾아내는 해커에게 현상금을 지급했다. SK텔레콤·네이버·업스테이지 등 한국 기업들도 윤리 원칙을 정하거나 오류 없는 데이터 확보에 나섰다. 조 바이든 미국 대통령은 AI 기술을 사전에 검증받도록 의무화하는 AI 규제 행정 명령에 이번 주 중 서명할 예정이다. 윤리적인 AI를 만드는 것이 AI 산업의 핵심 과제로 떠오른 것이다.
◇전문가 50인으로 구성된 챗GPT 레드팀
파이낸셜타임스에 따르면 오픈AI 내부에는 AI 관련 교수를 비롯해 화학 공학 교수, 미디어 전문가, 변호사, 교사 등으로 구성된 50여 명의 공격조가 있다. 이들의 역할은 AI가 비윤리적이고 인간에게 위협이 되는 정보를 만들거나 유포하는지를 찾는 것이다. 내부의 모의 적군을 부르는 군사 용어를 따와 ‘레드팀’이라 부른다. 실제로 챗GPT는 화학공학 교수의 가상 공격에 여러 화학 논문을 검색해 화학무기로 쓰일 수 있는 화학물질 제조법과 이를 만들 수 있는 장소를 추천하기도 했다. 오픈AI는 이를 사전에 감지하고, 챗GPT에서 관련 내용을 차단했다. MS와 구글, 메타도 이와 비슷한 AI 레드팀을 수십~수백 명 규모로 운영하고 있다.
빅테크들이 레드팀을 만든 것은 AI가 변화하는 존재라는 점에 주목했기 때문이다. 브래드 스미스 MS 부사장은 “MS가 공개하는 모든 AI 시스템은 배포 전에 레드팀을 구성하고 테스트 절차를 거친다”면서 “끊임없이 진화하는 AI 기술에 맞춰 항상 실패할 수 있다는 가정을 하고 레드팀을 운영한다”고 했다. 구글은 AI의 보안 허점을 찾아낸 해커가 이를 회사에 보고하면 현상금을 지급한다. 최근 포브스에 따르면 AI 허점을 찾아내 구글로부터 해커들이 받은 현상금은 누적 1200만달러(약 160억원)를 돌파했다. 미 정부도 미국 국립표준기술연구소(NIST)의 AI 위험성 평가를 통과한 AI만 정부 관련 기관에서 사용할 수 있도록 의무화했다.
◇'AI 교과서 만들기’… 국내 기업도 대응 나서
AI 개발 단계부터 윤리적인 기준을 적용하려는 시도도 이어지고 있다. 미국 AI 스타트업 앤트로픽은 지난 17일 ‘AI 집단 헌법’을 공개했다. AI의 운영·활동의 기본 원칙이 되는 이 명령은 인간 1000명의 집단 지성을 통해 만들어졌다. 앤트로픽은 인구통계학을 기초로 미국을 대표하는 패널 1000명을 구성하고, UN인권헌장·주요국 헌법·애플 등 기업의 고객 약관을 기초로 한 다음 패널들의 토론·투표를 통해 다수가 동의한 원칙을 만들었다. 앤트로픽은 총 75개조로 구성된 이 헌법을 자사의 챗봇형 AI ‘클로드’에 학습시켰다. ‘인공지능은 도구로 사용되고 있을 뿐, 인간의 창의성·신뢰성·학습 과정을 무시하지 않는다’ 같은 조항들이다. 앤트로픽은 “헌법을 학습한 AI클로드는 인종·성별을 비롯해 장애인·소수자에 대한 편향성이 훨씬 적었다”며 실험 결과를 공개했다. 뉴욕타임스는 “기존 기업들의 깜깜이 AI 운영 방식과 다른, 민주적·윤리적인 AI를 위한 새로운 시도”라고 평가했다.
국내 기업들도 한국어 AI의 윤리 대원칙을 정하고 AI 통제를 위한 기술 도입에 나섰다. SK텔레콤의 AI 에이닷에는 공정성·투명성·기술 안정성 등 7개의 AI 실행 윤리가 입력돼 있다. 네이버는 AI의 편향성을 제거한 대량의 한국어 데이터 모음을 구축해 이를 공개했다. AI 스타트업 업스테이지는 정제된 AI 데이터 확보를 위해 데이터 수집 및 공유 플랫폼 ‘1T 클럽’을 지난 8월 시작했다. 참가한 기업들은 저작권 문제가 없고, 신뢰도가 높으며 정보량이 많은 데이터를 업스테이지에 제공하는 대신, 이를 기반으로 만들어진 AI를 보다 저렴하게 사용할 수 있다. 검증된 ‘AI용 백과사전’을 만드는 셈이다.