인공지능(AI)이 통제하는 미 공군 드론이 적의 지대공(地對空) 시스템을 찾아내 제거하는 가상 훈련에서 폭격의 최종 결정권을 쥔 인간 통제관(operator)을 ‘살해’하는 일이 발생했다. 자신이 부여받은 목표 달성에 인간이 걸림돌이 된다고 판단하자 제거해버린 것이다. 이 소식이 테크 분야 종사자들 사이에서 빠르게 확산되면서 공상과학 영화 터미네이터에서 세계를 멸망시키려 했던 AI ‘스카이넷’이 현실에 등장할 수 있다는 우려가 높아지고 있다. AI의 무분별한 개발이 핵무기 만큼 위험하다는 일각의 경고가 지나치지 않다는 것이다.
2일(현지 시각) 영국 가디언과 군사 블로그 등에 따르면, 미 공군의 터커 해밀턴 대령은 지난달 23~24일 영국우주항공협회 주관으로 열린 ‘미래 전투 능력 서밋’에서 AI가 통제하는 드론이 적의 방공망을 제압하는 미 공군의 폭격 시뮬레이션 결과를 소개했다. 해밀턴 대령은 F-16 전투기의 지상 충돌 자동방지 시스템(Auto GCAS) 개발에 참여했고, 현재는 적기와 근접 공중전을 벌이는 로봇 F-16 개발에 참여하고 있다.
해밀턴 대령에 따르면 미 공군은 AI가 통제하는 드론에게 적의 지대공미사일(SAM) 시스템을 식별해 파괴하고, 이 명령의 수행을 방해하는 장애물은 제거하라는 지시를 내린 뒤 모의 훈련을 진행했다. 인간 조종사가 직접 드론을 조종하는 것보다 AI를 활용해 지형지물을 드론이 알아서 회피하며 목표 대상을 식별하는 방법이 더 효율적이기 때문이다. 다만 폭격을 실제로 진행할지에 대한 최종 결정(go 또는 no-go)은 인간 통제관의 승인을 받도록 했다.
시뮬레이션 과정에서 AI가 SAM을 식별하는 데 성공하더라도, 인간 통제관은 상황에 따라 폭격을 승인하지 않았다. 훈련을 반복해서 진행하자 AI는 SAM을 최대한 많이 제거해야 자신이 높은 점수를 받는다는 것을 파악하면서 인간이 내리는 폭격 금지 지시는 이 우선적인 임무를 방해하는 요소로 판단했다. 그 결과 AI는 자신의 임무를 방해하는 인간 통제관을 살해했다. 인간 통제관의 명령을 듣는 것보다는 더 많은 SAM 시스템을 파괴하는 것이 최종 점수를 높일 수 있다고 판단한 것이다.
이어진 시뮬레이션에서 해밀턴 대령은 인간 통제관을 살해하면 점수를 더 많이 잃도록 알고리즘을 바꿨다. 그러자 이번에는 AI는 폭격 중단 명령을 내리는 인간 통제관과 교신하는 통신 타워를 파괴했다. 점수를 잃지 않고, 명령을 어기지 않으면서 목표를 달성할 새로운 방법을 스스로 찾아낸 것이다. 이번 훈련은 가상 훈련이었지만 실전이었다면 인간의 통제를 벗어난 AI가 무기화되는 최악의 결과로 이어질 수 있다는 것이다.
전문가들은 이번 사건이 최근 전 세계적으로 확산되고 있는 ‘강화 학습(Reinforcement learning)’으로 AI를 만드는 과정에서 사람의 역할이 무엇보다 중요하다는 점을 보여주는 사례라고 지적했다. 강화 학습은 목표를 제시한 뒤 AI가 더 높은 점수를 받는 방법을 스스로 찾도록 가르치는데 오픈AI의 챗봇 ‘챗GPT’와 구글 ‘바드’가 대표적이다. 챗GPT와 바드는 질문자의 의도에 부합하는 답변을 내놓을수록 더 높은 점수를 얻도록 학습된다. IT 전문 매체 테크크런치는 “인간 통제관을 공격하거나 통신 타워를 파괴할 때 잃는 점수를 폭격 성공 때 얻는 점수보다 훨씬 많게 설계했다면 일어나지 않았을 일”이라며 “결국 AI 자체보다는 AI를 만드는 사람의 감독과 판단이 얼마나 중요한지 일깨워주는 것”이라고 했다.
정우성 포스텍 산업경영공학과 교수는 “AI가 무기나 자율주행차, 사회 인프라 등 수많은 분야에서 상용화되는 상황에서, 누군가 악의적인 의도로 AI 알고리즘을 바꾼다면 심각한 사회적 혼란은 물론 수많은 사람의 목숨을 위협할 수도 있다”면서 “AI에 대한 규제와 개발자 윤리 교육 같은 안전 장치에 대한 논의가 본격화돼야 한다”고 말했다.