정부가 제공하는 인공지능(AI) 학습용 데이터가 불완전해, 이 데이터를 학습시킨 공공기관 AI들의 성능도 실사용이 어려울 만큼 떨어지는 것으로 나타났다.
감사원이 5일 공개한 ‘인공지능 대비 실태’ 감사 보고서에 따르면, 2024년 공공기관이 쓰는 AI 625개 가운데 228개(36.5%)가 CCTV 카메라 영상을 분석해 이상 상황을 감지하는 ‘지능형 CCTV’ 관련 AI였다. 정부는 2016년부터 한국인터넷진흥원을 통해 이런 AI 개발을 위한 학습용 영상 데이터를 기업과 연구기관 등에 무료로 제공해왔다.
감사원이 이렇게 개발된 AI 중 서울 각 자치구가 설치한 지능형 CCTV 관련 AI의 성능을 검증해 보니, 탐지 정확도가 대부분 90%에 미달했다. 사람이 배회하거나 제한 구역에 침입하는 모습, 쓰러져 있는 모습, 싸우는 모습 등을 탐지해야 하는데 정확도가 12.4%에 불과한 경우도 있었다.
한국인터넷진흥원이 이상 상황을 담은 영상 데이터만 제공한 것이 문제였다. AI가 상황을 제대로 판단하려면 이상 상황으로 오인할 수도 있지만 문제가 없는 상황이 담긴 영상 데이터까지 학습시켜야 한다.
그 결과 AI의 인식 오류가 속출했다. 소화전을 사람이 배회하는 모습으로 인식하는가 하면, 사람이 난간에 기댄 채 몸을 내민 모습을 난간을 넘어 침입하고 있는 것으로 인식하기도 했다. 또 잡초를 뽑고 있는 사람, 벤치를 잡고 팔굽혀펴기를 하는 사람, 엎드려 있는 개 등을 모두 쓰러진 사람으로 봤다. 사람들이 팔짱을 끼거나 어깨동무를 하고 있으면 싸우고 있는 것으로 인식했다.
한국도로공사가 쓰는 AI ‘포트홀(도로 패임) 감지 시스템’의 경우, 2024년 찾아낸 517곳 가운데 76곳(14.7%)만 실제 보수가 필요한 곳이었다. 나머지 441곳(85.3%)은 패인 정도가 너무 적거나, 타이어 자국 등이 포트홀로 오인된 곳이었다. 도로교통연구원이 2017년 시스템을 개발하며 ‘패인 곳의 너비가 30㎝ 이상인 경우에만 포트홀로 보고 보수한다’는 내부 기준을 반영하지 않은 것이 문제였다. 이 기준을 반영해 시스템을 보완하자 탐지 정확도가 79.6%로 올라갔다.
한편 지인의 사진을 도용해 생성형 AI로 만든 ‘딥페이크’ 음란물은 방송미디어통신심의위원회의 부실한 업무 처리로 제대로 차단되지 않고 있었던 것으로 나타났다. 방미심위는 불법 딥페이크 음란물이 게시된 사이트 운영자에게 삭제 요청을 하거나, 해외 사이트인 경우 통신사들에 국내 접속 차단을 요구하고 있다.
그런데 감사원이 2024년 방미심위가 접속 차단을 요구한 페이지 2만3107개 가운데 1000개를 무작위로 뽑아 확인해 보니, 854개(85.4%)는 접속이 차단돼 있지 않았다. 173개는 페이지 주소가 각 통신사의 접속 차단 시스템에 아예 등록되지 않았다. 방미심위가 통신사들에 보낸 메일이 스팸 처리되거나, 메일 서버 오류로 주소가 전달되지 않은 것이다. 방미심위는 2022~2024년 사후 점검을 통해 8331개 페이지가 접속 차단되지 않고 있다는 것을 파악하고서도 장기간 방치하다가 뒤늦게 접속 차단을 다시 요청했다.