정부가 제공하는 인공지능(AI) 학습용 데이터가 불완전해, 공공기관들이 이 데이터를 학습시켜 사용하는 AI 일부의 성능이 실사용이 어려울 정도로 낮은 것으로 나타났다.
◇팔굽혀펴기 하고 있는데 ‘사람이 쓰러져 있다’… 오작동 AI
감사원이 5일 공개한 ‘인공지능 대비 실태(신뢰성 확보 분야)’ 감사 보고서에 따르면, 공공기관들은 2024년 말 기준으로 AI 625개를 쓰고 있다. 이 가운데 228개(36.5%)가 CCTV 카메라로 찍은 영상을 자동으로 분석해 이상 상황을 감지하는 ‘지능형 CCTV’ 관련 AI다.
앞서 정부는 이 지능형 CCTV 관련 AI가 개발될 수 있도록, 2016년부터 한국인터넷진흥원을 통해 AI 학습용 영상 데이터를 기업과 연구기관 등에 무료로 제공해왔다. 기업과 연구기관이 개발한 AI의 성능 인증에도 이 영상 데이터를 써 왔다.
정부는 2022년 10·29 이태원 참사를 계기로 지능형 CCTV 보급에 박차를 가했고, 2024년 말까지 전국 지방자치단체 등이 설치한 CCTV 카메라 65만423대 가운데 24만4065대(37.5%)가 지능형 CCTV가 됐다.
감사원이 이 가운데 서울 각 자치구가 설치한 지능형 CCTV의 성능을 검증해 보니, 대부분의 탐지 정확도가 90%에 미달했다. 한국인터넷진흥원의 인증을 받지 못한 제품은 사람이 배회하는 모습을 잡아내는 정확도는 평균 93.3%에 달했지만, 사람이 제한 구역에 침입하는 모습, 사람이 쓰러져 있는 모습, 사람들끼리 싸우는 모습의 탐지 정확도는 각각 평균 58.0%, 48.0%, 12.4%에 불과했다. 인증을 받은 제품의 성능은 더 낮아, 인증 제품의 배회 탐지 정확도는 82.6%였고 침입과 쓰러짐, 싸움의 탐지 정확도는 각각 52.3%, 28.0%, 12.4%였다.
감사원이 그 이유를 살펴봤더니, 한국인터넷진흥원이 제공하는 AI 학습용 영상 데이터 자체에 문제가 있었다. AI가 잡아내야 하는 이상 상황이 담겨 있는 영상 데이터뿐 아니라, 이상 상황으로 잘못 볼 수 있지만 실제로는 문제없는 상황이 담긴 영상 데이터까지 학습시켜야 AI가 둘을 제대로 구분하는데, 이상 상황이 담겨 있는 영상 데이터만 제공해 학습시키도록 한 것이다. 이는 국제표준화기구(ISO)와 국제전기기술위원회(IEC)가 제정한 AI 기계 학습 평가 기준에도 어긋나는 것이었다.
그 결과, 한국인터넷진흥원이 제공하는 영상 데이터로 AI를 학습시킨 서울시 각 자치구의 지능형 CCTV들의 ‘오진’이 속출했다. 감사원은 AI들이 가만히 있는 소화전이나 자전거, 오토바이를 사람이 배회하는 모습으로 인식하는가 하면, 연못이나 풀숲에 동물이 출몰하자 이를 사람이 제한 구역에 침입한 상황으로 인식했다고 지적했다. AI가 사람이 난간에 기대어 몸을 앞으로 내밀고 있는 모습을 사람이 난간을 넘어 침입하고 있는 것으로 인식하기도 했다.
사람이 쓰러져 있는 모습을 탐지하게 했을 때는 혼동이 더욱 심해져, 평행봉 운동을 하고 있는 사람, 바닥에 앉아 잡초를 뽑고 있는 사람, 벤치를 잡고 팔굽혀펴기를 하고 있는 사람을 쓰러진 사람으로 봤다. 엎드려 있는 개를 쓰러진 사람으로 보기도 했고, 시소, 흔들의자, 러버콘(안전 고깔), 가방도 쓰러진 사람으로 봤다. 사람들이 팔짱을 끼고 있거나 어깨동무를 하고 있으면 싸우고 있는 것으로 인식했고, 공원에서 혼자 팔을 돌리며 어깨 운동을 하고 있는 사람도 싸움질을 하고 있는 것으로 판단했다.
감사원은 한국인터넷진흥원이 ‘이상 없는 상황’에 대한 학습용 영상 데이터를 추가로 구축해 기업과 연구기관에 제공하도록 하라고 상급 기관인 과학기술정보통신부에 통보했다.
◇기준 없이 만든 ‘포트홀 탐지 시스템’
한국도로공사와 일부 지자체가 사용 중인 AI ‘포트홀(도로 패임) 감지 시스템’에서도 문제점이 발견됐다. 도로공사 도로교통연구원은 2017년 자동차에 카메라를 탑재해 고속도로를 달리면서 노면을 찍은 영상을 분석해 패인 곳을 자동으로 식별해내는 시스템을 개발했는데, 이 시스템으로 2024년 찾아낸 517곳 가운데 76곳(14.7%)만 실제 보수가 필요한 곳이었다. 나머지 441곳(85.3%)는 패인 정도가 너무 적어 보수가 필요하지 않거나, 시스템이 타이어 자국 등을 포트홀로 잘못 인식한 곳이었다.
감사원이 확인해 보니, 도로교통연구원이 시스템 개발 단계에서 ‘패인 곳의 너비가 30㎝ 이상인 경우에만 포트홀로 보고 보수한다’는 내부 기준을 시스템에 반영시키지 않았기 때문이었다. 도로공사가 이 기준을 반영하도록 보완한 뒤에야 시스템의 탐지 정확도가 79.6%로 올라갔고, 그제서야 시스템이 실제로 쓰이기 시작했다. 시스템을 개발한 지 7년이 지난 때였다.
경기 화성시는 도로공사와 별도로 21억8800만원을 들여 자체 시스템을 구축했는데, 역시 어느 정도로 파여야 포트홀인지에 대한 기준을 두지 않은 채로 시스템을 개발했다. 그래서 시스템이 아주 사소한 도로 파손까지 모두 포트홀로 탐지했고, 그러면서도 해당 포트홀이 어느 동에 있는지까지만 알려주고 정확히 어디에 있는지는 알려주지 않았다. 그 결과 실무 부서에서는 시스템을 거의 쓰지 못했다. 이런 문제점들은 화성시가 3억5300만원을 추가로 들여 시스템을 보완하고서야 해결됐다.
감사원은 이런 예산 낭비를 막기 위해, 행정안전부에 공공기관이 AI 제품을 구매하거나 개발할 때 유의해야 하는 점을 담은 가이드라인을 만들어 배포하라고 통보했다.
◇딥페이크 음란물 접속 차단? 업무 소홀로 실제 차단 안 돼
한편 지인의 사진을 도용해 생성형 AI로 만든 ‘딥페이크’ 음란물은 방송미디어통신심의위원회의 부실한 업무 처리로 제대로 차단되지 않고 있었던 것으로 나타났다.
정부는 불법 딥페이크 음란물을 적발하면 가해자를 처벌하면서 동시에 해당 음란물에 대한 온라인 접속 차단 조치를 하고 있다. 방미심위는 불법 딥페이크 음란물이 올라와 있는 사이트 운영자에게 삭제 요청을 하고, 해당 사이트가 해외 사이트인 경우에는 통신사들에 해당 사이트 페이지에 대한 국내 접속을 차단시킬 것을 요구하고 있다.
그런데 감사원이 2024년 방미심위가 접속 차단을 요구한 페이지 2만3107개 가운데 1000개를 무작위로 뽑아 실제로 접속이 차단됐는지 확인해 보니, 854개(85.4%)가 차단돼 있지 않았다.
이 가운데 173개(20.3%)는 페이지 주소가 각 통신사의 접속 차단 시스템에 아예 등록돼 있지 않았다. 방미심위가 통신사들에 차단해야 할 페이지 주소를 메일로 보냈는데, 이 메일이 스팸 처리돼 있어 통신사들이 읽지 않는 경우가 많았다. 메일 서버 오류로 주소가 전달되지 않은 경우도 있었다. 또 한 통신사는 페이지 주소가 255자 이하인 경우만 인식하도록 돼 있어서, 이보다 긴 페이지 주소는 차단하지 않고 있었다. 방미심위는 2022년부터 2024년까지 사후 점검을 통해 8331개 페이지가 접속 차단되지 않고 있다는 것을 파악하고서도 장기간 방치했고, 뒤늦게 접속 차단을 다시 요청했다.
감사원이 찾은 접속 미차단 854개 페이지 가운데 681개(79.7%)는 직접적인 접속은 차단됐지만, 임시 저장 서버에 접속하는 방식으로 사실상 그 내용에 접근할 수 있는 것으로 파악됐다.
감사원은 방미심위에 접속 차단 목록을 통신사에 보내는 절차를 개선하고, 사후 점검을 강화하라고 통보했다. 상급 기관인 방송미디어통신위원회에는 접속 차단 페이지에 대한 우회 접속 문제를 해결하기 위한 기술을 개발하고, 해외 임시 저장 서버 사업자와의 공조를 강화하라고 통보했다.