커다란 모니터 속에서 일론 머스크 테슬라 최고경영자(CEO)가 한 투자 플랫폼을 소개하는 영상이 재생되자, 탐지 프로그램이 3분 만에 이 영상을 ‘가짜’라고 판정했다. 모니터에는 머스크 CEO의 입 주변이 빨갛게 물들었고, 부자연스러운 입꼬리 움직임을 봤을 때 생성형 인공지능(AI)으로 만들어졌을 가능성이 크다는 분석이 나왔다. 이 영상은 머스크 CEO의 얼굴을 도용해 투자자를 회유하기 위한 딥페이크 영상이었던 것이다.
글로벌 사이버 보안 업체 ‘센시티’의 프란체스코 카발리 공동 대표는 지난달 27일 서울 강남구의 한 사무실에서 WEEKLY BIZ와 만나 자사 기술을 활용해 딥페이크를 탐지하는 모습을 선보였다. 전 세계적으로 딥페이크 범죄가 급증하면서 이와 같은 딥페이크 탐지 기술에 대한 수요도 가파르게 늘고 있다. 시장조사기관 킹스리서치에 따르면 딥페이크 AI 탐지 시장 규모는 2023년 5억6340만달러(약 8300억원) 규모에서 2031년 95억6120만달러로 17배 불어날 전망이다. 세계 최초로 2018년 이미지 보안 서비스를 시작한 센시티는 현재 인도, 대만 등 세계 곳곳의 수사기관에 딥페이크 탐지 설루션을 제공하고 있다. WEEKLY BIZ는 센시티의 카발리 대표와 아트 바실리크 시니어 엔지니어를 직접 만나 한국에 드리운 ‘딥페이크의 그림자’에 대해 들어봤다.
◇AI가 허문 진짜와 가짜의 경계
-한국을 찾은 이유는.
“한국의 주요 수사기관들에서 센시티의 딥페이크 탐지 설루션을 도입하고 싶다는 연락이 왔다. 최근 한국에서 보이스피싱, 정치인을 모함하는 가짜 콘텐츠, 여성·아동의 얼굴을 합성한 딥페이크 영상이 무분별하게 늘어나면서 당국이 필요성을 실감한 것이다. 계약 관계상 구체적인 기관명을 밝힐 순 없지만 한국의 핵심 수사기관들은 모두 우리 서비스를 사용한다고 보면 된다.”
-AI의 보편화는 딥페이크에 어떤 영향을 미쳤나.
“가장 큰 변화는 전문가가 아니어도, 코딩 기술이나 편집 실력 없이도 AI를 통해 완벽에 가까운 딥페이크 창작물을 만들 수 있게 된 것이다. AI 프롬프트에 몇 문장을 입력하면 실제 촬영한 것과 다를 바 없는 영상물을 몇 초 만에 만들어주고, 클릭 몇 번으로 특정인의 목소리와 똑 닮은 음성 녹음을 내놓는다. 콘텐츠의 진실성이 근본적으로 훼손되기 시작한 셈이다.”
-어떤 딥페이크 범죄가 가장 많나.
“금융 사기, 성범죄, 정치적 여론 선동 등 사실상 모든 부분에서 동시다발적으로 증가하고 있다. 최근 딥페이크 성범죄는 주로 소셜미디어에 떠다니는 여성의 얼굴이나 전신 사진을 내려받은 뒤, AI 도구를 활용해 나체로 합성하는 형태가 많다. 문제는 팬데믹 이후 현실 만남보다 디지털을 선호하기 시작한 10대를 중심으로 이런 디지털 성범죄가 급증했다는 점이다. 정치 영역에서는 특정 정치인의 이미지를 실추시킬 목적으로 가짜 뉴스나 조작된 콘텐츠를 뿌리는 경우가 많다. 지정학적 갈등이 고조되면서 국가 차원의 여론전으로 번지는 경우도 늘고 있다.”
◇여론전 무기로 떠오른 딥페이크
-딥페이크는 어떻게 여론전에 악용되나.
“오늘날 유럽을 보면 알 수 있다. 러시아와 실제 전쟁을 치르고 있는 나라는 우크라이나지만, 다른 유럽 주요국도 인터넷에서 러시아와 ‘보이지 않는 전쟁’을 하고 있다. 가령 러시아는 우크라이나에 무기 지원을 지지하는 유럽의 정치인들을 겨냥한 가짜 콘텐츠를 만들어 배포한다. 온라인 커뮤니티와 소셜미디어 등에 해당 정치인의 사생활이나 과거 행적을 왜곡해 비난하는 콘텐츠를 올리는 식이다.”
-다른 지역에서도 유사한 수법이 있나.
“인도, 대만, 싱가포르, 필리핀 등 세계 곳곳에서 나타난다. 지정학적 갈등이 심한 지역일수록 딥페이크 정치 공작이 많다. 적대국들은 합성 사진이나 10초짜리 영상 등 다양한 콘텐츠를 올리고, 사용자들이 어떤 유형의 콘텐츠에 ‘좋아요’를 누르는지, 조회 수는 어땠는지 등을 분석해 점점 더 정교하게 여론을 선동한다. 대놓고 ‘우크라이나의 젤렌스키 대통령은 악인이다’와 같은 뻔한 선동이 아니다. ‘젤렌스키는 이탈리아에 빌라가 여섯 채다’, ‘젤렌스키는 스위스에 은행 계좌가 네 개나 있다’와 같은 내용을 주로 올리다가, 서서히 정치적 비방 메시지를 추가하는 식이다.”
-한국의 상황은 어떤가.
“한국은 디지털에 친숙한 인구가 많고, 북한과 대치하고 있어 구조적으로 딥페이크 여론전이 심할 수밖에 없다. 더구나 한국 사회는 정치적 갈등이 극심해 딥페이크를 악용한 여론 조작 위험이 크다. 개인적으로 북한은 물론 중국이 배후에 있는 선동 콘텐츠가 많을 것이라 확신한다. 이들은 유용한 제품 정보 또는 사람들이 좋아하는 강아지 사진 등을 올려서 청중을 모으고, 정치적인 콘텐츠를 하나둘씩 올리면서 대중에게 생각을 주입하거나 편견을 심고 있을 것이다.”
-딥페이크 피해는 갈수록 늘까.
“불가피하다고 본다. 특히 조만간 등장할 ‘멀티모달 AI’가 큰 리스크로 작용할 것이다. 가짜 이미지를 만들고, 실제 사람인지 구분이 어려운 목소리로 대화가 가능하고, 각종 제품 주문도 알아서 넣어주는 멀티모달 AI로 사람들의 눈과 귀를 속이는 게 더 쉬워지기 때문이다. 오늘날 범죄에 동원되는 방글라데시나 인도에 있는 콜센터 직원들도 휴식이 필요하지만 AI는 7일 24시간 내내 당신의 돈을 갈취할 시도를 할 것이다.”