지난 2월부터 온라인 커뮤니티를 중심으로 꾸준히 확산 중인 딥페이크 영상이 있다. 숏폼 동영상 플랫폼 틱톡에 올라온 ‘차기 대통령 선거 여권 후보 최강 라인업’이라는 제목의 영상이다. 해당 영상에는 김문수·한동훈 국민의힘 대선 경선 후보를 비롯해 오세훈 서울시장, 이준석 개혁신당 의원 등 범여권 대선 주자 7명이 희화화된 모습으로 등장한다. 영상 하단에는 ‘상상력에 기반해 만든 AI 가상 영상입니다’라는 문구가 달려 있지만, 특정 진영 인물을 조롱하려는 의도는 분명해 보인다.
오는 6월 3일 대선을 앞두고 딥페이크와 AI를 활용한 허위 콘텐츠가 기승을 부리고 있다. 특정 정치인을 조롱하거나 왜곡된 이미지를 덧씌운 영상들이 온라인상에서 빠르게 번지고 있다. 특히 정치 이벤트와 맞물리면서 딥페이크의 위력은 더욱 커지고 있다. 정치적 의도를 담아 지지자나 유권자의 인식을 교란하는 ‘디지털 마타도어’로 진화하거나, 이미 특정 정치 성향을 가진 이들의 확증편향을 자극하기 때문이다.
확증편향은 자신이 믿고 있는 생각이나 신념을 뒷받침하는 정보만 받아들이고, 반대되는 정보는 무시하거나 배척하는 심리적 경향을 뜻한다. AI가 만든 영상이라 해도, 그 내용이 자신의 믿음과 부합하면 사실 여부를 따지지 않고 공유하거나 확신하는 문제가 발생할 수 있다.
장덕진 서울대 사회학과 교수는 딥페이크 콘텐츠가 유권자들의 직접적인 판단 왜곡뿐만 아니라 감정의 양극화를 더욱 심화시키는 데 큰 영향을 미친다고 분석했다. 장 교수는 “현재는 대다수 유권자가 딥페이크 콘텐츠를 진짜로 믿기보다는, 그것이 조작임을 알면서도 확산시키는 경우가 많다”며 “이는 상대 정치인에 대한 혐오와 조롱을 부추기고, 정치적 감정을 극단화하는 데 쓰인다”고 말했다.
이어 “과거에는 정보 부족이 문제였다면, 지금은 정보 과잉 속에서 어떤 정보에 주의를 기울이느냐가 더 중요하다. 딥페이크나 악의적 콘텐츠에 집중하게 되면 균형 잡힌 정보를 얻기 어렵고, 결국 비합리적인 판단을 하게 된다”며 “이는 개인에게도 손해지만, 그런 판단이 모여 결국 국가 전체에도 손해를 끼친다”고 지적했다.
특히 이번 대선은 윤석열 전 대통령이 파면된 지 두 달여 만에 치러지는 조기 대선이다. 선거 준비 기간이 짧은 궐위선거 특성상 후보들이 충분히 자신을 알릴 시간이 부족하고, 검증 기회도 줄어든다. 비방과 흑색선전의 우려는 물론, 유권자들이 허위 정보에 휘둘릴 위험도 더 커졌다. 딥페이크를 비롯한 AI 기반 허위 콘텐츠가 대선의 새로운 변수로 떠오른 셈이다.
딥페이크 공격에 노출된 한국 정치
“AI 윤석열입니다. 아쉽지만 프로그램의 한계입니다. AI 윤석열에 도리도리가 구현될 수 있도록 대한민국 AI산업 부흥을 함께 이뤄내겠습니다. 감사합니다.”
‘AI 윤석열은 왜 도리도리 안 하는 거죠’라는 질문을 받은 ‘위키윤’이 이렇게 답한다. 위키윤은 윤 전 대통령의 얼굴과 음성을 합성해 만들어낸 가상의 아바타다. 윤 전 대통령은 지난 20대 대선 당시 AI를 활용한 선거운동을 활발하게 펼쳤다. 위키윤에 맞서 이재명 더불어민주당 대선 후보도 ‘AI 재밍’ ‘이재명 챗봇(대화로봇)’ 등을 선보인 바 있다.
당시 AI 선거운동은 두 가지 목적이 담겼다. 기술혁신 이미지와 선거운동을 동시에 끌어안는 전략이었다. 후보가 직접 방문이 어려운 곳도 아바타가 대신 누볐다. 전달력은 컸고, 비용은 적게 들었다. 그러나 적지 않은 우려의 시선도 있었다. 기술은 빠르게 퍼졌지만, 진위 여부를 가려낼 장치는 뒤처져 있었다. AI가 민주주의를 교란시킬 수 있다는 우려가 나왔다.
결국 문제가 발생했다. 대선 직후 치러진 6·1 지방선거에서 박영일 국민의힘 경남 남해군수 후보 측이 ‘AI 윤석열’을 등장시킨 선거운동 홍보 영상을 배포하면서 논란이 불거졌다. 당시 더불어민주당은 “윤석열 대통령이 박 후보를 지지했다는 허위사실을 AI를 통해 공표한 것”이라며 박 후보를 공직선거법 위반 혐의로 고발했다. 반면 국민의힘은 “해당 영상은 누군가 대선 때 활용된 AI 영상을 편집한 것에 불과하다”고 반박했다.
2024년 1월부터 시행된 개정 공직선거법은 AI 활용 선거운동에 첫 제동을 걸었다. 누구든지 선거일 90일 이전부터 선거일까지 선거운동을 위해 만든 딥페이크 영상 등을 제작·편집·유포·상영 또는 게시하는 행위를 해서는 안 되고, 그 외 기간에도 선거운동을 위해 만든 딥페이크 영상 등을 제작 및 유포할 경우 AI 기술을 이용해 만든 가상의 정보라는 사실을 명확하게 인식할 수 있도록 표시하도록 했다. 위반 시에는 최대 징역 7년형을 선고한다. 현행법에서는 ‘인공지능 기술을 이용해 만든’ ‘실제와 구분하기 어려운’ 가상의 음향·이미지·영상 등을 딥페이크 콘텐츠로 규정한다.
그러나 법이 생겼다고 해서 문제가 사라지진 않았다. 중앙선관위에 따르면 지난해 4월 제22대 총선에서도 딥페이크 관련 콘텐츠 391건이 적발됐다. 더욱이 AI 기술이 급속도로 대중화되는 한편, 정치권의 갈등이 격화되면서 AI를 활용한 정치적 비방과 조작 사례는 오히려 늘고 있다.
지난 2월 광주에서 열린 ‘윤석열 탄핵 촉구 집회’에서는 윤 전 대통령 부부가 속옷과 수영복 차림으로 등장하는 가짜 영상이 상영돼 논란이 일었다. 영상은 딥페이크 기술로 제작된 것으로 확인됐고, 대통령실과 국민의힘 미디어국은 해당 영상 제작·유포자들에 대해 곧바로 고발에 나섰다.
해당 사건은 현재 광주경찰청 사이버수사대가 수사 중이며, 관련 유튜버들이 입건된 상태다. 국민의힘 미디어국 관계자는 “표현의 자유와 성범죄의 경계에 있는 사건으로, 딥페이크와 관련한 표현의 자유가 어디까지 허용될 수 있는지를 가늠할 시금석이 될 만한 사건으로 보고 있다”며 “윤 전 대통령 부부뿐 아니라 앞으로도 발생할 수 있는 유사한 딥페이크 피해를 방지하기 위해 당 차원의 대응에 최선을 다할 계획”이라고 밝혔다.
오는 6월 대선을 앞두고 여야 유력 대선 주자들을 겨냥한 딥페이크 영상도 잇따르고 있다. 앞서 언급한 여권 예비후보들뿐 아니라, 이재명 민주당 대표를 겨냥한 딥페이크 영상도 온라인상에서 문제로 떠올랐다. 이재명 민주당 대선 경선 캠프에서 법률지원단장을 맡은 박균택 민주당 의원은 “이재명 대표가 박찬대 원내대표에게 욕설을 하는 내용의 딥페이크 영상이 유포돼 해당 영상과 관련해 8명을 경찰에 고발한 상태”라고 밝혔다.
이어 “이 대표가 배우자에게 욕설을 퍼붓는 딥페이크 영상을 만들어 유포하려는 세력이 있다는 제보도 있어, 지난 4월 11일 박수현 공보단장이 기자회견을 열고 ‘엄정하게 법적대응 하겠다’는 입장을 밝혔다”고 덧붙였다. 해당 영상은 이후 실제 유포되지는 않았지만, 캠프 측은 추가 시도 가능성도 배제하지 않고 있다.
박 의원은 “선거 막바지에 가짜 영상이 기습적으로 유포되면 피해가 크고, 대응 시간도 충분하지 않다. 초기 단계에서 강력하게 대응하고 예방하는 것이 중요하다”고 강조했다. 또한 “딥페이크 콘텐츠는 익명성을 띠는 경우가 많아 제재에 어려움이 따르지만, 경찰 수사를 통해 실체가 밝혀질 것으로 기대한다”고 밝혔다.
조기대선, 한국은 준비됐나
이처럼 대선을 앞두고 정치권이 딥페이크 제작물 대응에 나서고 있지만, 이번 대선에서는 현행 법과 제도가 기술 확산 속도를 따라잡지 못해 규제 공백이 발생했다는 지적이 나온다. AI 생성물에 워터마크 삽입을 의무화한 ‘인공지능 기본법’은 오는 2026년 1월 시행을 앞두고 있으나 이번 조기대선에는 적용되지 않는다.
이에 중앙선거관리위원회는 지난 4월 9일부터 ‘허위사실 공표·비방 특별대응팀’을 구성해 딥페이크 영상 단속에 나섰다. 선관위는 “AI 기술로 만든 선거 관련 영상이 유권자로 하여금 실제 상황으로 오인할 가능성이 있다면 공직선거법 위반에 해당한다”며 “‘실제와 구분하기 어려운’이란 표현은 유권자가 일반적인 상식으로 진위를 판단할 수 있는지를 기준으로 삼는다”고 밝혔다.
선관위는 현재 한국전자기술연구원(KETI), 국립과학수사연구원(NFS) 등이 공동 개발한 AI 탐지 모델 ‘아이기스(Aegis)’를 포함한 프로그램 감별 시스템을 도입해 3단계 감별 체계를 가동 중이다. 시청각적 탐지(모니터링단 육안 확인)→프로그램 감별(AI 모델 분석)→전문가 감별(자문위원 판단)의 절차를 거쳐 딥페이크 여부를 판단하고 있다.
선관위 관계자는 “현재 시·도별로 30명씩 감별 인력이 운영 중이며, 허위사실·비방 검토 자문위원 5명, AI 감별 자문위원 7명 등 총 12명이 외부 전문가로 참여하고 있다”며 “포털사이트와 소셜미디어(SNS) 플랫폼에 대한 삭제 요청은 이번 대선 기간에만 현재까지 104건에 달한다”고 밝혔다.
선관위는 또 지난 4월 11일 KISO(한국인터넷자율정책기구)와 네이버, 카카오, 네이트 등 주요 포털사들과 함께 간담회를 열고 자율규제 강화와 협조를 요청했다. 김성덕 KISO 정책팀장은 “이날 간담회에서 선관위가 실제 딥페이크 영상 예시를 보여주며 위험성을 알리고 협조를 요청했다”며 “선거 기간 동안 KISO 회원사들은 선관위 판단에 따라 조치를 취한다. KISO 내부 심의위원회 절차를 거치는 것보다, 선관위 판단을 기준으로 하면 더 빠르게 대응할 수 있다”고 설명했다.
하지만 이 같은 노력에도 불구하고 현장에서는 여전히 혼란이 이어지고 있다. 대표 사례가 국민의힘 예비 후보였던 나경원 의원이 제작한 ‘콜드플레이 패러디 영상’ 논란이다. 나 의원은 지난 4월 18일 영국 밴드 콜드플레이의 내한공연 발언을 편집·왜곡한 홍보 영상을 게시해 논란을 일으켰다. 영상은 크리스 마틴이 드러머 윌 챔피언을 ‘다음 대통령’으로 추천하는 발언을 차용해, 마치 나 의원을 지지하는 듯한 내용으로 편집됐다. 나 의원은 드러머 얼굴에 자신의 얼굴을 합성하고, “나경원 4강 간다, 최종 후보다”라는 자막을 삽입했다.
논란이 확산되자 나 의원은 해당 영상을 잠시 비공개로 전환했다가, “콜드플레이의 의도와는 무관한 단순 홍보 영상”이라는 설명을 추가한 뒤 다시 공개했다. 그러나 해당 콘텐츠가 실제 딥페이크에 해당하는지를 두고 논란이 이어졌다. 이에 대해 앞선 선관위 관계자는 “해당 영상은 AI 합성물로 볼 수는 없고, 유권자가 사실로 오인할 정도는 아니라고 내부적으로 판단했다”며 “콘텐츠의 의도나 목적성 유무 등은 조사총괄과에서 따로 판단하게 된다”고 설명했다.
“칩페이크·표현의 자유 고려해야”
이 사건은 현재 선관위가 시행 중인 딥페이크 규제의 기준과 한계를 드러낸 단적인 사례로 평가된다. 전문가들은 선관위가 이 같은 ‘칩페이크(cheap-fake·짧은 시간과 적은 노력으로 위변조된 이미지나 영상)’나 표현의 자유 침해 등의 문제에 대해서도 신경을 기울여야 한다고 제언한다.
강정수 미디어스피어 AI 연구센터장은 “오픈 AI 서비스가 대중화되면서 누구나 손쉽게 AI 콘텐츠를 생성·공유할 수 있는, 쉽게 만들어낼 수 있는 시대가 됐다. 한국에서도 무료 AI 서비스 일일활성이용자(DAU)가 100만을 넘어섰다”며 “선관위는 현재 기술 환경에 맞는 가이드라인을 마련해야 한다. 악의적이지 않은 수준에서의 표현의 자유에 해당하는 경우와 명백한 허위정보를 구분하는 가이던스를 선관위가 명확히 제시해야 한다”고 강조했다.
강 센터장은 또 “기존 딥페이크 규제는 2년 전 총선 수준에 맞춰진 것으로, 지금과는 기술 환경이 완전히 다르다. 단순히 선거 90일 전부터 딥페이크를 금지하는 방식은 지금의 현실을 따라가지 못한다”며 “네 컷 만화 생성 후 허위 내용을 삽입하는 방식처럼 교묘한 악용 사례까지 포괄할 수 있는 새로운 기준이 필요하다”고 전했다.
최진응 국회 입법조사처 조사관은 현행 공직선거법이 딥페이크를 포함한 AI 기반 콘텐츠에 대해 지나치게 포괄적으로 금지하고 있다고 지적했다. 최 조사관은 “현재처럼 예외 규정 없이 딥페이크 이용을 전면 금지하면 표현의 자유 영역을 침해할 수 있고, 언론 보도나 미디어 활용도 어려워질 수 있다”며 “긍정적인 측면을 보면 AI 콘텐츠들이 ‘밈(Meme·유행 콘텐츠)’으로 활용돼 정치 참여의 일환이 될 수 있다”고 전했다. 이어 “딥페이크를 무조건 금지하는 것이 아니라, 표현의 자유를 보장하면서도 선거의 공정성을 유지할 수 있는 방향으로 법과 제도를 개선해야 한다”고 조언했다.
개개인이 AI 윤리를 지키기 위한 가이드라인 마련도 요구된다. 선관위 간담회에 참석한 AI 챗봇 기업 튜닙 관계자는 “내년 1월 우리나라가 세계 최초로 ‘AI기본법’을 시행하지만, 이번 조기대선은 과도기적 상황”이라며 “향후에는 윤리성과 도덕적 가이드라인을 갖춘 AI 윤리 탐지 모델의 중요성이 더욱 커질 것”이라고 말했다. 이어 “튜닙은 창업을 한 달 앞두고 발생한 ‘이루다 사태’를 계기로 AI 챗봇 개발에 있어 윤리적 설계의 필요성을 절감해 탐지 모델을 선제적으로 개발해 출시했다”고 덧붙였다.