지난해 12월 소셜미디어 틱톡에는 미국의 유명 팝스타 빌리 아일리시의 딥페이크(deepfake) 음란물이 올라왔다. 해당 음란물은 누군가 악의적인 목적으로 AI 화가를 이용해 만든 게시물로 분석됐다. 사람보다 정교하게 이미지를 만드는 AI를 이용해, 기존 음란물에 빌리 아일리시의 얼굴을 합성한 것이다. 사태의 심각성을 인지한 틱톡 측에서 관련 사진을 모두 삭제했지만, 해당 딥페이크 음란물은 약 4일 동안 1100만여 명에게 노출된 상태였다.
AI 기술의 발전 속도가 빨라질수록, AI 악용 범죄가 급증할 것이라는 우려가 나오고 있다. 보이스피싱과 같이 상대를 속이는 범죄는 계속 존재해왔지만, AI가 영상·사진을 비롯해 목소리까지 실제와 거의 비슷하게 모사를 하면서 피해자를 속이기 더 쉬워진 것이다. 지난달 마이크로소프트(MS)는 AI ‘발-이(VALL-E)’에 대한 연구 결과를 공개했는데, 실제 인물의 3초 정도 음성만 확보하면 목소리를 거의 완벽하게 모사했다. 이미 국내·해외 스타트업 사이에선 1분 정도의 음성 파일만 있어도 목소리 모사가 가능한 서비스가 여럿 출시된 상황이다.
이런 기술은 곧장 보이스피싱에 악용될 수 있어, 최근 경찰과 국가정보원은 딥페이크 기술을 이용한 피싱 범죄 주의보를 내린 상황이다. 중국은 AI 딥페이크 관련 강력한 규제안을 지난달 발표했다. AI를 이용해 음성·영상을 생성하기 위해선 당사자 동의를 반드시 구해야 하고 원본 파일을 구분할 수 있는 별도의 표식을 남기도록 했다. AI를 이용한 마구잡이 파일 생성을 제한하겠다는 의도다.
프로그래머의 코딩을 돕는 AI도 해킹에 악용될 수 있다는 우려가 나온다. 최근 이스라엘 사이버 보안 회사 체크포인트에 따르면 이미 온라인에선 ‘챗GPT를 활용한 해킹 프로그램 개발’ 정보가 암암리에 공유되고 있는 상황이다. 체크포인트는 “초보 해커도 AI의 도움을 이용해 쉽게 악성 코드를 개발할 수 있게 됐다”며 “AI로 인해 해킹의 진입 장벽이 낮아진 상황으로, AI를 이용한 대규모 해킹에 대비해야 한다”고 했다.