내년 4월 브라질 리우데자네이루에서 열리는 세계 3대 AI 학회인 ICLR(국제표현학습학회)에 제출된 논문 심사평 중 21%가 AI로 작성됐다는 사실이 알려지면서 논란이 일고 있다. AI 관련 논문이 폭증하면서 심사평을 쓰는 학자들의 업무 부담이 커지자 AI에 심사평을 맡겼다는 것이다. ICLR 학회 측은 자체 조사에 착수했다.
논란은 미국 펜실베이니아 피츠버그 카네기멜런대 ‘언어기술연구소’의 그레이엄 노이빅 교수가 X(옛 트위터)에 글을 올리면서 시작됐다. 그는 “내 논문 심사평을 아무래도 AI가 쓴 것 같다”면서 “ICLR에 제출된 논문 전체를 AI 탐지기로 분석해 주는 사람이 있으면 보상금을 주겠다”고 썼다.
노이빅 교수 말에 AI 텍스트 탐지 업체 ‘팬그램랩스(Pangram Labs)’가 나섰다. 팬그램랩스는 ICLR에 제출된 논문 1만9490편과 심사평 7만5800개를 모두 분석, 결과를 지난 18일 자사 블로그에 공개했다. 논문 심사평의 21%가 AI로만 작성됐다는 것이다. 심사평의 61%는 사람이 쓰긴 했지만 AI의 도움을 받은 흔적이 있었다. 9%가량은 절반 정도를 AI를 활용해 썼다. 팬그램랩스 측은 “AI를 돌려 쓴 리뷰들은 대개 점수가 높은 편이었는데, 이는 AI가 이용자에게 아첨하는 경향이 있기 때문으로 보인다”고 했다.
국제 학술지 네이처는 26일 이 사건을 보도하면서 최근 5년 사이 AI 분야 논문 수가 폭발적으로 늘어나고 학자들의 심사평 부담도 덩달아 커지면서 이 같은 일이 터졌다고 분석했다. 실제로 ICLR에 제출되는 논문 수는 2024년 7000편 정도에서, 2025년 1만1000편, 내년 개최되는 ICLR엔 1만9000여 편까지 늘었다. 논문은 저자들이 ICLR에 ‘오픈 리뷰’ 플랫폼을 통해 제출하면, ICLR은 자동으로 논문 심사평을 써줄 전문가를 배정한다. ICLR이 관리하는 논문 심사평 저자는 대학교수부터 박사후연구원, 빅테크 연구원들까지 수천 명 정도다. ICLR 위원회는 입장문을 내고 “해당 문제를 진지하게 받아들이고 자체 조사를 진행하고 있다”면서 “앞으로 모든 논문 제출자와 심사평 제출자는 AI를 사용했을 경우 이를 명시적으로 공개해야 한다. 어길 시엔 윤리 위반으로 간주한다”고 했다.