AI가 1만5000개 국제 학술지를 검사해 1000개가 넘는 ‘의심스러운 학술지’를 찾아냈다고 29일 네이처지가 보도했다. 해당 학술지들이 동료들의 엄격한 검토나 품질 검사를 하지도 않고, 값비싼 수수료를 받고 논문을 출판했다는 것이다. 네이처지는 “유명 국제 학술지도 일부 포함돼 더욱 충격을 주고 있다”고 했다. 이같은 분석은 지난 29일 ‘사이언스 어드밴시스’에 게재됐다.
◇AI가 찾아낸 1000여개의 수상한 저널
네이처지에 따르면, 중국 닝보 디지털 트윈 연구소, 미국 시러큐스 대학교 정보학 연구소, 미국 콜로라도 대학교 볼더 캠퍼스 컴퓨터학과 소속 연구원들은 공동으로 국제 학술지 웹사이트에 실린 저널 1만5191개를 자체 개발한 AI 스크리닝 도구로 분석했다.
평가 결과, AI는 이중 1000개가 넘는 저널의 출판 과정이 의심스럽다고 판단했다. ①논문을 접수한 시기부터 출판돼 나오기까지 기간이 너무 짧은 경우, ②자신이 출간했던 학술지 논문을 과도하게 인용한 경우(highly self-citation) ③편집위원회가 저명한 대학·연구기관 소속이 아닌 경우 ④게재료·저작권 정보가 불투명한 경우 등이 여기에 해당했다. 겉보기에는 멀쩡해 보이지만 실제로는 의심스러운 저널들이 생각보다 훨씬 많다는 얘기였다.
이런 저널들이 이미 수십만 편 논문을 출판했고, 수백 만 건씩 인용되고 있는 게 문제라고 네이처지는 지적했다. 심지어 유명 출판사 계열의 저널도 포함돼 있었다. 이 과정에 연구자 신뢰가 훼손될 수 있다는 우려도 커지고 있다고 했다.
◇최종 판정은 그래도 사람이 해야
연구팀은 다만 AI가 학술지 검증을 완벽하게 한 것은 아니었다고 밝혔다. 가령, AI는 비영어권 학술지나 개발도상국 기관의 편집자에 대해서 상대적으로 불리한 평가를 내리는 경향을 보였다고 한다. AI가 사람이 다 보지 못하는 엄청난 수의 저널을 빠르게 훑어줄 수 있어 검증 작업에 큰 도움이 되는 것은 많지만, 아직 정확도가 사람보다 낮고, 편향된 성향을 보여줄 가능성도 존재한다는 얘기다.
이번에 AI가 출판 과정이 의심스럽다고 찾아낸 저널은 애초 1437개였다. 연구팀이 이를 실제 검증해보니 345개는 AI가 잘못 찾아낸 것이었다. 문제가 없는 저널이었거나, 현재 출간이 중단된 저널이었다는 것이다. 연구팀은 이에 “AI는 보조 도구로 활용하면 논문 검증에 상당히 효과적이지만, 최종 판단은 여전히 사람 전문가가 하는 것이 맞는다”고 밝혔다.