AI가 1만5000개 국제 학술지를 검사해 1000개가 넘는 ‘의심스러운 학술지’를 찾아냈다고 29일 네이처지가 보도했다. 해당 학술지들이 동료들의 엄격한 검토나 품질 검사를 하지도 않고, 값비싼 수수료를 받고 논문을 출판했다는 것이다. 네이처지는 “유명 국제 학술지도 일부 포함돼 더욱 충격을 주고 있다”고 했다. 이 같은 분석은 지난 29일 ‘사이언스 어드밴시스’에 게재됐다.
네이처지에 따르면, 중국 닝보 디지털 트윈 연구소, 미국 시러큐스대 정보학 연구소, 미국 콜로라도대 볼더 캠퍼스 컴퓨터학과 소속 연구원들은 공동으로 국제 학술지 웹사이트에 실린 저널 1만5191개를 자체 개발한 AI 스크리닝 도구로 분석했다.
평가 결과, AI는 이 중 1000개가 넘는 저널의 출판 과정이 의심스럽다고 판단했다. ①논문을 접수한 시기부터 출판돼 나오기까지 기간이 너무 짧은 경우 ②자신이 출간했던 학술지 논문을 과도하게 인용한 경우 ③편집위원회가 저명한 대학·연구기관 소속이 아닌 경우 ④게재료·저작권 정보가 불투명한 경우 등이 여기에 해당했다. 겉보기에는 멀쩡해 보이지만 실제로는 의심스러운 저널들이 생각보다 훨씬 많다는 얘기다.
이런 저널들이 이미 수십만 편 논문을 출판했고, 수백 만 건씩 인용되고 있다고 네이처지는 지적했다. 심지어 유명 출판사 계열의 저널도 포함돼 있었다. 이 과정에 연구자 신뢰가 훼손될 수 있다는 우려도 커지고 있다고 했다.
연구팀은 다만 AI가 학술지 검증을 완벽하게 한 것은 아니었다고 밝혔다. 가령, AI는 비영어권 학술지나 개발도상국 기관의 편집자에 대해서 상대적으로 불리한 평가를 내리는 경향을 보였다고 한다. 이번에 AI가 출판 과정이 의심스럽다고 찾아낸 저널은 애초 1437개였다. 연구팀이 이를 실제 검증해보니 345개는 AI가 잘못 찾아낸 것이었다. 문제가 없는 저널이었거나, 현재 출간이 중단된 저널이었다는 것이다. 연구팀은 이에 “AI는 보조 도구로 활용하면 논문 검증에 상당히 효과적이지만, 최종 판단은 여전히 사람 전문가가 하는 것이 맞는다”고 밝혔다.