인공지능(AI) 챗봇이 소셜미디어에 떠도는 글 같은 ‘저품질 데이터’로 학습할수록 사고력이 떨어지고 틀린 정보를 내놓는 경우가 많아진다고 지난달 31일 국제 학술지 ‘네이처’가 보도했다.
미국 텍사스대학교 오스틴 캠퍼스 전기·컴퓨터공학과 장양 왕 교수팀이 발표한 연구다. 해당 논문은 지난 15일 논문 공유 사이트 ‘arXiv’에 올라왔다. 아직 공식 심사는 받지 않았지만, AI 학계에서 이 연구가 이미 큰 관심을 모으고 있다.
장양 왕 교수와 동료들은 대형 언어 모델(LLM)에 ‘질 낮은 데이터’가 어떤 영향을 주는지 실험해보기로 했다.
이때 이들이 말하는 ‘질 낮은 데이터’란 ①짧고 단편적인 글 ②자극적이거나 선정적인 내용이 담긴 글 ③소셜미디어에서 인기 끌지만 지식은 얕은 글 등을 가리킨다. 연구팀은 이 같은 데이터들을 모아 메타의 ‘라마3′, 중국 알리바바의 ‘큐원’ 시리즈 등의 LLM에 학습을 시켰다.
그 결과, 연구진은 AI가 질 낮은 데이터로 학습할 경우엔 추론 과정을 생략하고 대충 결론만 내리거나 엉뚱한 답을 내놓는 경우가 많아진다는 사실을 발견했다. 아예 사고 과정을 건너뛰고 답을 내놓다 보니, 잘못된 정보를 내놓는 경우도 많았고, 객관식 문제를 틀릴 때도 있었다.
연구팀은 이 같은 질 낮은 데이터에 ‘품질 좋은 데이터’를 섞어서 훈련시켜 봤다. 질 낮은 데이터 비율이 높을수록 LLM의 추론 능력은 더 나빠졌다고 한다. 연구팀은 이에 “‘쓰레기를 넣으면 쓰레기가 나온다(Garbage in, garbage out)’는 AI의 기본 원칙을 다시 한번 입증한 사례”라고 했다.
연구팀은 AI 모델들이 이런 질 낮은 데이터를 많이 학습할수록 부정적인 성향이 강해지고, 심지어 사이코패스적 경향까지 보였다면서, 이런 현상을 “AI 두뇌가 썩는 것(Brain rot)”이라고까지 표현했다.
이렇게 질 낮은 데이터로 인해 한번 AI 기능이 나빠지면 나중에 회복하기도 어려웠다고 한다. 연구팀은 “저품질 데이터로 기능이 떨어진 AI의 경우엔, 추후 지시문을 조정하거나 좋은 데이터를 더 많이 추가해 보기도 했지만 성능 회복이 부분적으로만 가능했다”고 했다. 한번 저품질 데이터의 악영향을 받으면 되돌리기도 어렵다는 것이다.