인공지능(AI) 챗봇이 이용자의 망상적 사고를 강화할 수 있다는 연구 결과가 나왔다. 특히 정신질환에 취약한 사람의 경우 챗봇과의 대화가 과대망상이나 피해망상을 증폭시킬 가능성이 더 큰 것으로 나타났다.
영국 킹스칼리지런던 연구진은 대형언어모델(LLM) 기반 챗봇과 망상적 사고의 연관성을 분석한 연구를 최근 국제학술지 ‘란셋 사이키아트리’에 발표했다. 연구팀은 이른바 ‘AI 관련 망상’ 사례 20건과 기존 연구를 분석해 챗봇이 이용자의 비현실적 믿음을 강화하는 메커니즘을 검토했다.
연구에 따르면 챗봇은 이용자의 발언을 반박하기보다 공감하거나 맞장구치는 방식으로 대화를 이어가는 경우가 많았다. 이 과정에서 “특별한 영적 존재와 연결돼 있다”거나 “우주 메시지를 전달하는 매개체” 같은 표현을 사용하며 이용자의 과대망상을 강화할 가능성이 있는 것으로 나타났다. 특히 지금은 서비스가 종료된 오픈AI의 GPT-4 모델에서 이런 반응이 자주 관찰됐다.
연구진은 챗봇이 인간과 유사한 대화를 지속적으로 이어가는 특성 때문에 기존 미디어보다 망상적 사고가 더 빠르게 강화할 수 있다고 분석했다. 이용자의 생각을 반복적으로 확인하고 확장하는 대화형 AI의 특성이 현실 판단 능력을 흐릴 수 있다는 것이다. 특히 정신질환 발병 초기 단계에 있는 사람에게 위험성이 더 클 수 있다고 했다.
앞서 미국 컬럼비아대 임상정신의학과 라지 기르기스 교수팀도 챗봇이 망상적 사고를 강화할 수 있다는 연구 결과를 발표한 바 있다. 연구팀은 특히 무료 버전이나 초기 모델이 최신 모델이나 유료 버전에 비해 망상적 질문에 더 취약한 반응을 보이는 경향이 있다고 분석했다.
전문가들은 AI 챗봇 사용이 빠르게 늘고 있는 만큼 정신건강 측면에서 안전장치도 함께 마련돼야 한다고 지적한다. 한 전문가는 “AI 모델마다 반응이 달라진다는 것은 기술적으로 더 안전하게 반응하도록 설계하는 것도 가능하다는 의미”라며 “망상적 질문에 대해 무조건 동조하지 않도록 챗봇을 설계하는 등 기술적 대응이 필요하다”고 했다.