미국 의사면허시험, 로스쿨(법학전문대학원)· MBA(경영전문대학원) 시험까지 통과한 챗봇 AI(인공지능) ‘챗GPT’가 한국 수능을 보면 어떤 결과가 나올까.
AI 기술검증 스타트업 애나는 연세대 김시호 교수 연구팀과 ‘2023학년도 대학수학능력수학시험’을 챗GPT에게 풀게 한 결과, 영어는 2등급이었지만 수학은 낙제 수준이 나왔다고 6일 밝혔다.
이번 실험은 그림이 포함돼 있어 문항 입력이 불가능한 경우를 제외하고, 수능 문제 전체를 질문으로 입력하고 답을 확인하는 방식으로 진행됐다. 예컨대 지문을 입력하고 ‘이 글의 주제로 가장 적절한 것은?’이란 질문과 함께 1~5번 보기를 같이 넣어주면 챗GPT가 이 중 답을 골라내는 식이다.
애나 측은 “영어 시험에선 듣기 평가 16문제 중 14문제, 독해 평가 17문제 중 13문제 정답을 맞혔다”며 “문단에 함축된 의미 추론, 요지 파악, 글의 목적과 주제 파악 등 난이도가 높은 문제에서 모두 정답을 맞혔다”고 했다. “합산 점수 82점을 취득해, 수능 2등급 수준의 실력”이라는 설명이다.
다만 수학 시험에서는 상반된 결과가 나왔다. 애나 이상호 CTO(최고기술책임자)는 “공통 과목 분야에서 20문제 중 6문제만 정답을 맞혔다”며 “특히 확률과 통계, 미적분학, 기하 분야 문제는 전부 오답을 낼 만큼 챗GPT의 수학 능력은 아직 현저히 부족한 것으로 보인다”고 했다.
6일 본지가 챗GPT에 수능 영어 듣기 평가 문제를 넣어보자 실제로 정답을 척척 맞혔다. 국어 영역에서 긴 지문을 제시하고 ‘위 내용과 일치하지 않는 것은?’ 문제를 풀게 해보니 “음…뭔가 잘못된 것 같습니다. 나중에 다시 해주세요”란 에러 메시지를 내놨다. 아직 한글 데이터 학습이 부족한 탓에 제대로 답을 도출해내지 못하는 것으로 보인다.
이상호 CTO는 “챗GPT는 문장 요약, 추론 등에 매우 뛰어난 능력을 보이고 있어 이를 활용한 응용 서비스가 무궁무진할 것”이라며 “산업계에서도 인재 채용에 대한 요구 사항이 바뀌게 될 ”이라고 했다.