'38.7 vs 27.9%'(MBC 본사·코리아리서치), '58.3 vs 28.8%'(MBC 경남·리얼미터).
같은 날(5월 3일) 발표된 경남지사 더불어민주당 김경수 후보와 자유한국당 김태호 후보 여론조사 결과다. 김경수 후보 지지율이 조사 회사에 따라 20%포인트 정도 차이가 난 것이다. 전화면접원(코리아리서치)과 ARS(리얼미터)로 방식이 다른 두 조사를 놓고 정치권에선 "어느 쪽이 진짜 표심이냐"란 논란이 일었다. 최근 여론조사에서 대통령과 여당 지지율이 80%, 50%를 넘는 데 대해서도 "믿을 수 없다"는 사람이 많다. 여론조사에 대한 불신(不信)이 커지는 이유와 궁금증을 심층면접을 통해 풀어봤다.
① 왜 정확도 떨어지나
한규섭 교수는 "민심을 정확히 못 읽는 여론조사가 많다"며 "1년 전 대선에서 문재인 대통령을 지지했던 사람들이 요즘 여론조사에 실제보다 20~30%포인트 더 많이 참여하는 '응답자 정치 성향의 비대칭'이 주요인"이라고 했다. 여기에다 "야권 지지층이 여권 강세 분위기에서 자신들이 소수란 위축감으로 여론조사 참여에 부담을 느끼는 것도 요인"이란 분석이다. 전문가들은 대안으로 "조사 회사들이 여론조사 참여자 '편향' 관련 자료를 투명하게 공개해 유권자들이 결과 해석에 참고할 수 있도록 해야 한다"고 했다. 오래전부터 전화면접원 조사와 ARS 조사가 서로 크게 다른 결과를 내고 있는데, 최적의 표준화 방식 개발 같은 해결책을 못 내놓는 것도 문제로 꼽힌다.
② 응답률 너무 낮은데 믿을 수 있나
올 4월 이후 중앙선거여론조사심의위원회(여심위)에 등록된 선거 여론조사 243개 중 응답률 5% 미만인 조사가 36% 정도였다. 총 응답자 1000명인 조사에서 '응답률 5%'는 전화가 연결된 2만명 중 1만9000명이 거절했거나 도중에 끊었고 1000명만 끝까지 대답했다는 의미다. 응답률 하락은 휴대전화 확산과 정치 불신 등에 따른 현상이다. 박민규 교수는 "조사 회사들은 응답률 관련 자료를 세세하게 밝히며 엄격한 검증을 받아 부실 조사 논란을 잠재워야 한다"고 했다.
문제는 응답률이 낮은 최근 대다수 조사에서 응답자들이 상대적으로 여권에 호의적 성향을 갖고 있다는 점이다. 이런 편향성을 줄이기 위해 조사 회사들이 응답률 향상 노력을 기울일 필요가 있다. 박원호 교수는 그러나 "많은 요소가 여론조사 품질을 결정하므로 응답률만 높인다고 품질이 좋아지는 게 아니다"고 했다.
③ 댓글 조작, 조사 결과에도 영향 미치나
한규섭 교수는 "충분히 가능성 있다"고 했다. 댓글 조작으로 특정 후보가 유리하게 비치는 온라인 여론이 확산될 경우 반대쪽 후보를 지지하는 유권자들이 고립에 대한 경계심으로 여론조사에서 침묵할 수 있다는 것이다. 한 교수는 "댓글이나 소셜 미디어에 게재된 글들이 대표성이 없음에도 불구하고 그 순간 다수 여론으로 인터넷 이용자들에게 인식된다는 연구 결과가 많다"며 "온라인 여론이 강자에게 지지가 쏠리는 '밴드왜건 효과'를 촉발해 실제 여론에도 영향을 줄 수 있다"고 말했다.
④ 주변 의견과 여론조사 결과가 너무 다른데…
야권 지지층 중엔 "내 주변엔 대통령이나 여당 지지자가 별로 없는데 지지율이 너무 높은 것 아니냐"란 불만이 많다. 이양훈 이사는 "사람들은 주로 연령과 지역, 소득수준 등이 비슷한 그룹과 어울린다"며 "연령과 지역에 따라 정치 성향 차이가 크기 때문에 주변 사람들 얘기로만 전체 민심을 파악하긴 어렵다"고 했다. 이명박·박근혜 정부 지지율이 높았을 때는 지금과 반대로 당시 야권 성향이 강했던 20~30대에서 '여론조사가 내 주변 의견과 다르다'는 불만이 많았다.
⑤ 노년층이 나이 밝히면 조사를 중단하는데…
이는 국내 선거 여론조사에서 주로 사용하는 할당표집, 즉 성(性)·연령·지역별 인구 비례에 맞게 표본을 할당해 조사하는 방식과 연관이 크다. 일례로 전체 표본 중에서 남자·60세 이상·서울 거주자를 30명으로 할당했을 경우 이를 다 채우면 서울에 거주하는 60세 이상 남자는 더 이상 조사하지 않는다. 김지연 대표는 "노년층은 외부 활동이 많고 귀가 시간이 늦은 청·장년층에 비해 할당이 빨리 채워진다"며 "조사 도입부에 나이를 물었을 때 이미 할당이 다 채워진 연령대로 밝혀지면 조사를 중단할 수밖에 없다"고 했다.
⑥ 여론조사 조작 가능성 있나
김석호 교수는 "최근 여론조사와 관련된 조작의 증거는 없다. 문제는 질(質) 낮은 조사에 의한 자료 수집에 있다"고 했다. 그는 "전문성 없는 조사회사 난립과 질 낮은 조사 결과의 양산을 막기 위해 여심위가 존재하지만 그 실효성에 의문이 제기되고 있다"고 했다. 김지연 대표는 "모든 조사 과정이 CATI(컴퓨터를 활용한 조사) 시스템에 기록으로 남는다"며 "여론조사 대상자의 전화번호는 무작위로 생성되거나 선관위를 통해 통신사로부터 제공받은 가상번호를 사용하기 때문에 특정 번호만 골라 조사할 수 없다"고 했다.
⑦ 여론조사 정확성 높이는 방법 뭔가
박원호 교수는 "값싸게 빨리 실시되는 국내 여론조사 현실이 걸림돌"이라며 "여론조사가 공공재라는 인식 아래 정치권에서 여론조사를 규제 대상으로만 볼 게 아니라 지원도 해야 한다"고 했다. 김석호 교수는 "학계·언론·조사업계·정치권이 함께 여론조사 품질을 개선하기 위한 협의체를 구성해 관련 논의를 본격화해야 한다"고 했다.
[여론조사 자꾸 빗나가자 … 선진국선 "오류 원인을 찾아라"]
2016 美 대선, 英 브렉시트 여론조사와 다른 결과에 큰 충격
여론조사에 대한 신뢰성 논란은 외국도 마찬가지다. 2016년 미국 대선과 영국 브렉시트(EU 탈퇴) 투표에서 여론조사가 현실과 크게 어긋났었다. 휴대전화 확산으로 표본 추출 방식이 복잡해지고 응답률이 하락한 영향이 크다.
1997년 36%였던 미국 내 여론조사 평균 응답률은 2012년 이후 9%로 하락했다('퓨리서치센터' 자료). 하지만 미국의 평균 응답률은 여전히 한국보다는 높은 수준이다. 더욱이 미국의 응답률 계산 방식은 훨씬 까다롭다. 우리나라의 응답률은 전화를 받은 사람 중 끝까지 응답을 해준 사람들의 비율인데, 엄밀히 말하면 협조율이다.
미국은 전화를 했는데 아예 안 받은 접촉 실패 수까지 분모에 포함해 계산한다. 예를 들어 한국사회여론연구소가 올해 4월 30일 발표한 남북 정상회담 평가조사의 응답률은 12.2%였지만, 미국 방식으로 계산하면 2.5%로 떨어진다. 박민규 고려대 교수는 "우리나라도 엄격한 응답률 기준을 적용해서 품질을 제대로 판단할 수 있게 해야 한다"고 했다.
미국여론조사협회(AAPOR)는 2016년 대선 직후 태스크포스를 구성해 5개월 후 "표본에 트럼프가 취약한 대졸자 비중이 너무 컸다" 같은 자성(自省)적 내용을 담은 보고서를 내놓았다.
김석호 서울대 교수는 "우리나라도 여론조사 오류의 원인 규명과 신뢰성 향상을 위해 업계와 학계가 공동 노력하는 선진국 사례를 배워야 한다"고 했다.
〈도움 주신 분들〉
김석호 서울대 사회학과 교수, 김지연 케이스탯 대표, 박민규 고려대 통계학과 교수, 박원호 서울대 정치외교학부 교수, 이양훈 칸타퍼블릭 이사, 한규섭 서울대 언론정보학과 교수(※가나다순)
< ※지방선거 경남지사 여론조사 : MBC·코리아리서치(4/30~5/1), MBC경남·리얼미터(5/1~5/2) 중앙선거여론조사심의위원회 홈페이지 참조>
