한국의 여론조사는 왜 신뢰하기 어려울까? 응답률의 문제.

요즘 여론조사에 대한 신뢰가 완전히 바닥으로 떨어졌죠.

그러다보니 매주 발표되는 국정 지지율이 아직도 30% 정도를 유지하는 것을 보면서 믿을 수 없다는 사람도 많고요.

내 주변에는 전혀 안 그러던데, 이거 누구 상대로 조사한거냐, 뭐 이런식으로요.

물론 오늘 발표된 조사에서는 25%로 최저점을 찍었습니다만, 이것도 높다고 보시는 분들이 다수죠.

아마도 여론조사에 대한 신뢰가 이렇게 바닥을 친 결정적 계기는 4. 13. 총선을 앞두고 사실상 모든 여론조사 회사들이 예측에 실패한 것에 있을 거예요.

특히, 종로에서는 정세균이 자신이 오세훈보다 17.3% 낮게 나왔던 KBS 조사 결과를 놓고, 이게 과연 사실일지 두고보라며 호언장담을 했고,

선거결과 오세훈이 귀신같이 제 자리를 찾아가면서 한국 여론조사가 얼마나 참담한 수준인지를 상징적으로 보여주었죠.

이런 참담한 결과를 낳은 원인이야 여러가지가 있겠지만, 대표적인 것 중 하나가 응답률이 너무 낮다는 것이었어요.

그래서 선거가 끝나고 응답률이 10%가 안 되는 여론조사는 공표 금지를 입법하네마네 논란도 있었고요.

실제로 이번 국감에서 더민주 백재현의 지적에 따르면, 

이번 총선에서 실시된 "1744건을 조사한 결과 여론조사 평균 응답률은 8.9%였다.

1% 이상~5% 미만이 38.0%로 가장 많았고, 10% 이하는 64.4%로 전체의 3분의 2를 차지했다. 10% 이상의 응답률을 보인 경우는 35.7%에 불과했다."

실제로 저 문제의 17.3%의 KBS(의 의뢰를 받아 코리아 리서치가 실시한) 여론조사 역시 응답률은 8.5% 였어요.

뭐, 여기까지는 다 아시는 이야기구요. 제가 하고 싶은 이야기는 사실 저 수치마저도 실상은 과장된 것이라는 점이에요.

중앙선거여론조사공정심의위원회고시 제 2015-1호 선거여론조사 기준 2조 5항에 따르면,

응답률 = I / (I+R) X 100 이에요.

여기서 I는 응답 완료된 사례수, R은 거절 및 중도이탈 사례수이고요.

이걸 말로 풀면, 여론조사 완료 사례를 여론조사 전화를 돌려서 받은 사람수로 나눴다는 소리죠.

이 기준에 따라서 문제의 여론조사 응답률도 500 / (500+5406) X 100 = 8.465... 이걸 반올림해서 8.5%가 나온거죠. 

문제는 여론조사 공심위가 제시한 응답률 공식이 말이 안 된다는 거예요.

왜냐하면 분모가 I+R로 끝나서는 안 되거든요. 최소한 NC(None Contact), 즉 접촉실패가 들어가야해요.

여기서 접촉실패란 통화중이거나, 부재중이거나, 혹은 접촉안됨을 말해요.

다시말해 분모가 전화를 받은 사람수가 아니라, 여론조사 업체에서 전화를 건수가 되어야 한다는 거죠.

물론 여기서 걸어보니 그 번호가 결번이거나 팩스번호거나 하는 경우라면 빼고요. 그건 샘플링을 잘못한 거니까요.

생각해보세요. 응답률이란 샘플 수에서, 성공한 사례의 비율이에요.

어떻게 그런데 어떻게 전체 시도한 사례에서 전화 안 받은 사람을 빼버리고, 전화 받은 사람만 가지고 비율을 구하나요.

이게 말이 될라면, 애초에 이 총선 여론조사에서 목표로 하는 모집단이 '한국에서 여론조사 전화를 받는 사람들'이 되야해요.

그런데 총선에 '여론조사 전화를 받는 사람들'만 참여하나요? 당연히 전화 받지 않는 사람들도 참여하죠!

그런데도 불구하고, 공심위가 응답률을 저렇게 정의한 근거가 뭔지를 모르겠어요.

아마도 공심위도 이걸 고려하고 있었을 거예요.

위의 고시 제 2015-1호 2조 6항을 보면,

피조사자 접촉 현황이란 비적격 사례수, 접촉 실패 사례수, 접촉 후 거절 및 중도이탈 사례수, 접촉 후 응답 완료 사례 수 등 4개 범주로 구분하여

정리한 것을 의미한다고 써놨거든요.

자신들도 자신들이 응답률 계산에서 빼버린 사례인 접촉 실패 사례수를 적어는 놓은거죠.

http://www.aapor.org/AAPOR_Main/media/publications/Standard-Definitions2015_8theditionwithchanges_April2015_logo.pdf

이건 AAPOR(American Association for Public Opinion Research)에서 내놓은 여론조사에 관한 표준정의집이에요.

여기 52~53p를 보면 응답률을 총 6가지 방식으로 정의를 해놨는데, 그 어느것도 응답률 계산에서 분모를 I+R로 한다는 소리는 없어요.

다 적어도 NC(접촉 실패)는 포함되어 있죠.

그렇다면 이제 저 문제의 여론조사로 돌아와서, 분모를 I+R 이 아니라 I+R+NC로 바꿔서 계산을 해볼게요.

그럼 결과는 500 / (500+5406+5996) X 100 = 4.2009... 으로 떨어져요. 즉 8.5%가 아니라 4.2%란 소리죠.

이런 방식으로 당시에 행해진 다른 여론조사들의 응답률을 다시 계산하면,

조선일보가 밀워드브라운리서치에 의뢰해 3월 22, 23일에 걸쳐 양일에 걸쳐 행해진 성북구(을)의 여론조사 응답률은 9.1% 에서 4.5%로

고양시(정)의 여론조사 응답률은 10%에서 4.6%로 떨어져요.

그나마 낮은 응답률이 다시 절반 정도로 뚝 떨어지는거죠.

글이 좀 길어졌는데, 요약해서 이야기하면 다음과 같아요.

한국 여론조사가 헛발질을 거듭하는 가장 주요한 원인 중 하나로 지적되었던 낮은 응답률 조차 실상은 과대 추산된 거예요.

그리고 그 원인은 여론조사를 관장하는 기관인 여론조사 공심위가 응답률을 잘못된 방식으로 정의한 것에 있고요.

덧) 위에서는 총선 여론조사를 예로 들었지만, 이건 현재 한국에서 공식적으로 발표되는 모든 여론조사에 해당하는 이야기에요.