주로 불신은 ARS조사 쪽에 제기된다. 익명을 요청한 여론조사 업체 대표의 말이다. “제대로 된 여론조사를 하기 위한 기준은 세계여론조사협회나 미국여론조사협회 등에서 만들어놓은 기준이 이미 있다. 예를 들어 응답률을 높이려면 전화조사도 한번 건 사람이 전화를 받지 않으면 10번 10회 이상 리콜을 해야 한다. 그러니 제대로 하려면 1주일 이상의 시간이 필요하고 그게 다 비용이다. 그 원칙이나 기준을 지켜 제대로 조사를 한다면 한 샘플당 얼마나 들까. 몇년 전 통계학과 교수와 사비를 들여 제대로 해본 적이 있다. 미국은 그 당시 한 샘플당 60달러였는데 우리는 그 절반 정도인 샘플당 3만원 정도의 비용이 들었다. 당장 1000 샘플이면 3000만원이다. 문제는 선거여론조사에서 그 비용을 낼 클라이언트가 없다는 것이다. 한국에서는 높게 쳐줘봐야 샘플당 1만원대다. 더 큰 문제는 시간을 안 준다는 것이다. 응답률이 제한 선정된 표본을 유지하는 선에서 결과물을 내는 것이 쉽지 않은 과제다. 결국 품질문제가 나올 수밖에 없다.”

응답률을 높이려고 미국 기준으로 리콜을 10번 이상 하려면 우리나라 여론조사 업체들 다 문 닫습니다. 그나마 NBS가 리콜 몇번 하는걸로 알고 있는데 10번까지는 안하는걸로..



http://nbsurvey.kr/faq?vid=7

Q. 콜백(재통화) 시도를 많이 하면 조사 품질이 좋은 조사인가요?

목표 표본수 1,000명을 조사하는 방법은 여러 가지입니다. 극단적으로, 딱 1,000개의 유효한 전화번호만을 가지고 모든 사람이 응답할 때까지 계속 전화를 걸 수도 있습니다. 혹은, 무한대의 전화번호를 가지고 1,000명이 응답할 때 까지 차례대로 전화번호를 사용할 수도 있습니다. 몇 개의 전화번호를 사용하는지, 그리고 몇 번 콜백(재통화)을 하는지는 전화여론조사에서 상당히 중요하게 살펴봐야 하는 부분이지만, 조사의 품질을 평가할 때 이 부분을 간과하는 경우가 많습니다.

조사의 신뢰성을 확보하기 위한 첫 번째 요건은 무작위 추출(random sampling) 입니다. 무작위 추출은 확보된 표집틀에서 임의성이 개입하지 않은 무작위성으로 표본을 추출해야 한다는 뜻입니다. 다시 말해, 조사회사가 조사할 전화번호를 자신의 입맛에 맞게 고르면 안 된다는 것입니다. 대부분의 조사회사는 이 원칙을 고수하고 잘 지키고 있습니다.

하지만 문제는 그 다음입니다. 매우 많은 전화번호를 추출해, 한두 번만 전화를 건다면 어떤 일이 벌어질까요? 상대적으로 전화를 받기 쉬운 환경인 사람들만 조사에 참여할 가능성이 높습니다. 혹은, 여론조사에 호의적이거나 조사 주제에 관심이 많은 사람들이 대부분 조사에 참여하게 될 것입니다. 그렇게 얻어진 결과는 타당한 것일까요?

전국지표조사(NBS)는 이러한 점을 개선하기 위해서 목표 표본수의 20배수인 20,000개의 전화번호만 추출하여 사용하고 있습니다. 그리고 그 안에서 조사를 완료하기 위해 목표한 지역/성/연령층에 콜백(부재중 전화에 대한 재전화)을 최소 5회 이상 진행합니다. 이렇게 콜백 효과가 나타나려면 최소 3일 이상의 조사기간을 확보해야 합니다. 그러나 현재 조사 현실에서 이렇게 충분한 조사기간을 확보해 조사하는 경우는 흔치 않습니다.