'큰 흐름' 보여주는 여론조사 불가능할까?
https://news.v.daum.net/v/20210824050612036

이 때문에 조사기관마다 다르게 나타나는 경향성이 있다면, 이 또한 제대로 인지하고 여론조사 결과를 해석해야 한다는 주장이 정치권과 학계에서 등장하고 있다. 예컨대 누적된 데이터값을 분석해 예측치를 산출하는 방식인 ‘메타분석’이 대안이 될 수 있다. 메타분석이란 동일한 주제로 나타난 결과를 객관적·계량적으로 종합해 바라보는, 이른바 ‘큰 그림’을 볼 수 있는 연구 방법이다. 편향성이 보이는 조사 결과를 최대한 배제하고 신뢰도를 높일 수 있다고 평가된다. 최근 미국과 유럽에서도 여론조사를 추세로 보는 기류가 나타난다. 통계학자 네이트 실버가 운영하는 블로그 ‘파이브서티에이트’나 정치전문매체 <폴리티코> 등에선 개별 여론조사 결과의 평균값을 활용해 조사의 정확성을 높이는 방식으로 여론조사 결과를 발표·보도하고 있다. 같은 주제로 실행하는 여론조사 결과가 많으면 많을수록, 흐름을 보는 데는 도움이 된다.


한국에는 mbc가 비슷한 걸 하고 있습니다.
http://poll-mbc.co.kr/

https://www.nesdc.go.kr/portal/bbs/B0000005/list.do?menuNo=200467

중앙선관위에서 다루는 여론조사 업체를 화천대유 터지고 나서 추석연휴 기간 부터 발표한 업체들 날짜 순서대로입니다.
양자구도를 발표 안한 곳도 있어서 정리하면 아래와 같네요.
(엠브레인퍼블릭 kbs 조사는 구글-네이버에서 검색해도 저 날짜론 기사가 없어서 뺐습니다)
[
9.27 KSOI 다자구도 이재명 30.3% 윤석열 27.1%
9.26 리얼미터 다자구도 윤석열 26.9% 이재명 25.2%
9.26 PNR 다자구도 윤석열 32% 이재명 26%
9.24 알앤써치 다자구도 윤석열 26.4% 이재명 24.5% 양자구도 윤석열 41.9% 이재명 30.6%
9.21 공정 다자구도 윤석열 28.1% 이재명 24.4% 양자구도 윤석열 47.9% 이재명 37.9%
]
연휴라서 몇몇 업체들은 발표를 안한 곳도 있던 거 같은데
우선 선관위에서 적어놓은 업체 5군데 중 4군데는 이재명이 하락이 심했습니다.
윤석열과 격차는 더 벌어졌고 심지어 홍준표에게도 양자구도에서 지는 결과도 있었고, 이낙연이 오히려 올랐구요.

그런데 5개 업체 중 1군데가 저리 나왔다고 화천대유가 아무 영향이 없다는 건 인과성이 별로 없어 보입니다.

사십대독신귀족 님// ars와 전화면접 여론조사의 비중을 1:1로 맞추고 승패를 논하면 되겠습니다만 너무 기울어진 운동장 아닙니까.. 그리고 돈 때문에 저러는 건 팩트입니다. 저 같아도 여론조사 회사 운영하는 데 1샘플 모으는데 돈이 몇배씩이나 더 드는 전화면접 조사 굳이 하고 싶지 않겠습니다.

http://nbsurvey.kr/faq?vid=6

Q. 전화면접조사와 ARS 조사의 차이는 무엇인가요?



전화조사의 경우는 크게 면접원의 질문을 통한 전화면접조사와 ARS 기계음을 통한 ARS 조사로 구분됩니다. 전화면접조사는 말 그대로 응답자에게 면접원이 질문을 하여 답을 얻는 타계식(interview) 방법이고, ARS 조사는 기계음을 듣고 응답자가 답을 직접 입력하는 자기기입식 방법입니다. 방법에 대한 차이는 설명을 하고 나니 크지 않게 느껴집니다. 질문을 사람이 하느냐, 미리 녹음해 놓은 목소리가 하느냐, 답변을 응답자가 말로 전하느냐, 다이얼 버튼으로 입력하느냐의 차이입니다.


하지만 이 두 가지 조사 방법은 큰 차이가 있습니다. 정통 여론조사를 시행하고 있는 전국지표조사(NBS)가 지향하는 관점에서 답해보고자 합니다.


1) ARS 조사는 기계음에 대한 거부감 등으로 인해 응답률(조사 협조율)이 매우 낮습니다. 이로 인해 정치관심도나 선거에 관심이 많은 응답자가 상대적으로 많이 조사에 참여한다는 문제점이 있습니다.(이 문제점에 대해서는 여론조사심의위원회, 2019, 선거여론조사의 객관성ㆍ신뢰성 제고를 위한 조사방법론 개선방안 연구(최종) 참조) https://www.nesdc.go.kr/portal/cmm/fms/FileDown.do?atchFileId=FILE_000000000018497&fileSn=1&bbsId=B0000002


2) ARS 조사는 응답자와의 상호작용이 불가능한 자기기입식 조사로 실제 응답자의 성별과 연령을 확인하기 어렵습니다. 이러한 이유로 일부 학자들은 ARS는 과학이 아니라고 주장합니다. ARS 조사의 경우 통제력이 응답자에게 있는데, ‘자연과학에서 실험대상에 통제력이 있는 경우가 있는가?’라는 점에서 비과학적이라고 설명합니다.


3) ARS 조사가 면접원을 통한 전화면접조사보다 응답을 잘 이끌어낼 수 있다고 주장하고 있으나, 그것은 미국 사회에서 인종차별 문제에 대한 입장, 또는 한국 사회에서 특정 지역민 혹은 특정 성별에 대한 혐오에 대한 입장에서나 타당한 이야기이지 일반 사회여론조사나 정치 조사에서 더 솔직한 응답을 이끌어낸다는 주장은 그 근거가 부족합니다.



이러한 점들 때문에 한국조사협회(KORA)에서는 ARS 조사를 비과학적인 조사방법으로 규정하고, 협회 회원사는 ARS 조사를 시행하지 않고 있습니다.


학계나 CNN등 해외언론 (https://edition.cnn.com/2019/07/09/politics/cnn-polling-standards/index.html), 2016년 12월 5개 언론단체 규약 등을 통해서 ARS 조사의 문제점, 비과학성에 대해서는 이미 논의가 되었습니다.

돈과 시간을 더 들여서 소극응답층까지 잡으려고 콜백을 하는 건데 더 믿어야 하는거 아닌가요


http://nbsurvey.kr/faq?vid=7


Q. 콜백(재통화) 시도를 많이 하면 조사 품질이 좋은 조사인가요?



목표 표본수 1,000명을 조사하는 방법은 여러 가지입니다. 극단적으로, 딱 1,000개의 유효한 전화번호만을 가지고 모든 사람이 응답할 때까지 계속 전화를 걸 수도 있습니다. 혹은, 무한대의 전화번호를 가지고 1,000명이 응답할 때 까지 차례대로 전화번호를 사용할 수도 있습니다. 몇 개의 전화번호를 사용하는지, 그리고 몇 번 콜백(재통화)을 하는지는 전화여론조사에서 상당히 중요하게 살펴봐야 하는 부분이지만, 조사의 품질을 평가할 때 이 부분을 간과하는 경우가 많습니다.


조사의 신뢰성을 확보하기 위한 첫 번째 요건은 무작위 추출(random sampling) 입니다. 무작위 추출은 확보된 표집틀에서 임의성이 개입하지 않은 무작위성으로 표본을 추출해야 한다는 뜻입니다. 다시 말해, 조사회사가 조사할 전화번호를 자신의 입맛에 맞게 고르면 안 된다는 것입니다. 대부분의 조사회사는 이 원칙을 고수하고 잘 지키고 있습니다.


하지만 문제는 그 다음입니다. 매우 많은 전화번호를 추출해, 한두 번만 전화를 건다면 어떤 일이 벌어질까요? 상대적으로 전화를 받기 쉬운 환경인 사람들만 조사에 참여할 가능성이 높습니다. 혹은, 여론조사에 호의적이거나 조사 주제에 관심이 많은 사람들이 대부분 조사에 참여하게 될 것입니다. 그렇게 얻어진 결과는 타당한 것일까요?


전국지표조사(NBS)는 이러한 점을 개선하기 위해서 목표 표본수의 20배수인 20,000개의 전화번호만 추출하여 사용하고 있습니다. 그리고 그 안에서 조사를 완료하기 위해 목표한 지역/성/연령층에 콜백(부재중 전화에 대한 재전화)을 최소 5회 이상 진행합니다. 이렇게 콜백 효과가 나타나려면 최소 3일 이상의 조사기간을 확보해야 합니다. 그러나 현재 조사 현실에서 이렇게 충분한 조사기간을 확보해 조사하는 경우는 흔치 않습니다.