http://blackdatascientist.blogspot.co.uk/2016/04/15.html

지난 총선 자료를 분석해서 여론조사방법 (유선/무선/ARS/면접)이 정확도에 어떤 영향을 미쳤는지를 알아본 통계분석이래요.

결론은 유무선을 섞는 편이 더 정확하고, 의뢰자의 정치성향에 따른 편향은 없었고, 리얼미터는 여당성향이 아니었고, 유무선 비율은 모르겠고.... 정봉주씨는 유선6 무선4가 가장 정확도가 높았다는 이야기를 했대요.

http://www.hanion.co.kr/news/articleView.html?idxno=4959

이건 포함된 '표' 때문에 퍼온 건데 조사기관들은 각자 자기들 생각에 가장 정확하다는 유무선 비율로 조사하고 있나봐요. 비율이 완전 제각각. 요는, 유선이 40%라고해서 그게 이상할 건 없다는 거지요.

http://www.nesdc.go.kr/portal/bbs/B0000005/list.do?menuNo=200467

여기 들어가면 공포가 승인된 여론조사들 개요를 모두 볼 수 있는데 얼핏 몇개 눌러봐도 유선조사가 악...-_-; 인 것 같진 않아요.

이상 문과생이었슴미다.

오, 이거 재미있어 보여서 엠팍에서 이 여론조사에 비판적인 게시물을 찾아봤어요.
http://mlbpark.donga.com/mp/b.php?m=search&p=1&b=bullpen&id=201704010001265299&select=sct&query=%EB%8F%99%EC%95%84&user=&site=donga.com&reply=&source=&sig=hgjRSg2Ag3DRKfX@hca9SY-Yjhlq

여론조사의 문제점으로
1. 먹이님이 지적하신 높은 유선비율+평일조사(학생과 직장인의 응답률이 저조해짐). 실제로 결과보고서를 보면 학생과 직장인 설문은 원래 할당량을 못 채웠어요. 어쨌든 매뉴얼대로 보정을 했을 테니 뭐 이건 그냥 넘어가기로 함....

2. 설문지를 보면 5자, 4자, 양자 구도에서 누구를 뽑을 것인가 하는 질문을 하기 직전에(이 위치가 중요함), 대단히 위험한 질문을 하나 던짐. "다음 중 절대 투표하지 않을 인물이 누구입니까?"인데, 이 설문 문항을 넣음으로써 사람들에게 문재인(여권 지지자 입장에서) 또는 홍준표(야권 지지자 입장에서)를 일단 거르는 심리적 프레임을 만들어 버림. 여기서 문을 선택한 범여권 지지자들은 자기 말의 일관성을 지키기 위해서, 문안 둘 중에서 꼭 선택해야 하는 상황이 왔을 때 '솔직히 안보다는 문이 낫지 않나..?' 하는 경우라 하더라도 문을 찍지 않고 안을 찍겠다고 대답하게 되겠지요. 예를 들어 저 같은 입장에선 홍준표나 김진태나 그인간이 그인간인데 더 싫은 자를 굳이 선택하라면 홍을 선택할 것이지만, 만일 양자구도로 홍과 김이 나오는 요상한 상황이 온다면 그때는 또 고민의 방향이 달라질 거거든요. 그런데 여론조사에선 그렇게 고민할 시간을 안 주니까 자기가 했던 말을 그냥 따라가게 되겠죠. 그런 식으로 여론조사 설문 문항에 장난을 쳐서 지지율을 올리고 내리는 일은 너무 흔한 일이라서...

3. 이 여론조사가 제대로 여론을 반영하고 있는가에 no라고 할 수 있을 법한 근거 하나가, 양자대결 응답 중 문의 강한 지지기반인 부울경에서 문재인이 안철수에게 34% vs 46.5%로 지는 걸로 나온다는 것. 이건 실제로 아무리 봐도 좀 이상해요.

동아일보 설문지
http://www.nesdc.go.kr/result/201704/FILE_201703300522452510.pdf.htm

여론조사 결과 통계표
http://www.nesdc.go.kr/result/201704/FILE_201703310327040800.pdf.htm

질문이 있사와요. 최고비호감에서 범여권지지자가 이미 문을 선택했다는 건 안보다 못하다는 심정을 깔고 가잖아요. 그런데 어떻게 문을 비호감으로 찍어놓고 문과 안 대결에서 '안보다는 문이 낫지 않나'라고 생각할 수가 있는 거예요.

그리고 야권지지자가 홍준표나 김진태를 최고비호감으로 찍어놓고 문과 안 중 택일하라고 하면 그냥 택일하면 되는거지 이미 비호감으로 찍어놓은 홍준표나 김진태가 그 택일에 영향을 주지는 않지 않나요 모이라 님.

문재인이 비호감 1순위인 것이 문제가 될 뿐이지 문항의 순서가 심리적으로 끼치는 영향은 없을 것 같아요. 만약 안철수를 최고 비호감으로 선택한 사람이 문과 안 중 택일하라고 하면 안철수는 문재인보다 못하단 느낌에 안이 이미 걸러진 상태니까 그 심리따라 문을 선택하면 되는 거잖아요.

이미 결정된 비호감도가 그 후의 문항에 일정하게 반영되는 거지 어떻게 심리를 바꾸게 되는지 잘 모르겠어요. 예를 하나 들어쥬세여.

3번의 경우는 결과적으로 이상하지만 표본수가 적으면 일어날 수도 있는 현상이라고 생각해요. 어쨌든 신뢰도 구간은 95%이지 100%는 아니니까요.

2번의 경우는 제 뇌 속의 사학자 세포가 과잉해석이 아닐까 의심해보라고 해요. 전체 문항 수가 수십개에 달하고 문vs안을 물어보기 전에 무려 10개 문항, 그것도 문항별 선택지가 10개가 넘어가는데 과연 비토층을 물어보는 질문을 하나 넣었다고 해서 (질문을 받기 전까진 없었던) 심리적 프레임 형성이 얼마나 크게 일어났을지 의문이에요.

또 2번 문항이 심리적 프레임을 형성시켜서 이후 문항들에 대한 답변에 편향성을 심어줬다고 결론내리기 위해서는 그 이전에 이미 최선후보와 차선후보를 물어본 문항들이 있고, 그 문항들이 어떤 프레임을 형성시켜줬는지도 같은 비중으로 분석해줘야 옳아요.

예컨대, 비토후보를 물어보기 전에 먼저 차순위후보를 누구로 생각하느냐고 물어봤잖아요? 그 결과를 보면 최우선순위로 김진태, 홍준표, 유승민, 김종인을 지지한다고 말했던 사람들 중 '차순위로 문재인을 지지하겠다'고 말한 응답자수가 0이에요. 그러므로 우리는 '솔직히 안보다 문이 낫지 않나..?'라고 생각하는 범여권후보는 본 설문 응답자중에선 애초에 존재하지 않았다는 걸 알 수 있어요.

그러니까 정리하자면, 전 비토후보를 물어본 문항이 '대단히 위험한 질문'인 것 같지 않아요.

오, 이건 제 경우를 두고 생각해 본 건데, "다음 중 절대로 투표하지 않을 후보"라는 말은 "여러 명을 비교했을 때 그중에서 가장 마음에 안 드는 후보"라는 말이랑은 좀 다른 거 같아요. 어떤 후보에게 절대로 투표하지 않겠다는 건 이미 그가 응답자에게 있어 (역설적으로) 중요한 의미를 가진다는 뜻이지 그 후보가 아웃 오브 안중이라는 뜻은 아니거든요. 예를 들어서 제가 진보정당 독자노선을 강하게 지지하는 사람인데 그 독자노선을 배신(?)하고 NL, 경기동부 및 참여당과 통합해버린 노심 중 한 명이 대선 후보로 나왔고, 또 진보정당 독자후보가 따로 나왔다면, 저에게 '절대로 찍지 않을 사람'은 아웃오브안중인 나머지 새누리당 민주당 기타등등이 아니라 노심으로 포커싱되겠지요. 그런데 막상 투표용지를 받아보니 우리의 독자후보는 아파서 못 나오고 노심, 민주, 새누리가 있다... 그러면 누굴 찍나요. ㅅㅂ ㅅㅂ 욕하면서 노심을 찍겠죠.

그런데 제가 "난 절대로 노심 안 찍는다"고 sns에서 줄창 말하고 다녔다면... 선거 후에 지인들이 "너 노심 안 찍는다더니 누구 찍었어?"라고 물어볼 게 뻔하니까 되게 고민되겠죠. 나의 일관성을 지킬 것인가 아님 좀 부끄럽지만 다시 판단을 할 것인가. 이 여론조사에서 중간에 그 항목을 집어넣은 것은 그런 효과를 노린 거라고 생각해요. 깊이 따져볼 시간을 주지 않고 기계적으로 자기 논리를 따르게 하는 것. 대다수 유권자들은 실제로 생각이 굉장히 복잡한 사람들일 거예요. 질문들은 겉으로는 매끄럽게 봉합되어 있지만, 그 질문 하나하나가 던져지는 판에 따라 판단이 계속 변할 거예요. 문과 홍, 문과 안, 안과 홍, 안과 안, .... 모든 경우에 따라서 생각이 달라질 수 있다는 거죠. '어떤 일이 있어도 무조건 문은 안 됨' 같은 정서가 실제로 영향을 끼치는 사람은 극히 드물 거라는 생각이...