괜찮은 리뷰라 봐서 발췌해봅니다.
https://www.facebook.com/buckeyestatfisher/posts/856646485276734
이번 KBS 보도 관련 논쟁거리 중 중요한 포인트는 애초에 1-10점으로 자기보고된 변수, 즉 '주관적 계층 인식'을 회귀분석에 투입할 수 있느냐 하는 것입니다. 오랜만에 심리측정학 용어를 빌리면, 이는 '주관적 계층 인식'이 [순서척도ordinal scale]인지, [등간척도 interval scale]인지에 관한 문제제기입니다. 간단히 설명하자면, 순서척도는 등급 간에 높낮이만 있을 뿐 간격이 일정하지는 않은 척도를 의미하고, 등간척도는 높낮이도 있고 간격도 일정한 척도를 의미합니다. 시험 등수 같은 것이 순서척도의 예일 것입니다. 10등과 11등 사이의 차이는 11등과 12등 사이의 차이와 항상 같다고 말할 수 없습니다. 반면 길이 같은 것은 등간척도라고 할 수 있습니다. 예를 들어 1m와 2m 사이의 차이는 2m와 3m 사이의 차이와 정확히 동일합니다…

…일반적으로 회귀분석에 변수를 투입할 때, 특수한 경우 (이를테면 더미변수)를 제외하고는 변수가 등간척도여야 투입할 수 있습니다… [순서척도에서는 애초에 독립변수를 '일정한 양'만큼 변화시킨다는 말이 성립하지 않기 때문에 계수가 무의미]해지기 때문입니다…원칙적으로 이 불만은 타당합니다. 애초에 주관적으로 평가된 계층 인식이라는 것이 엄밀한 의미에서 등간척도가 되기는 힘들어 보입니다. 이를테면 A라는 사람이 자신을 4등급, B는 5등급, C는 6등급이라고 평가했다면, A와 B 간의 차이가 B와 C 간의 계층 차이와 완전히 똑같다고 말할 수 있을까요? 아마 그렇지 않을 것입니다…이와 같이 1점에서 N점 사이로 응답을 받는 측정 방식 - 리커트 척도likert scale 라 흔히 불리는 - 에 대해서는 비판이 꾸준히 가해져 왔습니다. 리커트 척도 상의 숫자는 서열척도로 취급해야지 등간척도로 취급해서는 안 된다는 이야기입니다…

…하지만 많은 연구자들이 이를 사실상 무시하고 likert scale을 등간척도인 것처럼 사용합니다. 여기에는 몇 가지 이유가 있습니다. 가장 중요한 이유는 물론 편리함입니다. likert scale을 등간척도로 간주하면, 우리가 친숙한 연산들을 바로 적용할 수 있습니다. 이를테면 덧셈이나 뺄셈을 할 수 있죠. 급간이 일정하기 때문입니다. 그런데 서열척도는 더하고 빼는 것이 별 의미가 없습니다 (1등 더하기 2등은 3등일까요?). 그리고 우리가 친숙한 통계 기법들을 별다른 제약 없이 바로 사용할 수 있습니다. 앞서 언급한 회귀분석 같은 기법 말입니다. 그래서 여전히 대부분의 연구에서는 likert scale을 등간척도로 취급합니다.

그런데 이런 연구 관행은 정말 괜찮은 것일까요? 찾아보니 관련 연구가 몇 개 있었습니다. 물론 앞서 언급한 반대 견해 ([1], [2]) 도 있지만, 찬성 견해도 있습니다. [3]에서 연구자들은 시뮬레이션 연구를 기반으로 충분히 많은 등급의 likert scale, 이를테면 0에서 10 까지의 11점 척도를 등간척도처럼 사용하는 것을 추천합니다. 급간이 많아질수록 likert scale 상의 점수는 원 분포에 가까워진다는 것입니다. 다만 급간이 4개 등으로 너무 적은 것은 곤란하다고 주장합니다. [3]의 저자 중 한 사람이 쓴 다른 논문인 [4]도 비슷한 결론에 도달하고 있습니다. 요는, [likert scale의 점수 구간이 충분히 많으면 척도 상 점수는 원 분포를 충분히 reasonable하게, 연속형으로 근사해낼 수 있다]는 것입니다…

…결국 척도 관련 논의는 likert scale을 엄격하게 순서척도로 보느냐 아니냐의 문제라기보다는, 그것을 interval scale로 사용하는 것이 얼마나 연구 목적을 달성하는데 유용하냐 아니냐의 관점에서 접근해야 할 것이라 생각합니다… 이 특정 사례, 즉 KBS 자료에 한해서 likert scale을 등간척도로 보는 것이 유용하냐 아니냐? 저의 '감'은 '유용하다' 입니다. 앞서 언급한 변수 통제의 문제도 있고, 10점 척도면 급간도 충분히 많이 준 것 같습니다. 그리고 무엇보다, 연구진이 계속 강조하지만 이번 연구는 결정적인 답을 내기 위한 연구가 아니라 예비적 연구입니다. 그런 단계에서 어느 정도의 simplifying assumption을 도입하는 것에 크게 문제제기를 하고 싶지는 않습니다. 물론 이 결과를 자의적으로 변형하고, 자극적인 부분을 확대해 보도한 방송국에 상당한 책임이 있어 보입니다. 하지만 연구진의 원래 의도가 특정 성별/연령 집단을 비하하는 것이었다는 비난에는 별로 동의가 안 됩니다.

…'all models are wrong, but some are useful' 입니다. 그리고 모델이란 다름아닌 현상에 대한 여러 가정들입니다. 그리고 그 가정들은 언제나 완벽하지 않지만 유용하기 때문에 유지됩니다. 이를테면 회귀모형에서 error가 정규분포를 따른다는 가정은 거의 100% 틀린 가정입니다. 하지만 연구자들에게 여러 유용함을 주기 때문에 쓰이는 것입니다. Likert scale의 등간성 가정도 비슷한 사례라 볼 수 있을 것입니다. 그 위배의 도가 지나치면 무용하겠지만, 어느 정도 선에서 연구를 위한 단순화는 필요하지 않을까요? 그것이 마음에 안 든다고 해서 그것이 유용하게 쓰일 가능성 자체를 봉쇄하는 것에는 동의하기 어렵습니다 (그리고 솔직하게 말하자면, 이는 현존하는 상당수의 심리학 연구 자체에 대한 부정이기도 합니다)…

데이터를 분석한 교수님이 만든 설명자료 pdf를 보니 어느정도 이해가 되는군요.

1. 우선 현재 해당 조사에 대한 여론의 인식과 연구진간의 인식간에 차이가 생긴 이유는 (개인적인 생각으로는) 표현의 차이가 가장 크다.
- 연구방법론에서는 결국 '주관적 계층'이라는 형태로 독립변수를 설정했습니다. 연구진은 자신을 최상층(9~10)에 위치한 응답자가 적은데 이것이 놀랍지 않다라는 반응을 보였습니다. 뭐 사실 어디 이재용같은 급 아니면 대한민국에서 누가 자신있게 딱 '난 10쯤 있는거같아'라고 말 하겠습니까만 이 주관적인 scale을 가지고 기사 등에서는 '계층의식'이라는 모호한 용어를 사용하고 있습니다. 다만 이는 어디까지나 주관적으로 생각하는 사회 전체에서의 본인의 위치 정도를 나타는 표현에 그쳐야 합니다.

그러나 현재 논란이 되는 kbs의 해당 칼럼을 보면 "50대는 성별 구분 없이 상위층으로 올라갈수록 내 것을 나눌 의사도 조금씩 올라간다. 청년 여성도 정도는 덜하지만 비슷한 패턴이다. 청년 남성의 곡선을 보며 김석호 교수가 말했다. "이건 논문 거리예요." 그간 학계에서 발견한 적 없는 현상이라는 뜻이다. 청년 남성은 계층의식이 높을수록 자신이 가진 것을 나눌 생각이 없는 경향이 커진다. " (https://news.kbs.co.kr/news/view.do?ncd=5218373) 라고 기술하고 있는데 이 워딩은 마치 실체적 데이터가 있는 것 처럼 kbs에서는 표현을 하는 느낌이 듭니다.

즉, empirical data가 아닌 prediction임에도 이를 명확하게 표현하지 않았다는 점에서 kbs자료만을 보고 이것이 실제 데이터다라는 느낌을 주는 표현을 한 부분은 언론의 문제가 아닌가 생각됩니다.

2. 표본의 대표성 문제
- 연구진은 독립변수인 주관적 계층 인식의 1부터 10에 해당하는 사람 각각 100명을 뽑아 총 1000명의 응답자로 구성된 표본을 만드는것이 대표성이 없다... 라는 말씀을 하셨는데 사실 이 부분은 개인적으로는 오히려 그렇게 했었어야 주관적 계층인식에 따른 명확한 데이터가 나오지 않았을까 생각합니다. 연구를 설계할 때 각 소득구간별로 비슷한 응답자를 분포하는것이 '대한민국 전체'의 국민에 대한 평균적인 대표성은 없을 지언정 '각 주관적 계층인식'에 대한 대표성은 가질 수 있지 않을까 생각됩니다. 그렇다면 연구진이 왜 대한민국 인구 전체에 대한 대표성을 가지는지를 중요하게 여기는지를 살펴 볼 필요가 있습니다.

이를 이해하기 위해서는 최초 연구진이 KBS로부터 받은 자문 의뢰를 봐야할 것 같습니다. 연구진의 설명자료를 보면 KBS의 기획 의도는 586 및 세대 인식과 관련된 방송이였고, 위에도 본 조사의 원래 초점과 목표는 '586에 초점을 맞춘' 세대인식을 탐색이였고, 세대간의 차이와 인식을 파악하는 것 이였기에 대한민국 인구 전체의 평균의 대표성을 가지는 것이 중요하다라는 기조를 유지했을 수도 있다고 봅니다. 세대간의 차이는 대한민국 인구에 대한 대표성을 가지는 샘플을 봐야 유의미한 결과를 가져올 수 있으니까요.

이 부분은 언론에서도 다룰 때 설문조사 결과 이러한 결과가 도출되었는데 이 결과에 대한 사회적, 학술적 관심/연구가 필요하다 정도로 짚고 넘어갔었어야 할 내용을 가지고 마치 이대남은 타 세대에 비하여 이기적이다, 특이하다 같은 자극적인 방향으로 몰아갔던 부분이 아쉬운 지점입니다.

15페이지짜리 pdf를 읽어보았는데, 제가 다시 읽어보고 생각해봐도 연구진은 15페이지짜리 장문의 해명문을 낼것이 아니고 '"KBS의 보도에서 단정내린 부분은 문제가 있으며" 본인들이 수행한 연구로는 여러가지 한계가 있으므로 특정 세대의 성향을 단정짓기에는 부적합하다'라고 말하는것이 윤리기준에 적합하다고 생각합니다. 중요한 부분은 무엇이냐? 보도의 결론은 잘못되었다고 하는것입니다. 그런데 15페이지짜리 장문을 작성하면서 KBS가 특별한 의도가 있거나 연구 결과를 왜곡하지는 않았다는 부분만이 있습니다. 남녀의 차이를 말할때 0.05에 해당하지 않아 백번 양보해서 0.1짜리 유의기준을 쓸수도 있지만 0.1짜리 유의기준을 쓰면서,

어려운 이를 돕기 위해 내 것을 나눌 의사가 있는지 물었다. 공동체 인식에 대한 질문이다. 50대는 성별 구분 없이 상위층으로 올라갈수록 내 것을 나눌 의사도 조금씩 올라간다. 청년 여성도 정도는 덜하지만 비슷한 패턴이다. 청년 남성의 곡선을 보며 김석호 교수가 말했다. "이건 논문 거리예요." 그간 학계에서 발견한 적 없는 현상이라는 뜻이다. 청년 남성은 계층의식이 높을수록 자신이 가진 것을 나눌 생각이 없는 경향이 커진다. 오히려 하위층 청년 남성의 뜻은 다른 어느 집단보다 그래프 위쪽에 위치하는 점도 눈에 띈다. 기성세대가 가져온 보편적 가치, 사회적 합의에 균열이 가고 있다는 신호다.

와 같은 KBS보도의 서술에 '문제가 없다'고 하는것은 오히려 연구자에게, 15페이지짜리 해명문을 작성하는 '의도'가 있는게 아닐까요? 적어도 보도에 미흡한 점이 있다는 점은 짚어줘야했습니다. 뭐 '갑'에게 대들기 힘든가봅니다만