신문을 보다가 위와같은 제목의 기사가 보이더군요.

http://media.daum.net/culture/newsview?newsid=20150925083958284

기사에 보면...

빵을 좋아하는 사람이 떡을 좋아하는 사람에 비해 대장암 발생 위험이 더 높다는 연구 결과가 나왔다. 이는 떡을 좋아하는 사람의 대장암 위험이 낮다는 흥미로운 연구 결과로 평가된다. 강남세브란스병원 소화기내과 박효진 교수팀과 성신여대 식품영양학과 이승민 교수팀은 우리 국민을 대상으로 식이요인과 대장암 발생과의 상관관계에 대한 연구를 실시한 결과 이같이 확인됐다고 지난 24일 밝혔다.

(중략)

분석 결과, 연구 집단 중 빵을 자주 섭취하는 군이 적게 섭취하는 군보다 대장암 발생이 약 2.26배 높게 나온 반면(OR T3 vs T1 = 2.26, 95% CI: 0.96-5.33, p for trend = 0.031), 떡을 자주 섭취하는 군은 적게 섭취하는 군 보다 대장암 발생률이 약 0.35배로 오히려 위험률이 줄어드는 것으로 나타났다.

연구팀은 이번 결과에 대해 정확한 원인을 아직 규명할 순 없지만 ‘빵’과 ‘떡’의 선호도가 그 사람의 식이패턴을 대표하는 것으로 추정했다. 연구팀은 “‘떡’을 선호하는 사람들은 곡물과 야채(섬유질) 중심의 한국의 전통적인 식이패턴을, ‘빵’을 선호하는 사람들은 붉은 육류 중심의 서구식 식이패턴을 가지고 있을 가능성이 높다”고 해석했다.

(후략)

-------

사실 이 기사를 보고 먼저 생각난건 아래 그림입니다.

http://xkcd.com/882/



위의 그림이 가리키는게 뭐냐면, 실험을 할때 여러개의 군에 대해서 각각 p value를 구할때는 각각의 p value를 바로 쓰는게 아니라 그것을 보정을 해 줘야 한다는걸 가리킵니다. p value를 어떻게 계산하는가 하는건 딱히 알 필요까지는 없겠지만, 보통 그 값이 0.05보다 작으면 통계적으로 차이가 있다고 임의적으로 과학자들이 정해놓은 값입니다. 어째든 과학자들이 보통 multi testing correction이라고 하고, 가장 엄격하게 사용하는 방식으로는 Bonferroni correction이라는게 있는데, 이것은 보통 p value가 나오면 이것을 몇 개의 군에서 실험했는지를 보고 그 군의 숫자를 곱한 값을 p value로 사용을 하는 것입니다.

좀 궁금해서 저 기사에서 언급한 논문을 잠깐 뒤져봤는데, multi testing correction에 대한 이야기가 전혀없더군요. 개인적인 느낌이기는 한데, 아마 멀티 테스팅 코렉션은 하지 않은것으로 생각됩니다. 만약 코렉션을 해 준다면 p value가 0.031이 아니라 0.031x16=0.496이 됩니다. 전혀 통계적으로 의미있는 차이가 아니라는 결론이 나오게 됩니다.

사실 이 문제는 워낙에 생물.의학쪽에 광범위하게 퍼져있는 문제고, 이제는 상당수의 논문이 통계적으로 의미없다는 결론이 나오는데, 이것이 의미가 있다는 식으로 해서 발표가 되는데 그 정도가 학문 발전을 가로막을 정도에 이러렀다고 보고 있을 정도입니다. 그리고 뭐랄까 이런 신문기사에 실리면서 일반인들에게 잘못된 정보를 주는 경우도 많고요. 연구비 받아서 뭔가 했는데, 결론이 제대로 안나고 논문은 내야하고 하다보니 이런 일들이 생기는거 이해는 하지만... 뭐랄까 좀 씁쓸한 생각이 드는건 어쩔 수 없네요.

-----

홍차넷에 통계 전공하시는 분 계시던데, 잘못된거 있으면 수정해 주시리라고 믿습니다.