1. 통계 관련 질문
- 닉을 보면 베이지안을 주전공으로 하셨을 것으로 보이는데, 베이지안을 택하신 동기가 있을까요?
- 위에 답변 주신 내용 중 "베이지안과 빈도주의는 sample size가 커지면 asymptotic하게 서로 같아진다" 는 부분이 있는데, 그렇다면 베이지안 통계 방법론에서도 중심극한정리는 유효하다고 보면 될까요? 통계는 말 그대로 옛날에 손톱만 담궜다 빼서 그냥 문외한이나 다름없어서 질문드립니다.

2. 축구/일상 관련 질문
- 주로 어느 포지션에서 뛰시는지요? 해당 포지션에서 좋아하는 선수를 한 명 꼽으라면 누구일까요?
- 축구를 좋아하게 된 동기가 있으신가요?
- 현재 거주/근무중이신 곳은 텍사스나 하버드 소재지와는 다른 지역으로 보이는데, 해당 지역의 코로나 추이는 어떤 편인가요?
- 한국으로 복귀하실 계획은 혹시 있으신가요?

안녕하세요 교수님
딥러닝으로 밥벌이하는 개발자입니다.
최근들어서 딥러닝보다 전통적인 머신러닝/통계쪽이 좀 더 공부하고 싶어졌습니다. 사실 딥러닝이 근본이 없는 학문이라 perceptron 하나만 대충 알아도 그 이후는 적당한 수리적 센스로 퉁칠수는 있지만 계속 이렇게 날로먹다가는 인생이 골로갈것 같아서요.
그래서 말인데 어디서부터 시작해야할지 감이 안오네요. 베이지안, Hidden Markov 등의 전통적인 수리통계를 배우고 싶은데 어디부터 시작하면 좋을까요? 영어는 원활하고 pdf하나 던져주시면 열심히 읽을 자신 있습니다. 최종 목표는 openai나 금융통계 회사에서 입사면접문제로 나오는 문제들을 대응할 수 있을만한 직관을 기르고 싶습니다.
https://docs.google.com/document/d/10bJK8S4T7sBIP-pzdQm9xRpW0HcLsrh6D047pE_kFE8/edit
이런 류의 공부를 하고 있읍니다.

1. 이건 운명입니다. 박사과정 때 베이지안 수업을 들었는데, 첫 수업 때 교수님이 이 중에 빈도주의자 있냐고 물어보셨습니다. 아무도 감히 말을 못하는데 저 혼자 용감하게 손을 들었고, 그 교수님이 당장 나가라고 했습니다. 물론 농담이였죠. 그 분이 제 지도교수가 되고 저는 자연스럽게 베이지안이 되었습니다.

그리고 중심극한 정리는 sample mean의 분포가 정규분포로 근사하다는 정리입니다. 베이지안 사후분포는 철학적으로 다르지만 중심극한 정리는 모든 통계이론에서 중요합니다. 베이지안이라고 예외일 수는 없지요.

2. 주로 공격형 미드필더 뛰는데, 픽업게임에서 뛰면 수비를 주로 봅니다. 왜냐하면, 애들이 포지션 개념이 없어서 아무대나 뛰는데, 수비를 서면 그나마 좀 중심이 잡혀서 팀이 안정화 되거든요. 축구를 좋아하게 된 동기는 처음으로 인생에서 내가 뭔가를 할 수 있다는 성취감을 느낀 계기가 되었기 때문입니다. 외소하고 내성적이며 학업성적도 좋지 못했던 고등학교 시절에 반대항전 축구경기에서 제가 상대방 수비를 한 번 어쩌다 제꼈거든요. 다른 친구들이 인정해주고 잘했다고 칭찬해주는데, 그게 계기가 되었습니다.

제가 사는 동네는 지금 큰일 났습니다. 대학생만 2500명이 걸렸습니다. 5주 만에요. 총 학생수가 4만명 좀 안되는데, 5%이상의 학생이 걸렸어요. 미쳤습니다. 한국에서 전국에서 100명 걸렸다고 난리인데, 여기는 전혀 상관안해요. 이래도 되나 싶은데, 이렇게 되고 있네요.

한국으로 복귀계획은 잘모르겠네요. 제가 사람많은 곳을 싫어해서요.

1. 데이터 분석에 필요한 지식과 경험을 꾸준히 쌓는다면, 충분히 가능하지 않을까 싶습니다. 소스는 이미 인터넷에 차고 넘치니까요. Coursera같은 강의 사이트에서 무료 또는 매우 싼 값에 양질의 강의를 들을 수 있습니다. 문제는 그걸 할 만한 에너지와 시간이 있냐는 거지요. 직장에서 다른일을 하면서 배우기는 시간과 에너지가 무척 부족할 것입니다. 하지만, 자기하기 나름이지요. 꾸준히 계속 해야합니다. 그러면, 어느 순간 눈이 떠질겁니다.

2. 별로 안무모합니다. 석사는 미국유학이 돈이 많이듭니다. 대학원이 학비지원을 보통 잘 안해주거든요. 하지만, 박사는 학비지원에 생활비도 줍니다. 결혼만 안했으면, 보통 살 만 합니다. 문제는 시간이 좀 길기는 하지요. 5년이라는 시간이 짧지는 않으니까요. 그리고 박사 받는 다고 모든 일이 다 순탄하게 흘러간다는 보장도 없습니다. 세상은 불확실성 덩어리지요.

3. Lady Tasting Tea (한국제목: 천재들의 주사위놀이) 추천합니다. 그리고 통계학 기본이 되어 있으시면, Larry Wasserman의 All of Statistics추천합니다.

1. 남동부입니다.
2. 중국인이라고 오해많이 받습니다. 특히 히스패닉애들은 축구할 때 맨날 저보고 Chino라고 부릅니다. 꼬레아노라고해도 미안하다고하고 좀 있다가 또 치노라고 불러요. 근데, 중국사람도 저를 중국사람인 줄 알아요. 중국친구 말로는 제가 생긴걸로는 100% 중국사람 처럼 생겼답니다.
3. 미국은 마스크가 규격을 안따져서 무슨 손수건을 입에 두르고 다녀요. 효과는 많이 떨어질 텐 데도 말이죠. 마스크는 나이 드신 분들은 확실히 잘 쓴느데 대학생들은 진짜 잘 안씁니다. 특히 술집이랑 클럽에 주말에 가면, 대학생들이 마스크 안쓰고 빠글빠글합니다. 그러니 학교 학생의 5%이상이 코로나가 걸리지요. 거기다 얼마 전에는 교회 사람들이 대규모로 모여서 마스크 쓰기 거부 데모도 했습니다. 참 이해가 안가요.
4. ㅋㅋㅋㅋㅋ 이건 취향 차이라고 생각합니다. utility로 생각했을 때 100억의 utility가 꼭 1억의 100배가 아니니까요. 기대수익 보다는 기대 utility의 측면에서 생각해야 할 것 같습니다. 저 같으면 90%의 1억을 선택하겠습니다.

1. ppm단위 불량률에 대해 어떤 방법으로 접근해야 할 지 고민이 있습니다. 예를 들어 월간 생산되는 칩이 60M정도 되는데, 이런 단위에서는 모수가 너무 커져서 불량률이 약간의 차이만 나도 다 p-value가 0으로 나옵니다. 서로 다른 개선점을 적용한 물량의 불량률 차이가 17ppm이 난다고 해서 이걸 나아졌다고 봐야 하는지 아닌지 고민이 있습니다. 좋은 방법이 있을까요?

2. 제가 있는 부서에서 현재 쓰고 있는 방법론 중에 Test Coverage를 잡는 방법이 있습니다. 예를 들어 납품한 물건 중에 claim이 10건 들어왔을 때 불량 시료가 실제 normal물량 대비 가장 극단적인 차이를 보이는 변수(ANOVA 등을 활용)를 찾고 그 변수들 간의 and 조건들로 제어하여, 앞으로 이 claim시료가 발생하지 않게 한다, 식의 방법론입니다. 불량 매커니즘을 정확하게 추론하기 어렵고, 또 불량이 확률에 크게 의존(tunneling 등)하여 사용하는데 실제 발생한 claim시료가 이후 발생할 claim시료를 예측하는 데 얼마나 정합성이 있는지 검증하기 위해서는 어떤 통계적 마인드가 필요할까요?

3. 시간에 따라 불량률이 변하는 함수(Weibull 분포 등)을 fitting하는 과정이 궁금합니다. 저희는 가속조건에서 1시간 동안의 불량시료 수, 1시간~3시간 사이의 불량시료 수, 3시간~7시간 사이의 불량시료 수 등을 갖고 weibull분포의 형상모수를 추정하는데(아마도 MLE) 64시간 이상은 그냥 infinite로 놓고 64시간 이후에 발생한 불량은 전체 모수로 놓습니다. 이게 과연 맞는 방법인지 궁금하네요.

바이오 쪽에서 일하는데, 통계를 쓰긴 하면서도 제대로 된 통계와는 연이 없습니다. 유전적으로 동일한 쥐를 나눠서 실험하기 때문에 n값에 상관없이 모수적 통계만 쓰다보니, 2개 비교하면 t-test고 3개 이상은 ANOVA를 돌리며, t-test 기준으로 두 그룹의 에러바가 겹치지 않을 정도로 차이나면 별이 뜨는거다 같은 수준이죠..

기초적인 질문이 두 가지인데요,
1. t-test에서 p-value < 0.05라는 말의 뜻을 '이런 그룹 간 차이가 우연에 의해 발생했을 가능성은 5% 미만이다'로 이해하면 맞는 건지요? 누구에게 물어봐도 다들 이렇게 이해하는데, 전문가 분께 확인을 받고 싶었습니다.
그리고 그래프를 그렸을 때 두 그룹의 에러바가 겹치지 않으면 통계적으로 유의미하더라는 경험칙이 있는데 (t-test), 그게 수학적으로도 맞는 것인지, 아니면 대부분의 경우에 그렇긴 하지만 그 자체로 딱히 의미가 있지는 않은 것인지요?

2. 종종 애매한 값을 얻은 사람들이 n값을 늘려서라도 억지로 별을 띄우려는 경우를 봅니다. 이 짓을 어디까지 해도 되는 걸까요?
차이가 크지 않은데 어거지로 별을 띄우면 실질적으로 무의미한 것을 유의미하게 포장하는 것일 텐데, 그렇다고 딱히 n값이 얼마여야 한다고 규정짓는 룰 같은 것도 없다보니 (대략적인 범위는 있습니다만, 그렇다고 12개 할 것을 20개 했다고 리젝 먹이지는 않으니까요) 이게 윤리 문제인지 수학 문제인지도 애매하고 그렇습니다.
Power analysis 이야기가 나올 법 한데, 그건 필요한 최소값을 구하는 거지 넘지 말아야 할 최대값이 나오는 건 아니잖아요? 일반적인 룰 같은 게 있을까요?

1. "두 그룹 간 차이가 실제로는 없는데, 우연에 의해 두 그룹이 다르다고 귀무가설을 기각할 확률이 5% 미만이다." 라고하는게 좀 더 정확하겠네요. 그룹 간의 표본평균 차이는 정도의 문제지, 항상 존재할 수 밖에 없으니까요.

2. 이걸 p-hacking이라고 하는데, 절대 하면 안되는 짓입니다. 가설검정에서 어느수준의 Power를 원한다고 할 때, 먼저 거기에 대응하는 sample size를 먼저 계산하고, 데이터를 수집해야합니다. 근데, 이걸 일단 조금 데이터수집하고 테스트해보고 p-value가 크면, 데이터 더 수집해서 p-value가 5%보다 낮아질 때 까지하면 안됩니다. 그러면, Type I error rate이 5%가아니라, 실제로는 훨씬 커질 수 있습니다. 하지만, 눈가리고 아웅하기 식으로 많이들 하지요. 통계학자가 이런 짓하면 안된다고, 뭐라 그러면. 다른 분야 사람들은 싫어하고요. 논문 써야하고 결과 내야하는데, 절차 따지면, 유의하게 안나오거든요. 이건 편법도 아니고 위법입니다.

명확하네요. 감사합니다.

data를 빼거나 고르는 짓은 명백한 사기라고 모두가 알고 있는데, n값을 늘리는 방법에 대해서는 필드 내에 경각심이 많이 부족한 것 같습니다.
실험을 해 보기 전까지는 어떤 효과가 나올지 아무도 모르고, 실험 하나하나가 노동집약적이고 비싸다 보니, 우선 몇 개 뽑아보고 가망이 있어 보이면 추가하고 가망이 없어 보이면 접는 방식으로 실험을 하게 됩니다. 그러니 충분히 뽑아보고도 가망이 있어 보이면(?) 몇 개 더 해보지 뭐.. 하기 쉬운 구조이긴 합니다.
이런 류의 실험에서는 이 정도의 sample size면 된다는 경험적 공감대 정도는 있지만, 뭘 처리하느냐 어떻게 처리하느냐 누가 하느냐 등등에 따라 분산이 천차만별이니 처음부터 필요한 sample size를 계산해놓고 data를 수집한다는 개념 자체가 부족한 것이 가장 큰 문제인 것 같습니다.