음... 어디서도 지지받지 못할 hoax라는 것은, 저걸 기획하는 사람의 동기에 대한 이야기입니다. 저런 행위를 하는 것은 시작이 어떤 이유가 됐건 결국 다른 사람들에게 지지를 받는 것을 1차적 목표로 할텐데, 데이터 조작을 하겠냐는 거죠. 처음 쓰신 댓글대로 데이터 를 조작할 이유가 없다, 그렇게 생각하기엔 부자연스럽다고 한 말이죠. 그리고 저것도 일종의 실험으로 봤을때, 특정 분야를 골라서 할 수 밖에 없죠. 그 분야가 제대로 돌아가냐 뭐 이런 거니까.

모든 과학계라... 글쎄요. 말씀대로 과학기술계에도 쓰레기 같은 저널은 있습니다. 그런 저널에 저런거 내면 당연 통과되겠죠. 하지만 그런건 이미 저널로서의 가치가 별로 없다고 알려져 있으며, 이미 과학기술계에는 그런 짝퉁 논문이 통과되느냐에 대한 실험이 있었습니다. 저널의 상태를 보기 위해 올라간 짝퉁 저널이 몇백개는 될텐데요? 근데 그게 과학기술계 전반에 대한 불신으로 가지 않는 것은 1) 내부에서 이에 대한 비판의식이 있고 자정노력이(크진 않지만) 있음
2) 그런 저널들은 내부에서도 수준 낮은 저널로 알려져 있고, 권위 있는 저널은 저런게 통과가 안됨.

결국 저 논문들이 게시된 저널이 해당 학계에서 어느정도 수준이냐가 핵심이겠죠.

으잉 이거 탐라에서 이미 논의 하고 넘어갔던 주제인데... 논문 데이터까지 리뷰자들이 확인하는 건 무리한 요구이고, 애초에 타겟 찍고 넘어가면 안 넘어갈 영역은 없어요. 자연과학과 사회과학을 대별하여 비교하고는 하지만, 실제 실험실에서 지식이 어떻게 형성되는가를 파고든 브루노 라투어 등의 보고를 고려하면 또 상황은 복잡해지거든요. 그렇다고 "다 똑같다" 식의 입장도 말이 안 되는 소리기는 하지만...

자세한 내용은 https://areomagazine.com/2018/10/02/academic-grievance-studies-and-the-corruption-of-scholarship/ 여기서 보시면 되요. 개인적으로는 'Going in Through the Back Door: Challenging Straight Male Homohysteria and Transphobia through Receptive Penetrative Sex Toy Use'가 흥미롭기는 했어요. 디시 여장갤 같은 곳 인터뷰해보면 뭔가 나올 것 같더라고요.

방법론 파트만 번역해둘게요. 급하게 해서 의미가 원문과 많이 어긋날 수 있으니 원문도 병기하고요. 아 그리고 반성적 문화기술지라 말했지만, 실제 이 아조씨들이 문화기술적 접근을 반성적으로 실시하고자 했다면 자신들이 'grievance studies'라 칭하는 이 영역에 어떠한 관념을 지니고 있는지(아 물론 모든 문단에서 충실히 자신들의 입장을 설파하고 있지만 ㅋㅋ), 자신들의 학문적/사회인구적 배경은 어떻게 되는지, 실제 장에 뛰어들면서 자신들의 생각은 어떻게 변화하였는지, 참여하면서 깨달은 이 영역의 특징-관행은 무엇인지 각각을 기술했어야 해요. 이걸 반성적 문화기술지라 부를 수 있을지는... 살짝 공부했던 입장에서도 갸우뚱 하네요.

일단 밥 먹고 이따가 이어서! 저자의 문제의식이 완전히 헛소리라고까지 느끼지는 않는데, 전 결과를 좀 달리 보거든요.

Part II: Methods

Our approach is best understood as a kind of reflexive ethnography—that is, we conducted a study of a peculiar academic culture by immersing ourselves within it, reflecting its output and modifying our understanding until we became “outsiders within” it.

우리가 취한 접근법은 반성적 문화기술지라 이해하는 편이 가장 적절할 것이다. 말하자면, 우리는 "안에 위치한 이방인"이 될 때까지 우리 자신을 그 안에 푹 빠지고/젖어들고, 우리의 성과를 반성하고,우리의 이해를 수정해가면서 특유한/괴상한 학계 문화를 공부했다.

Our objective was to learn about this culture and establish that we had become fluent in its language and customs by publishing peer-reviewed papers in its top journals, which usually only experts in the field are capable of doing. Because we came to conceptualize this project as a kind of reflexive ethnographic study in which we sought to understand the field and how it works by participating in it, obtaining peer reviewers’ comments about what we were doing right and what needed to change to make absurd theses acceptable was central to the project. Indeed, the reviewers’ comments are in many ways more revealing about the state of these fields than the acceptances themselves.

우리의 목표는 이러한 문화를 학습하고, 우리가 그 언어와 관습에 능숙해졌다는 점을 확립하는 것이었다. 이는 대개 전문가들만이 가능한, 동료평가를 실시하는 그 분야 최상위 저널에 논문을 출판하여 확인하고자 했다. 우리가 이 프로젝트를 일종의 반성적 문화기술지 연구라 개념화 하기로 했기 때문에(참여를 통해 하나의 영역이 어떻게 작동하는지 이해하려는 연구) 우리의 출판 시도 작업이 옳은지, 엉터리 논문을 승인 가능하게 만들기 위해 무엇이 필요한지 저널의 동료평가 코멘트를 받는 것은 핵심적이었다. 사실, 리뷰어들의 코멘트는 이 영역의 상태를 논문 승인 그 자체보다 여러 측면에서 많이 드러내주었다.

While our papers are all outlandish or intentionally broken in significant ways, it is important to recognize that they blend in almost perfectly with others in the disciplines under our consideration. To demonstrate this, we needed to get papers accepted, especially by significant and influential journals. Merely blending in couldn’t generate the depth necessary for our study, however. We also needed to write papers that took risks to test certain hypotheses such that the fact of their acceptance itself makes a statement about the problem we’re studying (see the Papers section, below). Consequently, although this study does not qualify as being particularly controlled, we did control one important variable: the big-picture methodology we used to write every paper.

비록 우리 페이퍼가 모두 이상하고 혹은 상당한 측면에서 의도적으로 망가져 있지만, 이 분과의 여러 다른 저작들을 의식적으로 거의 완벽하게 혼합했다는 면을 인지하는 게 중요하다. 이를 증명하기 위해, 우리는 페이퍼를 특히 의미있고 영향력 있는 저널에 승인받을 필요가 있었다. 하지만 단순히 저작들을 혼합하기만 해서는 우리 연구에 필수적인 깊이를 형성할 수가 없었다. 논문 승인 사실 그 자체가 우리가 연구하는 문제에 대해 하나의 진술을 형성하는, 특정한 가설들을 확인하는 위험을 지닌 페이퍼를 쓸 필요가 있었다.

Our paper-writing methodology always followed a specific pattern: it started with an idea that spoke to our epistemological or ethical concerns with the field and then sought to bend the existing scholarship to support it. The goal was always to use what the existing literature offered to get some little bit of lunacy or depravity to be acceptable at the highest levels of intellectual respectability within the field. Therefore, each paper began with something absurd or deeply unethical (or both) that we wanted to forward or conclude. We then made the existing peer-reviewed literature do our bidding in the attempt to get published in the academic canon.

우리가 페이퍼를 작성한 방법론은 대부분 특정한 패턴을 따랐다. 연구하려는 학계 분야에 대한 우리의 윤리적인 혹은 인식론적인 염려를 서로 이야기하자는 아이디어부터 시작했다. 그리고 현존하는 학문을 구부려(왜곡하여?) 우리의 아이디어를 지지하고자 했다. 목표인즉슨 기존 문헌들이 제공하는 내용들을 활용하여 일정 정도 맛이 가거나 타락한 것들을 특정 영역 내에서 지적으로 존중받는 가장 높은 수준에서 수용시키는 것이었다. 그러므로 각각의 페이퍼는 우리가 전달하거나 결론내리고자 하는 우스꽝스럽거나 매우 비윤리적인(혹은 둘 다) 무언가로부터 시작했다. 이후에 현존하는 피어리뷰 저널에 투고하여 이 학문적 정전에 출판을 시도했다

This is the primary point of the project: What we just described is not knowledge production; it’s sophistry. That is, it’s a forgery of knowledge that should not be mistaken for the real thing. The biggest difference between us and the scholarship we are studying by emulation is that we know we made things up.

이 프로젝트의 일차적 목표는 다음과 같다: 우리가 기술하고자 하는 것은 지식 생산이 아니다; 이것은 궤변이다. 말하자면, 이것은 지식의 위조이며 이를 진짜로 오해해서는 안 된다. 우리와, 이 학문 사이 가장 큰 차이는 우리는 우리가 모사를 통하여 무엇을 만들어냈는지를 연구했다는 점이다.

This process is the one, single thread that ties all twenty of our papers together, even though we used a variety of methods to come up with the various ideas fed into their system to see how the editors and peer reviewers would respond. Sometimes we just thought a nutty or inhumane idea up and ran with it. What if we write a paper saying we should train men like we do dogs—to prevent rape culture? Hence came the “Dog Park” paper. What if we write a paper claiming that when a guy privately masturbates while thinking about a woman (without her consent—in fact, without her ever finding out about it) that he’s committing sexual violence against her? That gave us the “Masturbation” paper. What if we argue that the reason superintelligent AI is potentially dangerous is because it is being programmed to be masculinist and imperialist using Mary Shelley’s Frankenstein and Lacanian psychoanalysis? That’s our “Feminist AI” paper. What if we argued that “a fat body is a legitimately built body” as a foundation for introducing a category for fat bodybuilding into the sport of professional bodybuilding? You can read how that went in Fat Studies.

이 과정은 하나의 단일한 흐름으로, 우리의 20개 페이퍼는 심지어 우리가 그들의 시스템에 진입하기 위해 다양한 아이디어를 다양한 방법론을 활용하였음에도 불구하고 하나로 묶이는데, 이는 어떻게 편집자와 동료 평가자들이 반응하는지를 살피는 것이다. 때때로 우리는 단지 약간 돌았거나 비인간적인 아이디어를 떠올리고 그대로 받아들였다. 만약 남자를 개를 훈련시키듯이 - 강간 문화를 방지하기 위해 - 훈련시켜야 한다는 페이퍼를 쓰면 어떨까? 이런 이유로 '개 공원' 논문이 나왔다. 한 남자가 사적인 공간에서 한 여자를 떠올리면서 (그 여성의 동의 없이, 사실 그 여성은 절대로 이를 알 수 없을 것이다) 자위를 한다면, 그 여성에 대한 성폭행을 저지른다는 논문은 어떨까? 이 아이디어에서 '자위' 논문이 나왔다. 초인공지능이 프랑켄슈타인과 라깡의 심리학을 이용하여 남성우월적이고 제국주의적으로 프로그래밍 되고 있기 때문에 잠재적으로 위험하다는 주장을 하면 어떨까? 이것이 우리의 "페니미스트 인공지능" 페이퍼였다. 뚱뚱한 몸이 합법적으로 만들어진 몸이라는 주장을 하고, 이를 살찌우는 보디빌딩을 전문적인 보디빌딩 스포츠의 한 카테고리로 편입시키는 초석으로 삼는다면? '비만 연구'에서 이 논지가 어떻게 펼쳐지는지 볼 수 있다.

At other times, we scoured the existing grievance studies literature to see where it was already going awry and then tried to magnify those problems. Feminist glaciology? Okay, we’ll copy it and write a feminist astronomy paper that argues feminist and queer astrology should be considered part of the science of astronomy, which we’ll brand as intrinsically sexist. Reviewers were very enthusiastic about that idea. Using a method like thematic analysis to spin favored interpretations of data? Fine, we wrote a paper about trans people in the workplace that does just that. Men use “male preserves” to enact dying “macho” masculinities discourses in a way society at large won’t accept? No problem. We published a paper best summarized as, “A gender scholar goes to Hooters to try to figure out why it exists.” “Defamiliarizing,” common experiences, pretending to be mystified by them and then looking for social constructions to explain them? Sure, our “Dildos” paper did that to answer the questions, “Why don’t straight men tend to masturbate via anal penetration, and what might happen if they did?” Hint: according to our paper in Sexuality and Culture, a leading sexualities journal, they will be less transphobic and more feminist as a result.

또 어떤 때에는, 현존하는 '비통한 연구([링크한 글 처음을 보면 정의가 나옵니다)]' 문헌들을 샅샅이 뒤져서 이미 엉망으로 가고 있는 지점을 살피고, 이러한 문제를 확대하고자 했다. 페미니스트 빙하학? 그래, 이거 복사해서 페미니트스 천문학 페이퍼를 쓰자. 페미니스트와 퀴어 점성술학을 천문학의 일부로 포함할 것을 고려해야만 한다고 주장하자. 천문학은 본질적으로 성차별적이라고 분류하자고. 리뷰어들은 이 아이디어에 매우 열광했다. 주제 분석 같은 방법을 사용하여 현재 선호되는 데이터 해석을 회전시키는 것? 좋아, 직장 내의 성전환한 사람들에 대한 논문을 쓰자고. 남자는 죽어가는, 대부분의 사회가 받아들이지 않는 '마초' 남성성 담론을 상연하기 위해 '남성 보관소'를 사용한다고? 문제 없지. 우리는 페이퍼를 출판했는데, 이를 가장 잘 요약하는 것은 "젠더 연구자들이 후터스를 가서 왜 후터스가 존재하는지를 밝혀내고자 했다"이다. 일반적인 경험을 "낯설게하기", 이로 인해 신비화 되는 것을 흉내내고, 이를 설명하는 사회적 구성물을 찾기? 우리의 "딜도들" 페이퍼는 이 질문에 답하고자 했다, "왜 스트레이트 남성은 엉덩이 삽입을 통해 자위하지 않고, 만약 그런다면 어떻게 될까?" 힌트: 저명한 섹슈얼리티 저널인, Sexuality and Culture에 실린 우리 저널에 따르면, 이 스트레이트 남성들은 결과적으로 성전환자에 대해 덜 혐오하고, 더 페미니스트적이 되었다.

We used other methods too, like, “I wonder if that ‘progressive stack’ in the news could be written into a paper that says white males in college shouldn’t be allowed to speak in class (or have their emails answered by the instructor), and, for good measure, be asked to sit in the floor in chains so they can ‘experience reparations.’” That was our “Progressive Stack” paper. The answer seems to be yes, and feminist philosophy titan Hypatia has been surprisingly warm to it. Another tough one for us was, “I wonder if they’d publish a feminist rewrite of a chapter from Adolf Hitler’s Mein Kampf.” The answer to that question also turns out to be “yes,” given that the feminist social work journal Affilia has just accepted it. As we progressed, we started to realize that just about anything can be made to work, so long as it falls within the moral orthodoxy and demonstrates understanding of the existing literature.

우리는 다른 방법론들도 마찬가지로 사용했다. 말하자면, "뉴스 속의 progressive stack(주변화 된 집단에 발언권을 주는 의사결정 기법)은 논문에서 쓸 수 있을 것 같아. 대학의 남성 백인들이 교실에서 발언할 수 없고(혹은 교수자가 이들의 메일에 응답하지 못하게 만들고) 그리고, 추가로, 바닥에 줄지어 앉도록 요청받아서 '배상(대상관계이론의 한 개념)을 경험'할 수 있게 만든다면 어떨지 궁금하네". 이것은 우리의 "Progressive Stack" 페이퍼였다. 답은 예스인 걸로 보인다. 페미니스트 철학의 거인 Hypatia(페니미스트 철학 학술지 이름)은 놀랍도록 이에 우호적이었다. 우리에게 힘들었던 다른 한 가지는 "아돌프 히틀러의 나의 투쟁 중 한 챕터를 페미니스트적으로 다시 쓴 걸 출판할 수 있을지 궁금해"였다. 이 질문의 답 또한 페미니스트 사회 운동 저널 Affilia가 페이퍼를 승인했으니 "그래"로 밝혀졌다. 일을 진척시켜나가면서, 우리는 무엇이든지 가능하다는 사실을 깨닫기 시작했다. 얼마나 오랜 기간 동안 그 아이디어들이 도덕적 정론의 범위에 들어와 있었고, 현존하는 연구들의 이해를 증명했든지 간에.

Put another way, we now have good reasons to believe that if we just appropriate the existing literature in the right ways—and there always seems to be a citation or vein of literature that makes it possible—we can say almost any politically fashionable thing we want. The underlying questions in every single case were the same: What do we need to write, and what do we need to cite (all of our citations are real, by the way) to get this academic madness published as high “scholarship”?

달리 말하자면, 이제 우리는 적절한 인용 혹은 선행연구의 맥락이 존재하는 것처럼 보인다면 우리가 원하는 정치적으로 패셔너블한 것들을 언제든지 말할 수 있다고 믿을만한 합당한 이유가 있다. 모든 각각의 경우에 깔린 질문은 동일했다. 우리는 무엇을 쓰고, 무엇을 인용해야(연구의 인용은 모두 존재하는 것이었다) 이 학문적으로 정신나간 것들을 드높은 '학문'의 전당에서 출판할 수 있을까?

포인트는 데이터 조작이 아니라 허접한 methodology와 결론에 끼워맞추는 사회학계에 대한 유머러스한 저격이죠.

https://youtu.be/AZZNvT1vaJg
https://youtu.be/OlqU_JMTzd4 (하이라이트)

본문에 나온 철학교수와 수학자가 나온 팟캐스트인데 들어보시죠.
정치적 어젠다에 끼워맞춰 그럴듯할 가설을 결론으로 테스트도 없이 논문을 낸다는 겁니다.
그런 근본도 없는 논문들을 데이터를 내서 반박하면 인종차별주의자같은 라벨링을 당한다고 합니다.
이 페이크 논문을 내는 과정에서 몇몇 논문 리뷰어들은 논문을 정치적 도그마에 더 맞게 수정을 요구했다고도 하네요.

그런 포인트라면 공감해요. 오히려 저는 '정치적 어젠다에 끼워맞춰 그럴듯할 가설을 결론으로 테스트도 없이 논문을 낸다'는 상황은 위에 o happy dagger님이 세세히 짚어주셨듯이 구조적 맹점의 결과니 어쩔 수 없다 느끼는데, 데이터를 내서 반박하면 [인종차별주의자같은 라벨링을 당한다]는 부분이 중요하다고 느껴요. 작금의 대립구도, PC 혹은 반PC라는 진영 대립에서 더 타당한 주장들이 희생되는 부분이 있을테니까요. 정치적 도그마에 맞춰 수정을 요구했다는 리뷰어들처럼요.

예전에 탐라에 학문 별 Rigorous? 어떻게 표현해야 할지 모르겠는데, 물리학 -> 생물학 -> 사회학 등등으로 올라가는 도식을 올려주셨던 것이 기억나요. 환원적이고 위계적인 시각에는 동의하지 않지만, 각 영역 내에서 지식이 형성되었을 때 얼마나 실재(진리가 아니라)를 안정적으로 그리고 강력하게 설명하느냐의 정도 차이로 보자면 동의하거든요. 맥락의존성의 정도 차이랄까요? 사회과학으로 이동할 수록 확실히 설명할 수 있는 부분은 한정된다고 느껴요. 특히 제가 했던 인터뷰 기반 질방 같은 경우 특정한 국면을 세세하게 기술하여 우리의 이해를 증진시킬 수는 있지만, 일반화는 불가능하지요. 그 해석의 해석과, 미메시스의 순환이 삶을 이해하는데 유용한 측면이 있을 뿐이고요. 무엇보다도 이러한 연구(인터뷰든, 주제 분석이든)는 연구자가 다른 연구들보다도 해석에 적극적으로 개입하기 때문에 언제나 자신의 해석에 조심스러운 태도를 취해야 한다고 생각해요. 어떠한 방법론적 도구와 이론적 도구를 사용하느냐에 따라 미려하게 보이는 지점, 깜깜하게 안 보이는 지점, 결과를 적용할 수 있는 지점에 차이가 존재하는데 하나의 도구를 은탄환처럼 난사할 때 비극이 시작되지 않나 시포요. 이건 소위 '비판적' 입장에서도, 또 그 도그마적 성격을 비판하는 입장에도 마찬가지라 보고요.

여튼 참 어려워요. 저도 전 여자친구와 헤어졌을 때 "안마방에라도 간 거 아냐? 그렇지 않고서야 그런 말을 하면서 헤어질리가 없잖아"까지도 들어봤던 입장인데 ㅋㅋㅋㅋ 또 젠더, 퀴어, 인종, 장애 등의 '비판적' 연구들이 자아내는 정치적인 효력과 이를 통해 더 나아지는 누군가의 삶은 지지하거든요. 그냥 소박하고 신중한 선에서 서로의 주장들을 받아들이고, 또 고민하면서 그렇게 가려고요.

유튜브 링크는 감사해요. 이따 퇴근하면서 들어볼게요. 뿅

이게 되게 저급한 저격인게 어느 학계나 당대에 핫한, 즉 시류를 타고있는 주제라는건 당연히 존재하기 마련이고, 그렇게 시류를 타는 소위 topical한 연구들은 시덥잖은것도 논문 발표가 잘된다는건 만고불변의 진리이자 학계 종사자 모두의 불만입니다. 그걸 마치 여성학계만의 문제인것 처럼 포장하려는건 얄팍한수인거죠.

어떻게 보면 본인들도 허술한 methodology를 사용했음에도 불구하고 이 사람들의 사기극이 이정도 화제성을 지니는 것도 본인들이 결국엔 페미니즘이 현재 지니는 시류를 적극적으로 타면서 활용하였기 때문이란걸 생각해보면 역설적으로 이 활극이 메타적인 의미를 더 지닐수도있겠네요.

학계의 자정능력 중 개별논문의 피어리뷰는 수많은 필터 중 한가지일뿐입니다. 물론 더 개선되어야하는건 맞지만 이게 무슨 학계에서 전혀 모르고있던 학계의 맹점을 까발리는 그런 행위로 포장되는건 학계경험이 적은 사람들에게 어필하기 위한 자극적인 메세징이라고 봐야겠죠.

April_fool 님// 리뷰 많이 했고 저널 편집해본 적도 있습니다만 단검님 댓글에 공감합니다. 피어리뷰 시스템이라는 것이 여러가지 면에서... 빈틈없이 돌아가기가 쉬운 것은 아닙니다.

크게만 이야기하면 일단 상당한 노력없이는 직접 다 관리하는 게 불가능하고, 출판사(엄청나게 큰 곳임에도 불구하고)쪽 담당 직원도 말도 안되는 실수를 하고, 퇴사 시 인수인계도 잘 안되어서 일 진행이 빠릿하지 않고, 수준높은 리뷰어들에게서 리뷰 승낙 받기도 어려운 상황에 시간의 압박도 있습니다. 거기다 리뷰어가 딜레이하기 시작하면 별 효과도 없는 독촉을 해보거나, 대신 빠르게 해줄 다른 리뷰어를 구해야합니다. 액션에디터까지는 자기일이라고 생각하고 그래도 챙기겠지만.. 피어리뷰어들한테 독촉해봤자, 바쁜 사람은 자기 실적도 아닌데 시간 나면 하거나 급하게 하는 대신 대충하겠죠.. 이 과정 중 어딘가에서 물이 샌다고 해도 크게 놀라울 일은 아니라는 겁니다.
다만, 저런 조작질을 하는 건 학문적 자살이라고도 부릅니다. 한 두번은 넘어갈 수도 있으나, 걸렸을 때의 리스크가 크기 때문에요. 리볼버에 한 발만 넣었다고 랜덤으로 당기는 게 쉽지는 않죠. 저치들이야 이렇게 할 거였으니까 리스크없이 신나서 했겠지만.