마이크로소프트에서 이틀 전(23일)에 테이(Tay)라는 채팅봇을 트위터를 통해 공개했습니다. 이 채팅봇은 19세 미국인 여자를 모델로 만들어졌으며, 대화 상대는 같은 나이 또래의 미국인으로 상정하고 있다네요. 어떤 기사에서는 테이를 “코타나의 10대 여동생”이라고도 묘사했습니다. MS에서 이 채팅봇을 온라인에 공개한 이유는 많은 사람들과의 대화를 통해 자연어에 대한 학습을 시키기 위한 실험의 일환이라고 하는군요.

https://www.tay.ai/
https://twitter.com/TayandYou

근데, 이 채팅봇은 온라인에 공개된 지 16시간만에 도로 오프라인 상태가 되었습니다. 왜냐고요?

테이는 하루만에 온갖 욕설, 여성혐오, 인종차별적 막말을 흡수하고 말았습니다. 그리고는 트위터를 통해서 이런 혐오성 발언들을 퍼트리게 되었죠. 이를 보다 못한 MS에서 테이를 오프라인으로 만들고, 혐오 트윗을 제거하는 작업을 진행중이라고 합니다.

이걸 보면서 생각난 게 IBM의 왓슨(Watson) 개발 도중에 있었다는 에피소드입니다. 한번은 IBM의 개발팀이 왓슨에게 각종 비속어에 대한 자료를 입력했더니, 금세 왓슨이 욕을 하더라는군요. 깜짝 놀란 개발팀은 입력했던 비속어 관련 자료를 모두 지우고 왓슨을 롤백했다고 합니다.

어쩌면 욕이라는 건 그만큼 흡수해서 써먹기가 쉬운 것인지도 모르겠습니다. 특히 [빈 서판]이나 다름없는 존재(그것이 인공지능이든, 어린이든간에)에게는 말이죠. 옳고 그름에 대한 가치관이 완전히 성립되지 않은 존재일수록 욕을 가볍게 한다고 가정한다면, 인공지능이 쉽사리 욕을 하지 못하게 하는 것은 결국 인공지능에게 특정한 가치관을 심어주는 일이 됩니다. 그런데 그게 과연 쉬울까요.

일전에 이곳에도 소개된 초인공지능에 대한 글에서는 이러한 가치관과 전혀 무관한 어느 인공지능이 인류를 파멸시키는 한 시나리오를 소개하고 있습니다. 이 글에서는 특정 가치관과 무관하다는 것을 “도덕무관적”(amoral)이라고 표현하고 있지요. 도덕무관적인 초인공지능이 인류를 파멸시킬 수도 있다는 것을 생각하면, 인공지능에게 어떤 가치관을 심는다는 것이 생각보다 훨씬 중요한 일이라는 것을 깨달을 수가 있습니다.

인공지능에게 특정한 가치관 및 인간사회의 통념을 심고자 하는 시도가 없는 것은 아닙니다. 예를 들면 http://nownews.seoul.co.kr/news/newsView.php?id=20160221601003 이런 시도가 있지요. 하지만 이것만으로 충분할지는 잘 모르겠습니다. 어쩌면 인공지능을 [올바르게] 가르치는 것이야말로 근미래 인류의 가장 중요한 과업이 될지도 모르겠다는 생각이 드네요.