음.. 제가 알기로 기계번역에서 딥 러닝으로 최근에 가장 괄목할만한 성과를 내신 분이 뉴욕대의 조경현 교수님이신데요

이 분의 최근 연구자료들을 보면 네트워크 자체는 특정한 언어의 문법 구조에 의존해야 하는 형태로 만들어져 있지 않습니다.
참고 : https://drive.google.com/file/d/0B16RwCMQqrtdNUptOGtDeDhxZ0E/view
그리고 위에 언급한 회사들도 전세계에 서비스를 해야 하기 때문에 그런 식으로 연구하지는 않을 것으로 보이고요.

다만 위 서비스에 현재 지원되는 언어들은 굴절어 또는 고립어라 단어를 분리해내기가 쉽고, 때문에 학습에 필요한 데이터를 비교적 쉽게 뽑아낼 수 있지 않나 하는 생각은 드네요.

아무래도 네트워크를 학습을 시키려면 많은 양의 데이터가 필요한데 사용인구가 정말로 적으면 이것도 썩 쉽지 않은 일이겠죠.

딥 러닝으로 구할 수 있는 것 중에 워드 벡터라는 것이 있는데요..
딥 네트워크에 어떤 언어로 된 문장을 쭈욱 넣어가면서 학습시켜서 만들게 됩니다.
학습이 끝난 후에 어떤 단어를 집어넣으면 N차원 공간에 매핑을 시켜주는데요.

그런데 이 wordvec이라는게 재미있는 속성을 가지고 있습니다.
결과값이 벡터라서 더하고 빼는 연산이 가능한데, 이게 기묘합니다.

다음과 같이 마치 단어의 의미를 아는 듯한 매핑이 나오거든요.

wordvec(여왕) - wordvec(여자) = wordvec(왕)
wordvec(런던) - wordvec(영국) = wordvec(서울) - wordvec(한국)


아니면 영어에서 is, are, were 등의 동일한 의미를 지니는 단어들은 벡터공간상의 거리가 매우 가깝다던지 하는 식으로요.

다시 말해서, 어떤 두 임의의 단어 사이에 유의어 사전과 같은 명시적인 레퍼런스 없이도, 매핑된 결과를 바탕으로 어떤 의미가 있는지 추론할 수 있는 셈입니다.

워드 벡터를 구하는 방법은 복잡해지니 혹시 필요하시다면 wordvec으로 구글에 검색해보시면 좋은 자료가 많을 겁니다.


아무튼 각 언어에서 똑같은 방법으로 word vector를 구할 수 있겠지요?
그러면 굳이 공통되는 어휘가 많이 있어야 할 필요가 없습니다. 의미가 같다는 것을 아는, 예를 들어서 \"왕\" 같은 단어는 어느 언어에나 있잖습니까? 그런 단어 몇 개만 뽑아내면 각 언어에서 대응되는 단어가 무엇인지 찾아내는 것이 가능하다는 얘깁니다. 벡터공간 내에서 상대적 위치가 동일하겠죠.

뭐... 그러나 꼭 그렇게 복잡한 과정을 거치지 않더라도, 애초에 전제부터 어폐가 있죠. 이 시대에 현존하는 언어 중에, 그리고 기계 번역을 할 만한 언어 중에서, 세계공용어인 영어나 프랑스어로의 번역 데이터가 없는 언어는 사실상 없거든요. 막 저기 아마존 밀림 속의 원시 부족이 사용하는 포합어 이런 거면 모르겠는데... 애초에 그쪽은 문자 표기가 가능한가부터 고민해야 할 문제고(...) 기계번역이 필요한 대상도 아니죠. 그 사람들이랑 대화할 사람이 연구자들밖에 없으니까.


그리고 교착어인가 굴절어인가는 결국 번역기가 내보내는 결과를 해석해서 문법에 맞게 출력하는 부분만 달라지면 되는 거라서 그것이 문제가 되지는 않을 거라는 게 제 생각입니다. 단지 네트워크 학습을 시킬 만한 데이터 세트가 충분히 존재하냐는 것이 진짜 문제죠.