아래 DeepDream이 주목받기 시작하고 두어달 정도가 지나고...
지난 8월 26일, 그러니까 아직 2주일도 채 되지 않은 시점에 딥 러닝 커뮤니티의 사람들을 충격과 공포에 빠뜨리는 논문이 Arxiv에 올라왔습니다.

A Neural Algorithm of Artistic Style, (http://arxiv.org/abs/1508.06576 )

Arxiv는 CS쪽 연구를 하는 사람들이 요즘 쓰는 일종의 논문 전용 게시판 같은 건데, CS쪽이 워낙 비슷한 아이디어로 시작하는 연구가 많다보니 학회에 제출하고 확인받는 동안 비슷한 연구가 세상에 나와버리는 경우가 허다합니다. 이걸 막기 위해 "내가 찜했다!" 하는 식으로 미리 올려두는 식으로 사용되고 있죠.

솔직히 구글의 DeepDream도 충격적이었지만, 그게 나온지 얼마나 되었다고 이런 응용이 나오는가! 아, 세상에 똑똑한 사람들은 많구나하고 새삼 깨달았다고 할까요.
머신러닝을 하시는 분이면 이미 이 논문을 보셨을 가능성이 크고, 그렇지 않으시더라도 읽어보시면 금방 아실테니 세세한 디테일에 대해서는 거두절미해버리고
아주 간략하게 제가 이해한 방법에 대해서만 말씀드리도록 하겠습니다.


이전 글(https://redtea.kr/pb/pb.php?id=free&no=943) 에서 설명드린 DeepDream에서는 이 그림의 내용이 무엇인지, 즉 컨텐츠에 대한 정보를 담고 있는 네트워크를 사용했습니다. 네트워크 학습에 사용되는 알고리즘을 거꾸로 뒤틀어서, 이미 학습된 네트워크는 고정하고, 자신이 원하는 인식 결과가 나오도록 원본 이미지를 조작했고 그를 통해서 꿈꾸는 듯한 이미지를 만들어낼 수 있었지요.

이 논문의 저자들은 네트워크를 하나 더 추가했습니다. 그래서 총 두 개의 네트워크를 갖게 되는데...
하나는 DeepDream에서와 마찬가지로 이미지의 Content, 내용이 무엇인지 인식하는 네트워크입니다.
그리고 다른 하나의 네트워크는 이미지로부터 질감(texture)를 추출하기 위한 네트워크입니다. 이쪽 네트워크는 꽤 재미있는 방법으로 학습시켰는데 관심있는 분은 논문의 methods 파트를 읽어 보시기 바랍니다.


아무튼 내용을 인식하는 네트워크와 질감을 인식하는 네트워크 둘이 만들어졌는데, 최종적으로는 이 둘을 접합해서 하나의 네트워크를 만드는  형태가 됩니다. 뭐어 뇌 일부를 떼서 다른 뇌신경에 연결하는 것과 비슷한 느낌이죠? 실제로 이걸 신경망 이식이라고 부르기도 합니다만... 그건 중요한 것이 아니고요.

아무튼 두 네트워크를 합쳤으니, 이제 입력으로 어떤 사진을 집어넣으면 사진의 내용과 그 질감을 모두 예측하는 인공신경망이 완성되었습니다. 그리고...

이 논문 저자들은 쉽게 말해서 Content response는 그대로 고정하고, Texture response만 바뀌도록 DeepDream 알고리즘을 적용한 겁니다.

보다 쉽게 자연어로 설명하면
"야, 그림 a랑 그림 b가 여기 있어. 그림 a의 내용을 그대로 보존하면서 그림 b랑 똑같은 느낌이 들게 해봐"  
라고 명령한 것입니다.


왜 커뮤니티 사람들이 충격과 공포에 빠졌는지 보여드리겠습니다..
논문 원본에 첨부된 Figure입니다.



각 그림 왼쪽에 붙은 작은 그림들은 스타일을 모사한 작품이 무엇인지 나타낸 겁니다.

A가 독일의 튀빙겐이라는 곳에서 찍힌 '사진' 이며 원본입니다.
B는 A를 터너의 <미노타우르스 호의 난파>와 같은 질감으로 그리도록 한 것입니다.
C는 빈센트 반 고흐의 <별이 빛나는 밤>을 따라 그리도록 한 것입니다.
D는 뭉크의 <절규>
E는 피카소의 <앉아 있는 나체의 여성>
F는 칸딘스키의 <구성 VII>

를 모사한 겁니다.


허허허... 그야말로 Stunning이라는 말이 무슨 뜻인지 알겠더군요.

사람들도 경악해서 황급히 논문에 제시된 알고리즘을 직접 구현해보기 시작했죠. 도저히 원 저자가 소스를 공개하기를 기다릴 수 없었던 겁니다.
그래서 순식간에 너댓개의 구현체가 등장했고...

되네요....