- 회원들이 추천해주신 좋은 글들을 따로 모아놓는 공간입니다.
- 추천글은 매주 자문단의 투표로 선정됩니다.
Date 15/09/08 14:29:42
Name   Azurespace
Subject   거장의 그림을 30초만에 만들다: DeepStyle
아래 DeepDream이 주목받기 시작하고 두어달 정도가 지나고...
지난 8월 26일, 그러니까 아직 2주일도 채 되지 않은 시점에 딥 러닝 커뮤니티의 사람들을 충격과 공포에 빠뜨리는 논문이 Arxiv에 올라왔습니다.

A Neural Algorithm of Artistic Style, (http://arxiv.org/abs/1508.06576 )

Arxiv는 CS쪽 연구를 하는 사람들이 요즘 쓰는 일종의 논문 전용 게시판 같은 건데, CS쪽이 워낙 비슷한 아이디어로 시작하는 연구가 많다보니 학회에 제출하고 확인받는 동안 비슷한 연구가 세상에 나와버리는 경우가 허다합니다. 이걸 막기 위해 "내가 찜했다!" 하는 식으로 미리 올려두는 식으로 사용되고 있죠.

솔직히 구글의 DeepDream도 충격적이었지만, 그게 나온지 얼마나 되었다고 이런 응용이 나오는가! 아, 세상에 똑똑한 사람들은 많구나하고 새삼 깨달았다고 할까요.
머신러닝을 하시는 분이면 이미 이 논문을 보셨을 가능성이 크고, 그렇지 않으시더라도 읽어보시면 금방 아실테니 세세한 디테일에 대해서는 거두절미해버리고
아주 간략하게 제가 이해한 방법에 대해서만 말씀드리도록 하겠습니다.


이전 글(https://redtea.kr/pb/pb.php?id=free&no=943) 에서 설명드린 DeepDream에서는 이 그림의 내용이 무엇인지, 즉 컨텐츠에 대한 정보를 담고 있는 네트워크를 사용했습니다. 네트워크 학습에 사용되는 알고리즘을 거꾸로 뒤틀어서, 이미 학습된 네트워크는 고정하고, 자신이 원하는 인식 결과가 나오도록 원본 이미지를 조작했고 그를 통해서 꿈꾸는 듯한 이미지를 만들어낼 수 있었지요.

이 논문의 저자들은 네트워크를 하나 더 추가했습니다. 그래서 총 두 개의 네트워크를 갖게 되는데...
하나는 DeepDream에서와 마찬가지로 이미지의 Content, 내용이 무엇인지 인식하는 네트워크입니다.
그리고 다른 하나의 네트워크는 이미지로부터 질감(texture)를 추출하기 위한 네트워크입니다. 이쪽 네트워크는 꽤 재미있는 방법으로 학습시켰는데 관심있는 분은 논문의 methods 파트를 읽어 보시기 바랍니다.


아무튼 내용을 인식하는 네트워크와 질감을 인식하는 네트워크 둘이 만들어졌는데, 최종적으로는 이 둘을 접합해서 하나의 네트워크를 만드는  형태가 됩니다. 뭐어 뇌 일부를 떼서 다른 뇌신경에 연결하는 것과 비슷한 느낌이죠? 실제로 이걸 신경망 이식이라고 부르기도 합니다만... 그건 중요한 것이 아니고요.

아무튼 두 네트워크를 합쳤으니, 이제 입력으로 어떤 사진을 집어넣으면 사진의 내용과 그 질감을 모두 예측하는 인공신경망이 완성되었습니다. 그리고...

이 논문 저자들은 쉽게 말해서 Content response는 그대로 고정하고, Texture response만 바뀌도록 DeepDream 알고리즘을 적용한 겁니다.

보다 쉽게 자연어로 설명하면
"야, 그림 a랑 그림 b가 여기 있어. 그림 a의 내용을 그대로 보존하면서 그림 b랑 똑같은 느낌이 들게 해봐"  
라고 명령한 것입니다.


왜 커뮤니티 사람들이 충격과 공포에 빠졌는지 보여드리겠습니다..
논문 원본에 첨부된 Figure입니다.



각 그림 왼쪽에 붙은 작은 그림들은 스타일을 모사한 작품이 무엇인지 나타낸 겁니다.

A가 독일의 튀빙겐이라는 곳에서 찍힌 '사진' 이며 원본입니다.
B는 A를 터너의 <미노타우르스 호의 난파>와 같은 질감으로 그리도록 한 것입니다.
C는 빈센트 반 고흐의 <별이 빛나는 밤>을 따라 그리도록 한 것입니다.
D는 뭉크의 <절규>
E는 피카소의 <앉아 있는 나체의 여성>
F는 칸딘스키의 <구성 VII>

를 모사한 겁니다.


허허허... 그야말로 Stunning이라는 말이 무슨 뜻인지 알겠더군요.

사람들도 경악해서 황급히 논문에 제시된 알고리즘을 직접 구현해보기 시작했죠. 도저히 원 저자가 소스를 공개하기를 기다릴 수 없었던 겁니다.
그래서 순식간에 너댓개의 구현체가 등장했고...

되네요....
심지어 한계도 없는 것 같아요...


에셔가 그린 금문교...


피카소가 그린 간달프...


고양이 사진을 줬더니 스케치를 하네요...


이건 한 서양 유저가 테스트한 그림들을 모아둔 것이고요.



하이고오..

컴퓨터가 그림도 나보다 낫구나...


* 난커피가더좋아님에 의해서 자유 게시판으로부터 게시물 복사되었습니다 (2015-09-19 08:10)
* 관리사유 : 추천게시판으로 복사합니다.



10


    목록
    번호 제목 이름 날짜 조회 추천
    1376 기타삶의 의미를 찾는 단계를 어떻게 벗어났냐면 8 골든햄스 24/03/14 923 18
    1375 기타소수 사막은 얼마나 넓을까? 4 Jargon 24/03/06 869 4
    1374 기타민자사업의 진행에 관해 6 서포트벡터 24/03/06 827 8
    1373 기타노무사 잡론 13 당근매니아 24/03/04 1528 16
    1372 기타2024 걸그룹 1/6 2 헬리제의우울 24/03/03 613 13
    1371 기타소회와 계획 9 김비버 24/03/03 855 20
    1370 기타터널을 나올 땐 터널을 잊어야 한다 20 골든햄스 24/02/27 1560 56
    1369 정치/사회업무개시명령의 효력 및 수사대응전략 8 김비버 24/02/21 1401 16
    1368 체육/스포츠(데이터 주의)'자율 축구'는 없다. 요르단 전으로 돌아보는 문제점들. 11 joel 24/02/19 955 8
    1367 역사 AI를 따라가다 보면 해리 포터를 만나게 된다. 4 코리몬테아스 24/02/18 1054 11
    1366 체육/스포츠(데이터 주의)'빌드업 축구'는 없다. 우루과이전으로 돌아보는 벤투호의 빌드업. 13 joel 24/02/12 1326 30
    1365 기타자율주행차와 트롤리 딜레마 9 서포트벡터 24/02/06 1184 7
    1364 영화영화 A.I.(2001) 18 기아트윈스 24/02/06 1115 23
    1363 정치/사회10년차 외신 구독자로서 느끼는 한국 언론 32 카르스 24/02/05 2549 12
    1362 기타자폐아이의 부모로 살아간다는건... 11 쉬군 24/02/01 2151 69
    1361 일상/생각전세보증금 분쟁부터 임차권 등기명령 해제까지 (4, 完) 6 양라곱 24/01/31 2812 37
    1360 기타텃밭을 가꿉시다 20 바이엘(바이엘) 24/01/31 1001 10
    1359 일상/생각한국사회에서의 예의바름이란 18 커피를줄이자 24/01/27 6533 3
    1358 일상/생각전세보증금 분쟁부터 임차권 등기명령 해제까지 (3) 17 양라곱 24/01/22 6160 22
    1357 일상/생각전세보증금 분쟁부터 임차권 등기명령 해제까지 (2) 17 양라곱 24/01/17 5687 14
    1356 요리/음식수상한 가게들. 7 심해냉장고 24/01/17 1254 20
    1355 일상/생각전세보증금 분쟁부터 임차권 등기명령 해제까지 (1) 9 양라곱 24/01/15 2672 21
    1354 기타저의 향수 방랑기 31 Mandarin 24/01/08 3294 2
    1353 의료/건강환자의 자기결정권(autonomy)은 어디까지 일까? 7 경계인 24/01/06 1276 21
    1352 역사정말 소동파가 만들었나? 동파육 이야기. 13 joel 24/01/01 1307 24
    목록

    + : 최근 6시간내에 달린 댓글
    + : 최근 12시간내에 달린 댓글

    댓글