- 회원들이 추천해주신 좋은 글들을 따로 모아놓는 공간입니다.
- 추천글은 매주 자문단의 투표로 선정됩니다.
Date 15/09/30 01:03:41
Name   Azurespace
Subject   사실 구글은 스카이넷을 만들고 있습니다
http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Vinyals_Show_and_Tell_2015_CVPR_paper.pdf

이번 글의 소재는 올해 CVPR에 제출된 논문입니다.

구글 오픈딥 소속 연구자들이 내어 놓은 건데, 논문 전면의 이름값들이 후덜덜합니다.

그리고 이름값에 부족하지 않을 정도로 후덜덜한 연구 내용입니다.



논문의 초록에서도 밝히고 있습니다만, Image Caption Generating이라는 분야는 상당히 중요합니다. Computer Vision과 Natural Language Processing를 연결하는 교두보이면서 동시에 각 분야의 아주 원천적인 기술을 요구하기 때문입니다.


이들이 풀려고 시도한 문제 자체는 심플합니다. "컴퓨터에게 어떤 사진을 보여주고, 사진의 내용을 영어(자연어)로 설명해 보라고 하는 것" 이죠.

문제가 심플하다고 해서 해법 또한 심플한 경우는 별로 없습니다.
말이야 쉽지만, 사실 이 문제는 여러 작은 문제들로 나뉘게 됩니다.

첫째로 주어진 사진으로부터 사진 속에 등장하는 오브젝트들의 정체를 가려내는 것.
둘째로 각 오브젝트 사이의 관계를 구해내는 것
셋째로 그 관계성을 어색하지 않은 인간의 언어로 풀어내는 것.


이 문제들 각각이 결코 쉬운 것이 아닙니다. 하지만 구글 아닙니까?



원래 이미지에서 뭔가를 인식하거나 하는 용도로는 Convolutional Neural Network란 걸 주로 씁니다. 왜 이미지 인식에서 CNN이 성능이 좋은가 하는 것도 상당히 흥미로운 주제입니다만, 수식이 안 나올래야 안 나올 수도 없고 그렇게 설명하려고 해도 쉽지 않을 것이니(저는 파인만이 아니에요!), 일단은 얘가 사람의 시세포들이 적당히 뭉쳐 있는 것과 약간 비슷한 연결구조를 가진다, 그래서 이미지 인식에 성능이 좋다. 정도로 이해하시면 됩니다.


그리고 자연 언어 처리, 예를 들어서 영어를 프랑스어로 바꾼다던지, 단어들을 벡터 공간에 매핑한다던지 하는 식의 문제에는 보통 Long Short Term Memory(LSTM)이라고 불리는 재귀 신경망(Recurrent Neural Network)을 사용합니다. CNN 같은 신경망은 한쪽 방향으로만 연결이 존재하는데, RNN들은 반대방향으로도 연결이 존재할 수 있어서 보다 복잡한 처리를 할 수 있게 되거든요.



아무튼 이 연구진들에게는...

1. 이미지 분류에 사용하기 위한 CNN이 있고,
2. 자연어 처리에 사용하기 위한 RNN 또한 있었습니다.


그래서 이 연구자들이 한 짓이 뭔가 하면,

1의 CNN의 마지막 계층을 떼어내고,
2의 RNN 맨 앞 계층에다가 가져다 붙였습니다.


상상해 보세요. 웬 미친 과학자놈들이 머리통에서 뇌를 꺼내다가 다른 뇌 옆에다가 척하고 놓더니 전선으로 여기저기를 마구 연결하기 시작하는 거에요. 어후...

물론 뭐 논리적으로만 존재하는 가상의 신경망이기에 고통을 느낀다거나 거부반응에 끔살을 당한다거나 하지는 않았습니다만...


그리고는 뭐 자기네가 들고 있는 데이터 세트를 거기다가 다시 학습시키는 거에요.
이 데이터 세트는 어떻게 만들었냐면, 사진을 주면 사람이 그 사진의 내용에 대해서 설명하는 영어 문장을 만들어요. 그렇게 수천장 수만장을 반복했기 때문에... 아무튼 똑똑한 사람들이니 좋은 사진과 설명을 사용했겠지요.


이렇게 만들어진 신경망은 비록 사람을 이기는 정도는 아니었지만 기존에 이미지 캡션에 사용되었던 수많은 방법들을 전부 다 격파하는 데 성공했다는 말씀.

[http://i.imgur.com/VIRixJM.jpg]


근데 비교대상이 나였으면 쟤가 이겼을 것 같은데... 영어가 짧아서. 으음....


* 난커피가더좋아님에 의해서 자유 게시판으로부터 게시물 복사되었습니다 (2015-10-08 08:35)
* 관리사유 : 추천게시판으로 복사합니다.



4


    앨범 자동 태그 생성기가 되면 후덜덜 할듯...
    곧내려갈게요
    이 동네의 발전속도는 볼때마다 놀라요.
    와.....
    사진의 예시는 거의 다 틀렸는데요...
    밑에 보면 좌->우 순으로 \'오류 없이 묘사/자잘한 오류가 섞인 묘사/이미지와 일부 관련됨/이미지와 관계 없음\' 이렇게 4개 군으로 묶어놓았어요. 그래서 맨 왼쪽 3개 이미지는 정확하게 들어맞고 오른쪽으로 갈 수록 정확도가 떨어지고... 분류 상 거의 다 정확도가 떨어질 수 밖에 없죠 흐흐
    Azurespace
    kpark님께서 설명해주시기도 했지만, 사진과 관련 없는 내용을 생성하는 경우도 있다는 것을 보이기 위한 Figure라서 그렇습니다.

    일단 논문에서는 BLEU라는 방법으로 캡션의 품질을 측정하고 있는데 이 점수가 상당히 높으니 대부분의 사진에 대해서는 올바른 결과를 생성한다고 봐야지요.
    그리고 비록 내용과 설명이 다를지언정 완전하고 문제 없는 영어 문장을 생성한다는 점에 주목해야 하고요.
    그렇군요. 아무튼 대단하네요.
    수박이두통에게보린
    사라 코너?
    王天君
    헐 미친 거 아닌가요 정말 인공지능이란 무시무시하네요
    영어와 일어, 한국어를 통역하는 것처럼,
    이미지 - 영어를 통역할 수 있는 작업을 하는 것 같네요. 신기합니다.
    세인트
    예전에 그 아주 단순한 생명체의 세포 지도를 만들었더니 굳이 인공지능 안 하고도 알아서 생명체처럼 움직이더라 하는 글이랑 이게 저에게는 근래 가장 흥미로운 AI 글이네요.
    세계구조
    와 겁나요 요즘 딥러닝이니 뭐니 발전 속도를 보면...
    신기하기도 하고 무섭기도 하네요.
    person of interest 에 나온 시스템의 실현이 점점 다가오는 듯합니다...
    Feelhmy
    ......하, 하하...
    진짜 대단하네요. 역시 구글입니다.

    더 이상의 말은 군더더기에 불과하기 때문에 이쯤에서 입 다물어야할꺼 같아요(버엉)
    시부야린
    후아.. 딴세상 이야기 같아요.
    인간흑인대머리남캐
    예시짤은 영어문장 쓰기 교재로 좋네요 헤헤
    YORDLE ONE
    미쳤네요 미쳤어 와... 진짜 대단하네요. 소름돋는 발전속도인듯 합니다.
    목록
    번호 제목 이름 날짜 조회 추천
    460 역사삼국통일전쟁 - 2. 살수대첩 22 눈시 17/06/26 4936 14
    814 역사삼국통일전쟁 - 14. 고구려의 회광반조 3 눈시 19/06/03 5022 12
    768 역사삼국통일전쟁 - 11. 백제, 멸망 8 눈시 19/02/10 5082 19
    522 역사삼국통일전쟁 - 10. 황산벌 전투 8 눈시 17/10/02 6911 10
    454 역사삼국통일전쟁 - 1. 일백일십삼만 대군 15 눈시 17/06/18 5257 19
    1376 일상/생각삶의 의미를 찾는 단계를 어떻게 벗어났냐면 8 골든햄스 24/03/14 2411 19
    554 일상/생각삶의 무게... 12 사나남편 17/11/29 5477 22
    363 일상/생각살아온 이야기 26 기쁨평안 17/02/11 5735 38
    1333 일상/생각살아남기 위해 살아남는 자들과 솎아내기의 딜레마 12 골든햄스 23/10/01 3376 20
    152 의료/건강산후우울증에 대한 소고 21 Obsobs 16/02/12 6756 7
    335 철학/종교산타가 없다는 걸 언제쯤 아셨어요? 51 기아트윈스 16/12/30 8242 11
    1132 정치/사회산재 발생시 처벌에 대한 개인적인 경험 3 Picard 21/09/30 4059 25
    672 여행산 속의 꼬마 - 안도라 1 호타루 18/07/29 6131 5
    611 체육/스포츠산 속에서 안 써본 근육을 쓰다가 5 매일이수수께끼상자 18/04/04 7776 23
    919 일상/생각사회주의 대 반사회주의 9 necessary evil 20/02/06 5660 30
    482 일상/생각사회적 조증에 대하여 34 Homo_Skeptic 17/07/25 6679 30
    830 정치/사회사회가 감내할 수 있는 적정비용을 찾아서 41 Fate 19/07/10 7770 38
    977 과학사칙연산 아니죠, 이칙연산 맞습니다. (부제: 홍차넷 수학강의 시즌2 프롤로그) 36 캡틴아메리카 20/07/02 6223 5
    361 꿀팁/강좌사진찍으러 갈까요? 22 사슴도치 17/02/07 7976 25
    1309 일상/생각사진에도 기다림이 필요하다. 6 메존일각 23/07/06 2319 13
    885 일상/생각사진에 대한 매우 사적이고 개인적인 이야기 : 무엇을 어떻게 찍을 것인가 16 사슴도치 19/11/08 5820 19
    1320 경제사업실패에서 배운 교훈, 매출 있는 곳에 비용 있다 7 김비버 23/08/12 3577 28
    79 IT/컴퓨터사실 구글은 스카이넷을 만들고 있습니다 16 Azurespace 15/09/30 9978 4
    821 체육/스포츠사사키 로키, 야구의 신이 일본에 보낸 선물 18 温泉卵 19/06/20 8320 20
    1122 일상/생각사랑하는 소년 6 아시타카 21/08/29 3858 20
    목록

    + : 최근 6시간내에 달린 댓글
    + : 최근 12시간내에 달린 댓글

    댓글
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기