- 다양한 주제에 대해 자유롭게 글을 작성하는 게시판입니다.
Date 16/03/13 19:02:31수정됨
Name   Azurespace
Subject   알파고의 약점이란
작성자가 본문을 삭제한 글입니다.



8


    마스터충달
    약점이 실수라니... 인간같잖아요;;
    레지엔
    학습 방식이 모든 학부모가 자긴 안해도 자기 자식한테는 시키고 싶은 그것과 유사하거든요. 왕창 경험시켜서 알아서 패턴을 찾아내서 깨닫게 만들기...
    마스터충달
    그러다 사춘기와서 말이라도 안들으면....ㅋㅋㅋ
    레지엔
    포맷하고 다시 깔면 되죠... 아동 학대 아니 인공지능 학대...
    하늘밑푸른초원
    패턴, 원리를 먼저 명시적으로 가르치고 시작하진 못하다는 말씀이신가요?
    레지엔
    제가 바둑을 몰라서 이번에 정확하게 어떻게 먹였는지는 모르겠는데, 동일한 학습방식을 쓴 다른 프로그램이나 체스의 경우에는 결과를 피드백하는 수단을 매우 단순화하고 그냥 실전 돌입에 가깝게 시켰을 겁니다. 발생하는 데이터를 코딩하는 방식에 오히려 더 힘을 쏟았을 거고... 체스로 치면 뭐 오프닝을 가르친다거나 엔드게임의 기본수를 가르친다거나 이런 거 없이, 몇 가지 원칙(기물은 같은 칸에 두 개 있을 수 없다, 늦게 들어온 게 먼저 있던 걸 치운다, 같은 색의 기물은 서로를 공략하지 않는다, 킹이 잡힐 수 밖에 없는 상황에 들어가면 ... 더 보기
    제가 바둑을 몰라서 이번에 정확하게 어떻게 먹였는지는 모르겠는데, 동일한 학습방식을 쓴 다른 프로그램이나 체스의 경우에는 결과를 피드백하는 수단을 매우 단순화하고 그냥 실전 돌입에 가깝게 시켰을 겁니다. 발생하는 데이터를 코딩하는 방식에 오히려 더 힘을 쏟았을 거고... 체스로 치면 뭐 오프닝을 가르친다거나 엔드게임의 기본수를 가르친다거나 이런 거 없이, 몇 가지 원칙(기물은 같은 칸에 두 개 있을 수 없다, 늦게 들어온 게 먼저 있던 걸 치운다, 같은 색의 기물은 서로를 공략하지 않는다, 킹이 잡힐 수 밖에 없는 상황에 들어가면 끝난다)만, 아주 낮은 수준에서 가르치고 시작하는 거죠. 저 원칙도 몇 개는 생략가능합니다. 예컨대 스테일메이트랑 체크메이트를 그냥 결과값으로 다르게 주고 알아서 \'이렇게 해야 이기는 거구나\'를 익히게 할 수도 있고(체스마스터 신 버젼이 이런 식으로 돌렸던 걸로)... 인간끼리는 대충 어떻게 설명될 것도 같은데 기계에 인풋이 안 될 것 같은 or 오류가 발생할 수 있는 패턴은 아예 처음부터 가르치지 않고 학습시키고 있을거에요.
    Azurespace
    네. 현재로서는 그런 식으로 학습할 수 없습니다.

    아주 명확한 규칙이 존재하는 문제라고 하더라도, 신경망을 학습시키려면 그 규칙을 바탕으로 많은 양의 데이터를 생성하고, 그 데이터를 학습시키는 식으로 규칙을 스스로 터득하도록 해야 합니다.
    April_fool
    그러면 바둑은 규칙을 기반으로 직접 데이터를 생성하기에는 경우의 수가 너무 많은 건가요?
    Azurespace
    우리는 무엇이 최선의 다음 수인지를 모르니까요.

    그리고 그런 식으로 명확한 데이터를 만들 수 있는 분야면 신경망은 비효율적입니다. 데이터를 생성할 때 사용한 그 알고리즘을 그냥 쓰는게 낫죠
    Beer Inside
    한국기원에서 쪽집게 과외 해야할 듯
    이사무
    에고;; 다른 쪽 불판게시판과 올리신 글을 같이 보다가 댓글을 반대로 달았네요 흐흐;;
    이런 실수도 딥러닝을 거치면 나아질까요?
    뒷짐진강아지
    구글이 원하는 데이터가 오늘의 데이터일겁니다.
    앞으로 오늘같은 78수가 나왔을때(오늘은 78수 이후로 실수가 연발되었죠) 어떻게 대처를 할 것인가?
    그리고 과연 궁지에 몰렸을때 어떻게 대처를 할것인가?

    그나저나 중반에 거의 던졌는데, 그걸 어떻게 해서든 극복할려는 과정은 장난이 아니더라구요...
    (사람이라면 진작에 돌던지고, 남은 상황이었죠...)
    Azurespace
    78수 이후로는 실수라기보다 이해가 되는 행태입니다.

    일단 강화학습은 문제에 대해 보상(reward)이 정의가 되면. 이 보상을 최대로 만들 수 있는 방향으로 스스로의 행동 정책을 바꿔나갑니다. 그런데 알파고 논문을 보면 이기면 보상이 +1, 지면 보상이 -1(벌칙)으로 정의하고 있습니다.

    즉 한 점 차로 이기나 수십수 차이로 이기나 동일한 것처럼, 한 점 차로 지나 수십수 차이로 지나 똑같다고 생각하는 것이죠.

    그래서 여기다 두나 지고 저기다 두나 똑같이 지니까 말도 안 되는 수를 막 던지는 겁니다.


    ... 더 보기
    78수 이후로는 실수라기보다 이해가 되는 행태입니다.

    일단 강화학습은 문제에 대해 보상(reward)이 정의가 되면. 이 보상을 최대로 만들 수 있는 방향으로 스스로의 행동 정책을 바꿔나갑니다. 그런데 알파고 논문을 보면 이기면 보상이 +1, 지면 보상이 -1(벌칙)으로 정의하고 있습니다.

    즉 한 점 차로 이기나 수십수 차이로 이기나 동일한 것처럼, 한 점 차로 지나 수십수 차이로 지나 똑같다고 생각하는 것이죠.

    그래서 여기다 두나 지고 저기다 두나 똑같이 지니까 말도 안 되는 수를 막 던지는 겁니다.


    제가 딥마인드 직원이었다면 보상을 게임 종료 후의 집수 차이로 했을 텐데, 그렇게 안 한 이유가 따로 있는지는 모르겠습니다만... 그렇게 변경해서 다시 학습시키면 이기고 있을 때나 지고 있을 때나 최선을 다해 격차를 벌리거나 좁히려고 노력할 것을 기대할 수 있습니다.
    뒷짐진강아지
    그렇군요 살짝 잘못언급한거 같네요...
    본래 의도한 저의 의미는, 저수 이후에 확률상 불리하니 만회를 해볼려고 노력할려다 혹은 블러핑을 시도하다가(?) 망했다를 의미 했던건데...
    하긴 컴퓨터에겐 실수라는 단어 자체가 웃기기긴하죠...(에러면 에러지 실수는 없죠...)

    그나저나 항복을 선언할때, 해당 게임정보를 추가했다라는 메시지보고 소름돋았습니다...
    격차를 벌리려고 무리하다가 뒤집어지는걸 막으려는것 아닌가요? 궁극적인 목표를 이기기만 하면 된다고 설정한것에 큰 문제는 없어보이는데요.
    Azurespace
    그러나 집의 크기를 전혀 고려하지 않으면 현재 알파고처럼 최선을 다하지 않는 모습이 나오니까요.. 집 차이 자체를 리워드로 하면 말씀하신 것처럼 무리수를 두어 버릴 수 있으니, 적당한 threshold를 기준으로 그보다 크게 이기면 +2, 적게 이기면 +1 같은 식으로 정의하는 편이 더 흥미로운 결과를 낳을 것 같거든요
    ArcanumToss
    그동안 알파고가 바둑을 두는 것을 관찰해 보니 구글이 알파고에 적용한 인공지능 방법론은 다음과 같은 두 가지 약점을 보이게 되는 것 같습니다.

    일반화의 오류, 그리고 이 오류로 인해 나타나는 일반적이지 않은 특이한 상황에 대한 대응 능력 부족.

    아마도 현재의 딥러닝 + 자가학습을 통한 추상화는 일반화에 특화되어 있는 것으로 보이지만 이 일반화라는 것에만 특화되다 보니 인간으로 치면 \'지나친 편견을 가진 사람\'과 비슷하게 되는 것 같습니다(평균값 집착증이라고 표현할 수도 있을 것 같고요).
    물론 이게 대체로 큰 장점으... 더 보기
    그동안 알파고가 바둑을 두는 것을 관찰해 보니 구글이 알파고에 적용한 인공지능 방법론은 다음과 같은 두 가지 약점을 보이게 되는 것 같습니다.

    일반화의 오류, 그리고 이 오류로 인해 나타나는 일반적이지 않은 특이한 상황에 대한 대응 능력 부족.

    아마도 현재의 딥러닝 + 자가학습을 통한 추상화는 일반화에 특화되어 있는 것으로 보이지만 이 일반화라는 것에만 특화되다 보니 인간으로 치면 \'지나친 편견을 가진 사람\'과 비슷하게 되는 것 같습니다(평균값 집착증이라고 표현할 수도 있을 것 같고요).
    물론 이게 대체로 큰 장점으로 작용하긴 하지만 편견(지나친 일반화)으로 인해 무시하게 되는 정보들이 발생(그리고 이들 중에는 바둑으로 치면 \'신의 한수\'같은 중요한 정보도 포함될 수 있습니다)하고 이로 인해 돌발상황(일반적이지 않은 상황, 평균값에서 벗어난 상황, 지나친 일반화를 통해 무시하게 된 정보들, 버렸던 정보들 중에 신의 한수 같은 중요한 정보가 포함된 상황)이 발생하면 그에 대한 대처를 하는 학습을 하지 않은 탓에 알둥지둥^^하게 될 수 있다는 생각이 들더군요.
    그래서 어떻게 보면 안전을 책임져야 하는 상황에서 작동하는 인공지능(이를테면 무인 운전 인공지능)에 알파고에 적용된 알고리즘을 적용하게 되면 돌발상황에 대한 대처가 약하기 때문에 그대로 사고로 이어질 수도 있다는 생각입니다.
    그래서 구글이 무인 운전 인공지능을 테스트하다가 인공지능의 실수로 사고가 난 것이 아닌가 하는 생각이 들고요.
    따라서 현재의 인공지능을 보완할 수 있는 방법에 대한 연구가 필수적일 것 같습니다(제 생각에는 만일 이게 만만치 않은 일이라면 이 분야에 특화된 기술을 가진 기업을 만들면 대박날 것 같다는 생각도 언뜻 들기도 하네요).
    그리고 이것은 일종의 버그로도 볼 수 있기 때문에 이에 대한 해법을 찾지 않은 채로 인공지능을 안전과 관련된 분야나 돌발 상황 거의 발생하지 않는데 한번 발생하면 심한 손해나 손상을 입을 수 있는 분야에 적용한다면 언젠가는 필연적으로 안전 등에 큰 문제를 일으킬 수밖에 없다고 봅니다.
    따라서 현재의 알파고에 적용된 인공지능 기술은 \'통제가 잘 되는 상황\'에만 국한해서 적용할 수 있는 아직은 일반화될 수 없는 기술이라고 볼 수 있다는 생각입니다.
    만일 이러한 단점(일반화에만 집착해서 편견을 가질 수밖에 없는 인공지능)을 보완하게 된다면 \'통제가 잘 되지 않는 상황\'에서도 적용되는 일반화된 기술로 적용할 수 있어 신세계가 열릴 것 같고요.




    여담으로... 이런 기술로 발전된다면 바둑의 신이 되는 것도 가능할 것 같다는 생각입니다.
    그리고 이렇게 하려면 제가 지금은 일반화하면서 버리는 것 같다고 생각하고 있는 데이터를 활용하는 게 키가 될 수도 있겠다는 생각도 함께 드네요.
    그런데 이게 그렇게 어려울 것 같지는 않고... 아니... 어려울까요? ^^;
    하니남편
    알파고의 연산속도가 인간보다 빠르다고 하셨는데...제가 공부에 손을 놓은지가 10년이 넘어서 지금 상황을 몰라서 그러는데 그 연산 빠른것을 0.1에서 다시 현실로 돌려 놓을때 병목현상까지 합친시간도 인간의 두뇌보다 빠른가요?? 그것때문에 필요한게 양자 컴퓨터인데...이게 해결되면 양자 켬퓨터 자체가 필요하지 않다는 소리거든요.
    Azurespace
    다시 현실로 돌려놓는다는게 무슨 의미인지 짐작이 안 됩니다...
    하니남편
    예를 들면 3+3을 계산한다고 치면 사람은 바로 6이 나오지만 컴퓨터의 경우에는 3을 이진법인 11로 바꾼다음에 계산한후 다신 10진법으로 바꿔서 표현하는데 이게 연산이 복잡해지면 병목현상이 발생해서 오래 걸립니다. 이걸 해결하는 방안으로 나온게 양자 컴퓨터인데 뭐 이걸 제처두고도...이미 프로세스들을 여러게 이어 붙여서 만든 컴퓨터의 연산속도가 이미 충분하다는 이야긴가 싶어서 물어본겁니다.
    Azurespace
    아뇨.. 10진법으로 다시 바꿀 필요가 전혀 없는데요. 최초의 컴퓨터인 에니악부터 지금까지 나온 모든 컴퓨터는 그냥 2진법으로 모든 계산을 합니다. 양자 컴퓨터가 필요한 이유도 그와는 전혀 상관없고요.
    듣보잡
    오 역시... 정확한 분석입니다.
    눈부심
    이번엔 인간이 이겼군요! 아아 설명해주신 거 너무너무 재밌습니다.
    소노다 우미
    향후 Reward 를 집 수로 처리하게 되면 오늘같은 일은 앞으로는 없겠죠. 그렇다면 이번 5국 승부가 정말 마지막 승리일지도 모르겠네요....
    아직 미완성된 AI를 보면 스타니슬라프 페트로프가 생각납니다.. 컴퓨터는 핵탄두를 실은 ICBM이라고 판단했지만, 스스로 컴퓨터 오류라고 생각하고 대응하지 않았는데, 그게 정답이었죠... 만약 AI가 오류가 나서 똑같이 핵미사일로 대응할 수도 있다면... 하는 생각을 해봅니다.
    Reward를 집수로 처리하면 바둑의 objective와는 달라지는게 아닐까요? 현실에서도 반집으로 이기나 15집반으로 이기나 이긴건 똑같습니다.
    이미 많은 계산을 해야 할텐데 +1,-1이 알파고에겐 최상의 방법이겠죠.
    알파고의 objective가 사람과 비슷하게 바둑을 두기가 아닌 단순하게 이기는 바둑을 두려면 +1,-1 가 맞는거 같습니다.
    Azurespace
    정의하기 나름이겠습니다만, 똑같이 변수 없이 3점차로 이기는 방법이 있는데 1점차로 가는 수를 선택한다면 최선의 수를 두는 인공지능이라고 할 수 없잖아요? 정책망 학습에 쓰는 rewards 는 변경하되, M CTS에서의 탐색 우선순위는 가치망이 예측하는 승률을 우선으로 하면 이기는 바둑을 두면서도 최선의 수를 찾으려 하지 않을까 하는 게 제 생각이에요. 할 수 있다면 몇 가지 조합의 세팅을 모두 마련해서 최적의 파라메터를 찾아간다면 좋을 듯해요
    보이차
    1점차와 3점차 둘다 변수없이 이기는 수라면 머신러닝 관점에서 똑같은 최적값입니다.
    실제로는 그런 경우도 잘 없거니와 최선을 다하지 않는 것 같이 보여도 그 이전과 같은 알고리즘으로 동작하고 있는거죠.. 승률 최대화...
    아시다시피 최적화 문제에 항을 하나 더 추가하면 두 항이 정확히 같은 모양을 갖지 않는 이상 기존식의 최적값에는 손실이 생기게 됩니다.
    즉 아주 작더라도 얼마간의 승률을 희생해서야 집차를 벌릴 수 있다는 거지요.

    말씀하신 내용이 적절한 근거로서 들어지기 위해서는 1점, 3점차 상황에서 변수없이 동... 더 보기
    1점차와 3점차 둘다 변수없이 이기는 수라면 머신러닝 관점에서 똑같은 최적값입니다.
    실제로는 그런 경우도 잘 없거니와 최선을 다하지 않는 것 같이 보여도 그 이전과 같은 알고리즘으로 동작하고 있는거죠.. 승률 최대화...
    아시다시피 최적화 문제에 항을 하나 더 추가하면 두 항이 정확히 같은 모양을 갖지 않는 이상 기존식의 최적값에는 손실이 생기게 됩니다.
    즉 아주 작더라도 얼마간의 승률을 희생해서야 집차를 벌릴 수 있다는 거지요.

    말씀하신 내용이 적절한 근거로서 들어지기 위해서는 1점, 3점차 상황에서 변수없이 동일하게 이기는 수인 경우가 아니라 두 상황이 알파고 대국 알고리즘의 유한한 탐색공간 상에서는 동일한 혹은 거의 같은 값을 가지나 실제로는 3점차 상황이 유의미하게 유리한 상황일 수 있다는 (실제로 옳을 가능성이 높은) 가정이 있어야 합니다. 그리고 이 경우에, 이전 글에서 말씀하셨다시피 지고있는 상황에서도 최대한 따라붙는 알파고의 행동이 의미가 있을 수 있습니다. 탐색하는 유한한 수 공간 내에서 어떻게 해서든 역전을 만들어 내려고 무리한 수를 찾기보단 차라리 따라붙는 행동이 더 나은 결과를 가져오는 경우가 있을텐데 그러한 전략적 포지션 변화가 말씀하신 것처럼 이루어진다면 일종의 메타 알고리즘으로서 가치가 있을 것으로 생각합니다.
    Azurespace
    아니면 패배에 대해서만 집 차이에 대해 체벌값을 강하게 줘서 학습하는 것도 방법이라고 생각이 드는군요. 이러면 불리할 때는 질때 지더라도 최대한 따라잡으려 할테고, 그러다가 상대의 실수가 나와서 역전이 되면 최대한 안정적으로 지키는 거고요.
    Azurespace
    하샤비스의 공식적인 발표가 있었는데, 알파고는 이세돌에 78수에 그 위치에 둘 확률을 1/10000으로 예상했답니다. 즉 실제로 가치망의 착각 때문에 역전을 허용했다는 거지요
    목록
    번호 제목 이름 날짜 조회 추천
    공지 티타임 게시판 이용 규정 2 Toby 15/06/19 32710 7
    15355 꿀팁/강좌2. 인스타툰을 위한 초보적인 기초를 해보자! 6 흑마법사 25/04/02 247 12
    15354 일상/생각이상적인/사악한 아름다운 한국 사회 3 골든햄스 25/04/02 473 6
    15352 기타만우절 이벤트 회고 - #2. 캐릭터 설정은 어떻게 했나 12 토비 25/04/02 386 19
    15351 기타만우절 이벤트 회고 - #1. 왜 했나, 왜 그런걸 했나 81 토비 25/04/02 1229 43
    15350 오프모임[마감]4월 5일 5시 학동역 세종한우 갑시다. 18 송파사랑 25/04/01 714 6
    15349 정치젊은 공화국의 미망 - 12·3 계엄과 장기 내란 3 meson 25/04/01 624 7
    15348 경제[개업인사] 법률사무소 간성 김태웅 변호사 개업인사 135 김비버 25/03/31 1750 102
    15347 게임퍼스트 버서커 카잔 - 5시간 짧은 후기 2 kaestro 25/03/31 340 2
    15346 사회장애학 시리즈 (6) - 청력에 더해 시력까지라고? 1 소요 25/03/30 355 5
    15345 일상/생각오늘은 마나님께 최고의 서비스를 제공해야 합니다^^ 4 큐리스 25/03/28 657 4
    15344 경제[의료법인 회생절차 가이드(1)] 요양급여 및 본인부담금 채권 압류해제 어떻게 해야할까? 1 김비버 25/03/28 362 2
    15343 정치(혐오주의) 생성형 AI는 예상보다 빠르게 극단주의를 퍼트릴지도 모르겠습니다 12 명동의밤 25/03/27 1561 9
    15342 정치2심 무죄가 나온 내용 (1) 55 명동의밤 25/03/26 2157 12
    15341 기타트랙터 잡썰 4 잔고부자(전문가) 25/03/26 483 5
    15340 정치연금 문제-결국 답은 소득주도성장에 있다. 9 kien 25/03/25 1160 0
    15339 일상/생각알중고백 7 당근매니아 25/03/25 756 6
    15338 오프모임3/27(목) 신촌서 봅시다아 26 나단 25/03/25 796 0
    15337 일상/생각평범한 동네 이야기 4 nm막장 25/03/24 511 7
    15336 도서/문학[서평] 행복에 걸려 비틀거리다 - 대니얼 길버트, 2006 1 化神 25/03/24 373 9
    15335 일상/생각와이프한테 보낼 보고서 써달라고 했습니다. 클로드한테 ㅋㅋㅋㅋ 6 큐리스 25/03/24 805 2
    15334 정치국민연금 개혁안에 대한 여야합의에 대해 이해가 가지 않는 부분 9 파로돈탁스 25/03/24 993 1
    15332 일상/생각감자와 당근의 이야기입니다~~ 7 큐리스 25/03/24 477 0
    15331 일상/생각기분 좋은 하루를 기록하기 3 골든햄스 25/03/22 515 11
    15330 일상/생각국민연금 내기 싫다, 고갈되면 나는 헛돈 낸 게 아니냐는 친구의 말을 듣고.. 15 타치코마 25/03/21 1771 5
    목록

    + : 최근 2시간내에 달린 댓글
    + : 최근 4시간내에 달린 댓글

    댓글
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기
    회원정보 보기
    닫기