2019.04.24 13:50
간만에 지난 글 둘러보다 재미있는 얘기가 있길래 글을 쓰고 갑니다. 아마도 대부분의 한국인이 그렇겠지만 심층신경망, 흔히 말하는 인공지능에 대한 관심은 알파고와 이세돌의 대결로부터 시작된 경우가 많습니다. 그리고 정말 애석하게도, 바로 그 시점에 대중을 상대로 심층신경망 기술에 대한 오해가 너무 많이 퍼졌습니다. 알파고가 브루트 포스 메커니즘을 이용하기 때문에 인공지능이 실제로 인간을 뛰어넘은 건 아니라는 얘기가 대표적이었죠. 그리고,그 뒤로도 분야 전공자들이 딱히 그런 오해를 적극적으로 바로잡지는 않았습니다. 결과적으로는 인공지능이 그냥 빅데이터 비스끄므레한 고도의 통계장치라는 정도로 전반적인 이해가 형성됐죠. 그리고 그건 크나큰 오해입니다.
심층신경망은 여러 단계의 퍼셉트론을 쌓아올린 인공지능체계의 일종입니다. 퍼셉트론은 인간의 뉴런을 전자적으로 구현한 물건입니다. 기준 이상의 입력이 들어오면 다음 단계로 신호를 전달하는 구조죠. 여러 층의 퍼셉트론을 데이터가 통과하면서 점차 추상적이고 집합적인 데이터를 원본데이터로부터 파악합니다. 패턴 파악이라고 하는건데요. 인물 사진을 예로 들면 1단계 퍼셉트론은 각각의 픽셀이 무슨 색인지 파악합니다. 2단계 퍼셉트론은 앞단계의 데이터로부터 조금 더 고도화 된 패턴을 읽죠. 손가락처럼 보이는 것, 코처럼 보이는 것, 입처럼 보이는 것, 눈처럼 보이는 것... 3단계 퍼셉트론은 다시 전 단계보다 고도화된 패턴을 읽습니다. 얼굴, 팔, 다리, 몸통 따위의 것을요. 그리고 이러한 학습 과정을 통해서 훨씬 빠르고 정확하게 인간의 인지과정을 재현하는 것이 심층신경망기술입니다. 아마 짐작하시는 것에 비해선 훨씬 인간의 인지과정과 유사하다고 생각하셔도 될겁니다.
AI 판사는 자연어 처리(NLP) 기술을 이용하는 형태가 될 가능성이 제일 높습니다. 이건 뭐냐면, 말 그대로 사람이 쓴 글을 이해하는 인공지능입니다. 방법은 의외로 간단해요. 가능한 모든 단어에 대해서 정해진 갯수의 차원을 설정합니다. 제가 접해 본 것 중 가장 큰 건 300개 정도 됐던 것 같네요. 인공지능에게 인간의 텍스트를 학습시키면 인공지능은 300개의 측면에서 개별 단어를 이해할 수 있게 됩니다. 할머니는 노인/여성/가족구성원/단수, 컴퓨터는 무생물/기계/전자제품/단수 따위의 식이죠. 실제로는 더 미묘한 뉘앙스도 충분히 이해합니다. 그리고 이렇게 이해한 단어장들을 통해서, 기계는 인간이 하고자 하는 말을 이해할 수 있게 됩니다. 이제, 법조문 전부와 해당 사건의 양측 입장문이 입력되면 기계는 사건을 이해합니다. 이런 이해는, 본질적으로 판사가 수행하는 것과 같은 일을 합니다. 나아가서 증거법정주의에 따라 제출되지 않은 모든 맥락이나 사회적 압력을 무시하는 것은 인간보다 훨씬 더 잘 할 수 있죠. 애초에 그런 걸 입력하지 않으면 되니까요. 헌법재판소 수준의 가치관에 따른 이익형량을 다루는 수준까지는 현재로서 기대하기 힘듭니다만, 정해진 것으로부터 결론을 도출하는 작업인 이상 인공지능이 못 할 이유는 없습니다. 도입이 안 되는 건, 대부분의 인공지능 기술이 그렇듯이 책임 주체로서 인공지능을 인정할 수 있느냐는 부분이 오히려 크죠.
이런 AI에게 특정인 혹은 집단이 자신의 편견을 심는 건, 실현 불가능한 수준으로 복잡하고 힘든 일이 됩니다. 입력되는 모든 데이터에 일관되게 편견을 심지 않는 한, 학습 과정에서 이를 노이즈로 보고 걸러내거든요. 그리고 입력되는 데이터의 단위는 인간이 손대긴 힘든 수준의 크기입니다. 보통 앞서 말한 단어장(wordvector)를 구성하는데만 영문 위키피디아 전체 페이지나 몇 년치 인터넷 기사가 입력데이터로 주어지는 경우도 왕왕 있거든요. 또, 메커니즘 수준에서 편견을 심으려는 시도는 학습 과정 자체에 영향을 주기 때문에 정상학습을 방해하게 됩니다. 어느 쪽이든, 실효성이 굉장히 떨어지는 방법이죠.
저는 AI가 2심 수준의 민형사 판결을 대리하는 데에는 아무 문제가 없다고 생각합니다. 오히려, 이런 방식으로 법률 서비스의 가격을 혁신적인 수준으로 저렴하게 만드는 것 역시 법률 서비스에 대한 접근권을 높이는 복지의 일종으로 작동할 수 있다고 생각하구요. 저는 강인공지능에 의한 특이점 도달이 인류를 다음 단계로 끌어올릴거라고 생각하는 기술낙관론자이긴 합니다만... 굳이 거기까지 가지 않더라도, 부당한 압력에 의해 휘둘리지 않는 법률의 판단자라는 건 꽤 오랜 인류의 이상이었으니까요.
2019.04.24 14:17
2019.04.24 14:30
문장이 붙어서 헷갈릴 수 있겠네요. 고도화 된 패턴이란 언급은 DNN이 깊어질수록 추상화된 데이터를 분류할수 있다는 얘기입니다.
패턴 부분을 너무 쉽게 넘기려고 한 걸수도 있겠습니다만, 말씀하신 흑인 인지 부분은 라벨링의 문제에 가깝다고 생각합니다. 백인 사진만을 데이터로 줘놓고 거기에 인간이라는 라벨링을 붙이는 건 인간의 문제죠. 나아가서 NLP에서 그런 시도를 하기엔 개개인이 글에 그렇게 드러나는지도 의문이구요.
마지막 사례는 아예 악의적인 방식으로 부정확한 AI를 만드는 것에 대해서 얘기하시는건데, 그게 승인될수 있는지, 또 그럴 만큼의 편향판례라는게 존재하는지도 생각해 볼 여지가 많다는 생각입니다.
AI판사라는 건 결국 상상할 수 있는 AI 가운데 가장 공적인 AI일텐데, 그 과정을 소수가 블랙박스처럼 처리한다는 건 비례대표 산식을 안 알려주는 것 만큼 불합리한 일이라고 생각해서요.
2019.04.24 14:42
2019.04.24 14:55
성인지감수성 관련해서는, 저는 그것 역시 법제화를 통해 해결해야 할 일이라고 생각하고 현재와 같은 방식은 판사 개개인의 배경과 성향에 의해 판결이 달라질 수 있기 때문에 오히려 사법체계에 대한 위협으로 작용한다고 생각합니다. 이 판사는 유죄, 저 판사는 무죄라고 한다면 사법체계를 신뢰하긴 더 어려워지는거죠. 판사 개개인이 얼마나 성인지감수성이 민감한지를 증명하거나 기준 이상의 성인지감수성을 갖췄는지 검사하는 것도 웃기는 노릇이구요.
또, 최신의 판례에 가중치를 두거나 상급심에 가중치를 두는 가중치 조정으로 말씀하시는 판례의 흐름을 추적할 수 있게 만드는 것도 어렵지 않은 일이라고 봅니다. 저는 그래서 기존의 판례를 반영하는 걸로도 충분히 정의롭게 작동하는 AI 판사는 구성할 수 있다고 생각합니다.
2019.04.24 14:58
2019.04.24 15:04
그에 관련해서는 명확하게 제시되고 합의된 의도가 개입되는 게 더 나은 방법이라고 생각합니다. 말씀하시는 의도의 개입 문제는 현행 사법체계에서도 존재하는 문제입니다. 다만 지금의 방식은 분명치 않은 판사 개개인의 의도가 선한 방향이기를 기대하고 또 어느정도는 강제하는 것이구요.
2019.04.24 14:44
2019.04.24 14:20
저는 반대하거나 혹은 적어도 AI판사의 형태로는 실현불가능일거라고 생각하는데요 이유는 세 가지 정도예요
1. 우리 법은 권리능력은 사람(자연인과 법인)에게 한해 인정하니까 그렇습니다. 대리도 법률행위고 대리인이 되려면 최소한 권리능력은 있어야 하지요.
이 지점에서 AI 판사가 성립되려면 1. 인공지능을 자연인, 법인에 더해 사람으로 인정한다. 2. 사람 외의 존재에 대해 권리능력을 인정한다. 이 두가지 문제가 해결돼야 할 거고
이건 법체계의 근간을 뿌리부터, 말 그대로 사람이 권리의 주체라는 법의 전제를 아예 뒤흔드는 것이기 때문에 인정되지 않을 거 같습니다.
적어도 국민투표를 통해서 헌법을 개정해야 하겠죠. 그런데 저는 인공지능을 사람으로 인정하고 싶지 않거든요. 죄송합니다 알파고님 충성충성충성
2. 그런데 AI판사가 아니라 '판사의 판단을 고도로 도와주는 시스템'으로 인공지능은 얼마든지 활용할 수 있을거 같습니다. 인사정보시스템 같은 거요.
이렇게 되면 어느 순간이 넘으면 판사는 인공지능이 만든 판결문에 도장찍어주는 직업으로 바뀌겠지만요 흠 그거야 약사도 마찬가지고.
3. 어느 사회든 사법부를 손에 넣고 싶어하는 악당들은 언제나 있겠죠. 양승태가 전합으로 오염시킨 수많은 판례들을 보면 알수 있죠.
그럼 이들은 해킹이든 백도어든 문돌이인 제가 알지 못하는 방법으로 AI에 침투하겠죠. 물리적으로 전원을 끄고 자기들 입맛대로 판결하는 프로그램을 심을 수도 있겠고...
너무 위험하다는 생각이 듧니다.
4. 이건 좀 제 생각인데요... 인공지능 판사는 당위(sollen)을 제시하지 못하겠죠. 법이 나아가야 할 길을 제시할 수는 없지 않겠나 생각합니다.
판례들 중엔 논리가 헝클어지는 걸 감수하고 졸렌을 향하는 멋진 것들이 있는데요 (다른 관점에서 보면 개판인 것들이겠죠) 인공지능이 이런 유연성을 보여줄수는 없을 거 같아요.
2019.04.24 14:43
1과 2, 그리고 4에 대해서, 현행의 판사들이 하급심에서는 AI 평결에 대한 검토 및 책임을 지는 제도로 전환하고 3심과 헌재를 인간에게 전담시킨다면 책임 문제와 졸렌에 대한 부분은 어느 정도 보완할 수 있지 않을까 싶어요. 결국 소송 사례도 당사자의 드라마와는 별개로 대부분은 우리네 시시한 살림살이들이 대부분이니까요.
3에 대한 부분 역시 저는 인간이 감시체계로 극복할 수 있는 수준이라고 봅니다만, 그에 대해 합의를 이룰 수 없다면 역시 특이점이 오길 기다려서 인공지능에게 부탁하는 수 밖에 없을지도 모르죠. 엇, 그러고보니 일상적인 재판 사안에 대해서 저런 고위급들이 백도어를 심어야 할 이유가 있는지도 고민해봐야 할 부분이긴 하겠군요.
2019.04.24 15:09
2019.04.24 15:17
확실히 그건 문제가 될 수도 있다는 생각이 듭니다. 그런데 저는 AI가 학습에 따라서 판결을 다르게 내리는 것과 사회상의 변화에 의해, 혹은 판사 개개인이 유사한 사안에 대해 판결을 다르게 내리는 것 사이에 큰 차이가 있는지는 모르겠어요.
2019.04.24 15:19
2019.04.24 15:26
파라미터의 합의라는 측면에서는 인간의 평균적 공정성을 넘지 못할지도 모르지만, 외부요인에 대한 배제라는 측면에서는 훨씬 개선될 수 있다고 생각합니다. 그리고 이건 전반적인 공정성은 크게 개선할 수 있는 동시에, 법률서비스를 훨씬 저렴하게 만들 수 있는 방법이기도 하구요.
2019.04.24 16:19
본문에서는 AI 판사에 대한 알고리즘에 특정의 편향이 존재할 수 있다는 우려에 대한 자신감 넘치는 반박이 댓글에서 점점 구체성을 상실하는거 같군요.
외부요인의 배제라는 면에서 AI가 더 우월할 수 있다는 근거는 그냥 순환논리에 머무시는거 같아 아쉽군요.
알고리즘을 사회적 합의에 의해 구축을 한다해도 결국 그 합의를 이끌고 관리하는 주체-특정 정부관료집단과 권력집단의 편견과 의도가 개입되는건 그리 복잡하고 어려운 문제가 아니며, 그 정부관료집단의 편견과 의도를 감시하고 통제하는건 누가 어떻게? 라는 문제가 다시 도출됩니다.
결국 AI판사가 더 났다라는 생각은 막연하고 순진한 기대에 불과해요. 결국 정치권력이나 민주적 시스템에 따라 더 나쁠수도 더 좋을 수도 있는 수동적인 기재일 뿐이라는것이고 더 나쁠 수 있는 상황에서는 도리어 기술 뒤에 숨어 버리는 탓에 더 큰 문제가 발생한다는 우려는 타당합니다.
혹시 이 문제에 대해 더 제대로 알고 싶으시다면 ‘대량살상수학무기-어떻게 빅데이터는 불평등을 확산하고 민주주의를 위협하는가’의 일독을 권합니다.
그리고 AI판사의 공정성 여부와 AI를 활용한 법률 서비스는 전혀 다른 차원의 문제인데 뭔가 혼동이 있으신가 같아요.
사법시스템대한 이해가 부족하신거 같아요.
2019.04.24 21:05
세 가지 얘깁니다. 정상적으로 학습되고 감시되는 인공지능은 인간사회 평균과 비등한 수준의 편견을 갖게 된다는 것이 하나. 이 점에서만 본다면 대체해야 할 시급한 이유가 없겠죠.
그러나 내부 메커니즘을 가시적으로 확인하는 게 상대적으로 힘든 인간의 직관과 양심에 비해 사회적으로 합의하고 검증될 수 있는 인공지능의 파라미터는 더 신뢰할 만 하다는 게 둘. 이 지점에서는 판사 개개인에 대한 신뢰 수준에 따라서 이에 대한 지지 차이가 생기겠죠. 그럼에도 불구하고 판결이 미칠 사회적 영향이나 양 당사자의 사회적 위치에 대한 고려 따위가 원천적으로 배제될 수 있다는 점에서 분명한 장점을 가진다는 것이 셋. 이 셋째는 순환논리가 문제가 되는게 아니라, 오히려 시스템의 투명성을 어디까지 확보할 수 있느냐가 문제가 되겠죠. 이건 순환논리는 아닌 듯 한데요.
또한, AI 판사가 갖는 특징은 공정성만은 아닙니다. 신속성에도 있죠. 시간과 돈 중에 하나 이상을 줄일 수 있으면 서비스에 대한 접근성이 어떻게 될 지는 자명하지 않나요?
데이터 투명성의 보장에 관련해서는 최근에 많은 기술이 개발되고 있는것으로 압니다마는 그건 제가 잘 아는 내용은 아닌지라...
2019.04.24 21:23
2019.04.24 21:39
말씀하시는 대로 '국가가 통제하는 폭력'의 결과물에 서비스라는 이름을 붙이는 건 그리 드문 일은 아닙니다. 국방 서비스, 치안 서비스 따위에서 이미 충분히 잘 활용되고 있죠. 물론 법률 서비스에서는 더 공격적인 서비스 제공자인 변호사가 존재하기 때문에 대체로 변호/상담을 법률 서비스로 지칭한다는 데에야 동의할 수 있지만, 그게 국가가 제공하는 법률 시스템의 결과물을 서비스라고 부를 수 없게 만드는 건 아닙니다. 그걸 국가에 의한 유형의 법률 상품이라고 부를 건 아니잖아요?
기술이 악용될 가능성이 있다와 그러므로 사용하지 말아야 한다 사이의 간격은 보통 생각하는 것 보다 넓다고 생각합니다. 그리고 그건 사회적 합의에 의해서 얼마든지 조정해 나갈 수 있는 부분이죠. 모든 문명의 이기가 그래왔듯이요. 책이야 흥미롭게 읽어보겠습니다.
2019.04.24 22:12
2019.04.24 17:36
2019.04.24 21:27
저는 인간의 직관과 학습을 모사하고 그걸 더 빠른 속도와 더 큰 규모로 수행한다는 데 뉴럴넷의 장점이 있다고 보는데 그건 조금 차이가 있을 수 있겠네요.
제공된 데이터를 능가한다는 것 역시도 관점에 따라서 충분히 논의될 수 있는 부분이지 않을까 생각합니다.
첫머리에서 이야기한 알파고도 수천년간의 기보에서 추출할 수 있었던, 그러나 아무도 하지 못했던 직관을 추출했다는 데 포인트가 있죠. 그 전의 누구도 하지 못했던 것을, 본래 시스템 안에 포함되어 언젠가는 도출될 수 있었다는 이유만으로 새롭지 않다거나 기존의 데이터를 능가하지 못했다고 말하는 건 불공정해 보입니다. 혹은 그 후계인 알파고 제로에서 바둑의 규칙만이 제시된 상태로 학습해서 생성해 낸 기보는 어떤가요. 그건 역시 존재한 적 없었던 기보이지만, 19*19의 반상에서 나올 수 있었던 모든 경우의 수 가운데 하나일 뿐이기 때문에 제공된 데이터를 능가하지 못했다고 말한다면, 글쎄요. 그렇다면 데이터의 능가라는 것에 대해서는 논의가 평행선일 수 밖에 없을 듯 합니다.
2019.04.24 21:32
2019.04.24 18:00
현재 대규모 데이터를 바탕으로 구현한 인공신경망 수준의 인공지능이라면 의도적이든 의도적이지 않든 데이터에 따라 편향될 수 있다는 게 아마존 recruiting 사태(?)에서 이미 증명되지 않았나요ㅎ
그리고 제 생각에도 madhatter님 말씀대로 "뉴럴넷트웍은 빅데이터 비스끄므리한 통계툴이다"는 맞는 말 같아요..
2019.04.24 20:51
아마 인공지능 채용을 시켰더니 남자만 채용해서 가동이 중단된 사례 말씀이시죠? 전 그게 진짜로 misfitting인지는 조금 더 살펴봤어야 한다고 생각합니다. 주어진 현상에 대한 설명이나 최적해를 제시하는것과 그걸 당위로 주장하는 것은 잘 구분되어야 할 일이고, 후자에 대한 우려 때문에 전자가 위축되는 건 그냥 흔해빠진 반지성주의에 불과하다고 생각해요.
최근에 우버의 인공지능 배차 시스템에서 발생하는 임금격차에 대한 내용이 꽤 흥미로웠는데, 성별이 아예 변수로 포함되지 않은 우버의 배차 시스템에서도 남성이 7%의 임금격차를 갖는다는 것과 그에 대한 설명이었습니다. 이런것도 섣불리 해석하려고 들면 얼마든지 배차시스템이 편견을 습득하고 강화한다고 말할 수 있겠죠. 연구 결과는 어쨌든 그렇지 않다는 거였습니다마는.
2019.04.24 21:56
반지성주의라고 하기엔ㅠ 그 당시 아마존에서도 상당히 면밀하게 분석했다고 알고 있습니다.
아마존 외에 MS의 채팅봇이 히틀러찬양을 한 적도 있었고
http://www.asiae.co.kr/news/view.htm?idxno=2017042008584968574
MIT에서는 편향된 데이터의 위험성에 대해 수차례 연구를 하고 있습니다.
https://www.nocutnews.co.kr/news/4982265
이미 편향된 데이터들 때문에 그대로 편견을 배운 전례들은 충분히 많고,
그에 대한 기사들도 찾아보면 많습니다.
https://www.technologyreview.com/s/612775/algorithms-criminal-justice-ai/
https://www.newsweek.com/ai-racist-yet-computer-algorithms-are-helping-decide-court-cases-789296
2019.04.24 22:24
2019.04.24 22:25
2019.04.25 18:47
우버기사 재밌게 읽었습니다.
말씀대로 본문과는 또 다른 얘기를 하는 것 같더군요
2019.04.26 03:10
" 이런 AI에게 특정인 혹은 집단이 자신의 편견을 심는 건, 실현 불가능한 수준으로 복잡하고 힘든 일이 됩니다." -> 아닙니다.
https://www.research.ibm.com/5-in-5/ai-and-bias/
2019.04.26 12:48
일단 법률이란게 완전하지 않습니다. 가상의 ai판사처럼 완전한 도구를 가정해도 더 나은 결과를 보장할 수 없다는 뜻.
혹시 전공자이신가요..?
일단 뉴럴 네트웍에 대한 설명이.. 좀 이상합니다. 기준 이상 입력이 들어오면 다음 레이어가 고도화된 패턴을 읽는다...
다층 퍼셉트론도 맞고 레이어로 구분 되는 것도 맞습니다만, 다음 레이어가 고도화된 패턴을 읽는 건 아닙니다만..
학습을 어떻게 시키느냐에 따라 레이어의 웨잇값이 조정되는 것 뿐이므로 사실 특정 편향으로 학습시키는 건 생각보다 매우 쉽습니다. 가령 얼굴을 인식시키기 위한 학습 데이터로 백인의 얼굴만을 쓰고 컬러값까지 정보값으로 쓰면 흑인은 사람으로 판별하지 않습니다..물론 쓰레쉬홀드 값을 어떻게 조정하느냐에 따라 조금씩 달라지긴 하겠습니다만..
그리고 NLP도 모델을 어떻게 잡느냐에 따라 편향을 주는 건 그리 어렵지 않습니다.
결국 어드바이즈드로 학습시키면 얼마든지 편향된 판례로 편향된 AI 판사를 만들 수 있습니다.