AI기술의 상용화가 가속화되고 있다. 자율주행차의 출시가 다가오고 있으며 초보적 AI 기자와 AI 변호사는 이미 등장했다. 쇼핑몰에서 내가 필요로 할만한 상품을 추천해주는 기능은 매우 유용하다. 앞으로 사회적 의사결정을 할 때도 AI의 영향력은 급속도로 커질 것이다. 빅데이터와 알고리즘에 기반한 AI의 이름으로 ‘A와 B가 아닌 C가 맞다’는 결론이 나올 때 ‘나 자신의 데이터’는 그 일부가 되어 있을 것이다. 하지만 알고리즘이 왜 그런 선택을 했는지 그 이유를 나는 알지 못한다. 자신도 모르게 ‘민주주의를 위임’하는 결과가 되고, 그 결과가 어떤 또다른 결과를 파생시킬 지 알수 없게 된다.

문제는 알고리즘이 무조건 객관적이거나 중립적이지만은 않다는 것이다. 페이스북의 사용자 개인정보가 유출되어 트럼프 대통령의 선거캠프에서 활용된 데이터 스캔들이 있었다. 이 사건만 봐도 알고리즘의 근간이 되는 데이터 유출이 얼마나 쉬우며 알고리즘 역시 충분히 조작될 수 있다는 것을 알 수 있다. 데이터 자체의 편향성도 큰 문제다. 아마존은 2014년부터 AI 채용 시스템을 개발해왔으나 알고리즘이 여성 차별적 인식을 보이자 폐기해버렸다. 이미 인간 자체에 성차별 인식이 뿌리 깊이 박혀 있기 때문에 그것이 축적된 데이터도 편향될 수밖에 없다.

유출과 조작, 편향성의 문제를 어떻게 해결할지 정답은 없다. 유럽에서 2년 전 벌어진 일은 이 문제에 대한 최초의 정치적 행동이라 할만하다. EU는 2016년 4월 ‘일반개인정보보호규정(GDPR)’을 통과시켰다. 알고리즘의 결정에 대해 ‘설명을 요구할 권리(right to explanation)’를 최초로 명문화한 것이었다.

설명을 요구할 권리는 GDPR을 분석한 옥스퍼드대의 브라이스 굿맨(Bryce Goodman)과 세스 플랙스먼(Seth Flaxman)의 논문에 처음 등장한다. 설명을 요구할 권리는 GDPR의 13-15조를 근거로 한다. 핵심은 기업이 개인정보를 수집하거나 사용할 때 정보 주체에 고지해야하는 의무가 강화되고, 동의를 구하는 조건이 더욱 까다로워진 점이다. 동시에 개인에게는 자신의 정보 열람권, 삭제권, 이동권 등을 보장한다. 그에 따라 유럽의 모든 기업은 개인정보를 마음대로 역외로 반출하지 못한다. 특히 광고를 목적으로 개인정보를 수집하는 기업에게 더 엄격히 적용되며 이를 어길 시에는 수익의 최대 4%까지 벌금을 물 것으로 예상된다. GDPR은 2018년 5월 25일 전면적으로 시행되었다.

2018년 4월 16일 영국 상원의 인공지능위원회가 발표한 “AI in the UK: ready, willing and able?”이라는 제목의 보고서는 AI 교육을 통해 인공지능 시대의 충격에 대비하고 인간이 AI와 공존해야 한다고 주장한다. AI 시대가 도래하면 개인의 의지와 상관없이 개인정보 등 데이터가 알고리즘에 반영이 될 것이다. 그 데이터와 알고리즘이 AI의 결정에 영향을 줄 것이고 다음의 두 가지 문제를 발생시킬 것이다.

첫째는 누가 데이터를 통제하는가 하는 문제이다. 브라이스 굿맨과 세스 플랙스먼의 설명을 요구할 권리에 따르면, 데이터의 주인은 정보 주체, 즉 ‘나’이다. 그런데도 많은 기업이 고객의 데이터를 마음대로 이용하며 제대로 설명조차 하지 않는다. AI가 사회 곳곳에 영향을 미치게 된다면 마땅히 나의 데이터를 제공하지 않을 권리를 가져야 한다. 또 다른 상황은 나의 데이터를 제공하지 않고서는 도저히 살아갈 수 없는 AI 중심의 세상이다. 지금 이 순간에도 모바일을 통해 나의 정보를 기업들에 제공하지 않고서는 정보의 바다를 더 이상 헤쳐나갈 수 없다. 이 경우 데이터는 제공한다고 하더라도 그 알고리즘의 자동 결정의 대상이 되지 않을 권리를 가져야 한다. 설명을 요구할 권리는 데이터의 주체성을 명확히 함으로써 이 문제를 해결할 것이다.

둘째는 데이터와 알고리즘의 편향성이다. AI는 결정할 수 있는 권한이 없으며 철저히 인간에게 조언을 해주는 입장이어야 한다. 특히 사회적 의사를 결정하는 과정에서는 더욱 그러하다. AI의 조언이 결정적 영향을 미친다고 하더라도 최소한 우리는 AI 조언의 투명성을 확보해야 한다. 왜 AI가 그런 분석과 판단을 내려서 조언을 했는지, 편향된 데이터와 알고리즘에 의한 판단은 아닌지 투명하게 확인 가능해야만 조언을 받아들일 수 있을 것이다. AI의 투명성을 확인하기 위해 알고리즘의 결정에 관해 설명을 요구할 것이냐, 그냥 지나칠 것이냐는 중요한 문제다.

설명을 요구하기만 하면 기업은 우리가 알기 쉽고 일목요연하게 정리하여 알고리즘의 작동 과정을 설명할 수 있을까? 설명을 요구할 권리가 정말 현실적인 요구인가에 대한 의문도 물론 있다. 일단 딥러닝 안에서 무엇이 작동되는지 알아내는 것은 기술적으로도 쉽지 않다. AI의 알고리즘 안에는 일종의 블랙박스가 존재하여 인간이 알 수 없을 정도로 복잡한 처리 과정을 거쳐 결과를 도출해낸다. 그것이 AI의 핵심인 동시에 여전히 남은 과제이기도 하다. 알고리즘의 작동 원리를 하나하나 나열한다면 너무 복잡하고 방대해서 설명 자체가 불가능할 것이다. 반대로 지나치게 요약해도 모두가 수긍할 수 있는 설명이 되지 않을 것이다.

최근에는 설명을 요구할 권리보다 더 적극적인 움직임도 나타나고 있다. 블록체인은 탈중앙화를 지향하는 분산처리 시스템이다. 최근 블록체인 기술을 개인정보 보호나 계약, 국가 정책 등에 적용하려는 시도가 활발하다. 상황에 유연하게 대처하지 못하고 권력의 통제를 받기 쉬운 중앙집중적 AI 시스템의 대안으로 떠오르고 있다. 중앙집중형 정보처리 시스템은 한 곳에서 매우 효율적으로 정보를 처리할 수 있다. AI는 누군가가 중앙집중형 시스템으로 시민들을 감시, 통제하는데 날개를 달아줄 수 있는 기술이다. 그러나 긴급한 상황에는 유연하게 대처하지 못한다. 마오쩌둥의 중국이 겪은 대기근, 구소련의 계획경제의 실패와 유사하다고 말할 수도 있다. 블록체인 같은 분산처리 시스템이 훨씬 민주적일 뿐 아니라 인간의 집단지성을 끌어낸다는 점에서 탁월하다. 따라서 개발자들은 AI 기술을 중앙집중형 시스템의 틀에만 가두지 말고 분산처리 시스템에 적용하는 방안을 모색해야 한다.

더 혁명적인 제안은 웹 자체를 재설계해버리자는 것이다. 월드와이드웹(www)의 창시자 팀 버너스리는 거대 기업이 이익을 독점하는 웹, 포르노와 가짜뉴스가 넘쳐나는 웹이 너무 오염되어서 더 사용할 수 없는 상태라고 진단했다. 최근 개인의 데이터 주권을 되찾기 위해 ‘솔리드’라는 시스템을 개발했다. 기존 웹은 나의 데이터를 기업의 서버에 저장했다가 필요할 때 꺼내 쓰는 방식이었다. 그 때문에 정보유출에 매우 취약했다. 페이스북 데이터 유출 사태가 그런 것이다. 솔리드 시스템에서는 별도의 ‘팟(pod)’이라는 곳에 데이터를 저장한 후 개별적으로 접속할 권한을 부여한다. 즉 내 데이터에 접속할 권한을 기업이 아닌 내가 갖는 것이다. 데이터 처리자에게 설명을 요구할 필요도 없이 내 데이터에 대한 권한은 오로지 나만 갖게 되는 것이다. 이는 설명을 요구할 권리보다 훨씬 적극적인 움직임이며 데이터에 대한 패러다임 자체를 바꾸는 일이다.

인공지능은 인간이 지지 않을 것으로 자신했던 바둑에서조차 인간을 압도해버렸다. 그런데도 우리는 우리를 압도해버리는 AI에 오히려 희망을 걸고 있다. AI에 대한 두려움은 영화의 소재로만 소비되고 이제는 너도나도 AI가 가져다줄 장밋빛 미래를 꿈꾸고 있다. 아직은 AI 기술의 상용화가 초보적인 단계이기 때문에 우리가 그 위험성을 체감하지 못할 뿐 AI가 민주주의를 위협할 가능성이 상당히 높다. 더 무서운 것은 AI가 모든 사회 분야에 스며들었을 때 우리가 AI의 문제와 한계를 인식하지 못한 채 민주적 의사 결정을 사실상 AI의 조언에 완전히 의존해 버릴 수 있다는 점이다. 지금부터라도 알고리즘의 결정에 관해 설명을 요구할 권리를 분명히 하는 것이 그 출발점이다.

이 문제는 피부에 직접 와 닿는 것은 아니다. 그러나 머지 않은 미래에 닥치게 될, 피할 수 없는 현실이 될 것이다. 설명을 요구할 권리는 기본권 차원으로까지 확장될 수 있다. 우리 기업의 개발자들, 정부의 정책가들도 이 문제를 염두에 두지 않으면 낭패를 보게 될 수 있다.