태재미래전략연구원은 4월 3일 서울 종로구 한일중3국협력사무국 컨퍼런스홀에서 포럼 ＜AI 시대, 세계 안보의 길을 묻다＞를 개최했다.

이번 포럼은 지난해부터 진행해 온 AI 포럼 시리즈의 일환으로 대학, 지속가능성 주제에 이은 세 번째 포럼이었다. 반기문 전 UN 사무총장이 기조연설자로 나섰으며, 김용학 전 연세대학교 총장이 좌장을 맡아 대담을 이끌었다. 패널로는 UN 고위군축대표를 지낸 김원수 태재미래전략연구원 국제자문위원장과 그레이엄 웹스터 스탠포드대 국제안보협력센터 연구원, 루촨잉 상해국제문제연구원 선임연구원, 유용원 전 조선일보 군사전문기자 등 국제 안보 전문가들이 참석해 의견을 나눴다.

이날 김성환 태재미래전략연구원 원장은 환영사를 통해 “지난 3월 우크라이나 전쟁에서 처음으로 인간 통제 없이 적군을 공격하는 AI 드론이 등장하는 등 AI가 초래할 안보 위협은 핵무기를 넘어설지도 모른다”고 강조하면서 “더 늦기 전에 전 세계가 함께 지혜를 모아 AI로 인한 글로벌 안보 위협에 대응해야 할 글로벌 거버넌스를 만들어야 하며, 오늘 포럼이 그 초석이 될 수 있기를 바란다”고 개최 의의를 밝혔다.

1. 기조연설 (반기문 전 UN 사무총장)

AI는 ‘양날의 검(double-edged sword)’,
인간의 삶을 풍족하게 하거나, 철저히 파괴하거나

인공지능 기술의 급속한 발전은 인간의 통제를 초월할 위험성을 내포하고 있으며, 이로 인한 위협을 방지하는 데 있어 국제적 합의 부재와 국가별 통제 능력의 한계가 주요 문제점으로 주목된다. 지속 가능한 AI 발전을 위해서는 전 세계적인 규제와 국제적 협력이 필요하다. 전 지구적 문제이기 때문에 해결책 또한 범지구적으로 마련되어야 한다. 이를 위해서는 국제 원로 지도자들의 모임인 The Elders(디 엘더스)에서 제안했던 것과 같이 다자적 글로벌 협력 기구의 창설을 통해 인공지능 관련 안전조치와 활동을 관리하는 것이 중요하다.

2. 주제 발표 (김원수 태재미래전략연구원 국제자문위원장, 전 UN 고위군축대표)

국제 합의 도출 위해 ‘AI의 군사적 사용에 대한 책임 있는 국가 행동’ 선행돼야

인공지능 기술의 발전 속도에 비해 이에 대한 인간의 규범 대응이 현저히 뒤쳐지는, 이른바 ‘규범 적자’는 대재앙을 초래할 수 있다.

최근 젠슨 황 엔비디아 CEO는 5년 이내로 인간을 능가하는 수준의 인공일반지능(AGI)의 등장 가능성을 경고했고, 미 국무부의 요청으로 작성된 ‘Gladstone AI Action Plan’에서는 AI로 인한 새로운 유형의 대량 학살 무기 양산의 가능성을 우려하고 있다. 더불어 미국 공군에서 시행한 가상 실험은 AI 드론이 작전 취소를 명하는 아군을 공격할 수 있다는 AI의 오작동 위험을 시사하고 있다.

이러한 상황에도 국제사회의 대응은 아직 개별 국가 차원에 머물러 있다. 오히려 국가 간 기술 선점 경쟁이 규제 완화로 이어질 수 있는 ‘바닥으로의 경주(race to the bottom)’ 현상을 촉진하고 있는 현실이다. 각국이 마련한 규제안은 국제적 공통 규범 형성에 이르기까지는 역부족이며, 최근 진행된 REAIM 2023, 유엔 총회의 AI 결의안 등도 실효성 있는 대안이 되지 못하고 있다.

AI 기술의 급격한 발전에 따른 위험을 관리, 규제하기 위해 IAEA와 유사한 국제 AI 기구(IAIA) 설립이 제안되고 있다. 그러나 이와 같은 국제기구가 창설되기 위해서는 AI의 ▲비물질성 ▲확산성 ▲낮은 진입 장벽 등과 같은 도전과제들이 먼저 고려돼야 한다. AI의 특수성을 토대로 국제적 통제 메커니즘을 갖춘 새로운 글로벌 거버넌스 구축은 복잡하고 어려운 과제지만 필수적이며, AI의 발전 속도를 고려했을 때 매우 시급한 과제다.

이러한 글로벌 거버넌스 구축을 위해서는 ▲UN과 같이 공공 차원의 1.0 트랙 ▲AI 정상회의 및 REAIM 정상회의와 같은 민관 협력의 1.5 트랙 ▲Trust and Safety Summit과 같은 민간 주도의 2.0 트랙 등 다자적 노력을 통합하는 글로벌 컨센서스 형성이 선행되어야 한다. 이를 바탕으로 글로벌 규범과 글로벌 기구를 만들기 위한 로드맵 개발이 요구된다.

글로벌 컨센서스 형성의 첫 단계는 전 세계가 공감할 수 있는 의제를 발굴하고, 이를 통해 실효성 있는 국제적 합의를 도출하는 것이다. 이러한 의제로 ‘대규모 AI 기술에 의해 발생할 수 있는 안보 위험을 최소화하기 위해 AI의 군사적 사용에 대한 책임 있는 국가 행동’을 제안한다. 이 의제를 시작으로 AI 기술의 안전한 개발과 사용을 위한 국제적 협력의 기틀을 마련해야 할 것이다.

3. 토론 ① Responsible State Behavior in the Military Domain

[좌장] 김용학 전 연세대학교 총장: 긍정적 잠재성에도 불구하고 AI는 글로벌 안보에 심각한 위협을 제기하고 있다. 특히 자본주의 사회에서 AI는 이해관계가 많이 얽혀있는 ‘상품’이기 때문에, 거버넌스에 대한 합의를 도출하기 어려운 상황이다. 반면 안보 및 군사 영역에서는 상대적으로 합의 도출이 용이하기 때문에, 이를 시작으로 더 넓은 분야에서의 규제로 확대할 수 있을 것이다.

한편, AI 산업 내에서의 치열한 경쟁은 미국과 중국뿐만 아니라, 여러 나라의 업계 행위자들 사이에서 합의를 이루기 어렵게 만든다. 미국이 이 분야에서 리더십을 발휘하고자 하다면 국내적 합의가 선행되어야 할 것이다. 하지만 산업계는 물론 정치권에서도 합의가 부재한 상황에서 대외적 합의를 이루기 위해서는 어떤 노력이 필요할까?

그레이엄 웹스터 스탠포드대 국제안보협력센터 연구원: 미국은 올해 대선을 앞두고 있고, 정치적으로도 불안정하다. 따라서 세계가 미국이 국내 합의를 이룰 때까지 기다릴 필요가 없다. 또한 미국 내에서 합의를 이루기에는 아직 AI의 영향력에 대해 충분히 파악하지 못한 상태이기 때문에, 국내적 합의가 부재하더라도 미국은 외교적으로 AI 규제 방안에 대해 다른 국가와 충분히 논의할 수 있다. 지난 2일 미국과 중국의 양국 정상이 AI와 안보 분야에 대해 논의하기로 한 것과 같은 행보는 앞으로 양국의 합의 도출에 있어 긍정적인 신호라 생각한다.

김용학: 샌프란시스코 정상회담 이후, 미국과 중국은 핵무기 지휘통제 시스템뿐만 아니라 자율 살상 무기에 대해서도 AI의 사용을 제한하는 것에 대한 공감대를 형성한 것으로 보인다. 하지만 실질적인 합의를 위해서는 여러 가지 극복해야 할 장애물들이 있을 텐데, 이때 중국이 할 수 있는 일은 무엇이라고 생각하는가? 더불어 양국 간에 싱크탱크 등 민간 차원에서의 대화가 정부 간 합의로 확대될 수 있는 방안은 무엇이 있을까?

루촨잉 상해국제문제연구원 선임연구원: 민간과 정부가 동시에 진행하는 투 트랙(Two-Track) 접근법이 해결 방안이 될 수 있을 것이다. 양국이 첨예하게 갈등하는 상황에서도 양국의 싱크탱크들은 여러 차례에 걸쳐 AI에 대한 대화를 진행해 왔다. 이러한 ‘지식 공유’를 계속해서 쌓아 나가는 것이 매우 중요하며, 누적된 지식을 전달받은 정부도 정책결정자 수준에서 공식적인 채널을 통한 논의를 이어 나가야 할 것이다.

김용학: 한국의 지정학적 요소를 고려했을 때 미∙중 갈등의 중심에서 한국이 AI 거버넌스 합의 도출을 위한 중재자 역할을 어떻게 할 수 있을까?

유용원 전 조선일보 군사전문기자: 올해 개최될 REAIM 정상회의와 AI Safety 정상회의를 대한민국이 의장국으로써 주도하게 된 것이 매우 큰 기회라 생각한다. 여기서 주목해야 할 부분은 대한민국이 지정학적으로 특수한 위치에 놓여 있음에도 불구하고, 국제적 규범을 준수하는 국가이기 때문에 발언의 국제적 호소력이 매우 짙을 수 있다는 점이다. 따라서 올해 있을 국제회의에서는 해당 분야의 국내 전문가들을 보다 적극적으로 참여 시킴으로써 대한민국이 더욱 활발히 논의를 주도해야 할 것이다.

김용학: 공공 및 민간 부문에서 다양한 국제적 이니셔티브가 존재한다. AI 기술의 본질적인 도전 과제를 넘어, 국제 사회의 기저에 깔려있는 국제 정치의 역학으로 인해 생기는 제약은 무엇이 있을까? 또, 공통적인 제도적 틀 안에서 수렴되게 하기 위해서는 어떤 노력이 필요한가?

김원수 태재미래전략연구원 국제자문위원장: 두 단계의 구조적 어려움이 있다. 바로 이른바 ‘기술과 가치 디바이드(divide)’의 문제다. 기술을 보유하고 있는 국가들은 기술의 발전을 원하고, 미보유국은 규제를 원하는 입장 차가 극명하다. 이는 핵무기 문제와 동일하다. 가치 부분에 있어서도 중국은 국가 중심의 통제를 지향하지만 미국은 시장중심적 해결책을 지향한다. 이는 양국 간 좁혀지기 어려운 괴리다. 따라서 양국 간의 정교한 합의가 선행돼야 하며, 이후 UN을 중심으로 하는 제도가 자리 잡아야 한다.

4. 토론 ② Artificial General Intelligence (AGI)

김용학: 터미네이터의 스카이넷과 같은 위험한 인공 일반 지능(AGI)의 등장에 세계가 긴장하고 있다. 그렇다면 인간의 존재를 위협할 수 있는 인공지능을 어떻게 정의해야 하며, AGI가 인류를 해칠 수 있는 가능성에 대비하기 위해 우리는 무엇을 할 수 있을까?

그레이엄 웹스터: AGI의 도래 시기는 아무도 알 수 없다. 다만 이 시점을 이야기하는 사람들 중 경제적 이익을 보는 사람들도 있기에 비판적이고 신중하게 생각할 필요가 있다. 기술이 발전하면 할수록 위험이 늘어나는 만큼 이에 대한 규제와 규칙 또한 같은 속도로 발맞춰 가야 할 것이며, 이때 윤리적 측면에 대한 고려를 간과해서는 안 된다.

루촨잉: AI safety와 AI security 사이의 차이를 이해하는 것이 중요하다. 기능적인 정의에 대한 논의가 선행되어야 미국과 중국 사이의 컨센서스가 원활해진다. 더불어 이미 미중 간 AI의 위험에 대응하기 위한 대화 등 다양한 노력이 진행되고 있어 너무 비관적일 필요는 없다.

유용원: 과거 전시 상황에서 첨단 군사 기술이 현장에서 적용됨으로써 현저하게 빠른 발전을 이룬 사례가 있다. AI 기술도 현재 진행 중인 여러 전장에서 시험 적용되면서 감당하기 어려운 속도로 진화하는 것을 경계해야 한다.

김원수: 실전에서 AI가 전술 및 전략적 판단을 내리는 상황은 최악의 위협이 될 수 있다. 미중이 이러한 최악의 시나리오에 집중하여 대비책을 세우는 것이 협력의 첫걸음이 될 수 있다.