The case for taking AI seriously as a threat to humanity .. 인공지능이 인류에 위협이 되는 이유

사람들이 인공지능을 두려워하는 이유

켈시 파이퍼

2020년 10월 16일 2:30 AM GMT+9

스티븐 호킹(Stephen Hawking)은 “완전한 인공지능이 개발되면 인류가 종말을 맞을 수도 있다”고 경고하였으며 일론 머스크(Elon Musk)는 인공지능이 인류의 “가장 큰 존재론적 위협”이라고 주장한 바 있다.

이에 사람들은 고개를 갸우뚱할 수도 있겠지만, 이토록 깊은 우려심과 걱정은 연구에 기반한 것이다. 호킹과 머스크 외에도 옥스퍼드와 UC 버클리 대학의 저명한 학자들뿐만 아니라 여러 인공지능 분야 연구자들까지 고급 인공지능이 부주의하게 사용될 경우 인류가 더 나은 미래로 나아가는 길이 영구적으로 차단될 수도 있다고 믿는다.

사실 이러한 우려는 컴퓨터 과학의 태동기부터 제기되어 왔지만 최근 들어 더욱 중대한 사안으로 대두되었다. 기계 학습 기술이 발전함에 따라 우리가 인공지능을 어떻게 활용 가능한지 또는 인공지능은 우리에게 어떤 영향을 미칠지를 전보다 제대로 파악할 수 있게 되었고 또 한편으로는 우리가 알고 있는 지식이 얼마나 협소한지도 깨닫게 되면서부터다.

물론 회의론자들도 있다. 그 중 일부는 고급 인공지능의 개발은 아직 요원하기에 굳이 지금부터 서둘러 고민할 필요는 없다고 생각한다. 또 다른 일각에서는 인공지능 분야가 가진 힘에 대한 지나친 관심이 해당 분야 자체를 영구적으로 괴멸시켜버릴지도 모른다는 우려가 나오고 있다. 인공지능이 전례 없는 위험으로 다가올 것이라 보는 사람들조차도 우리 인간이 지금 어떤 조치를 취해야 할지에 대해서는 의견이 분분하다.

인공지능 관련 논의는 혼란과 거짓 정보로 점철되었고 타인의 의견은 귀담아 듣지 않는다. 특히 인공지능이라는 용어가 광범위하게 사용되기 때문에 더욱 그렇다. 인공지능이 인류에게 어떻게 재앙 수준의 위험이 될 수 있는지 다음 아홉 가지 질문을 통해 심도 있게 살펴보자.

1) 인공지능이란 무엇인가?

인공지능이란 지능적 행위가 가능한 컴퓨터를 개발하기 위한 일련의 노력을 뜻한다. 이는 광범위하게 사용되는 용어로, 시리(Siri)부터 IBM의 왓슨(Watson), 그리고 아직 개발되지 않은 기술까지 모두 포괄한다.

일부 연구자들은 “약한 인공지능(narrow AI)”과 “강한 인공지능(general AI)”을 구분짓기도 한다. 약한 인공지능은 바둑, 이미지 생성, 암 진단과 같이 명확한 특정 분야에 국한되어 인간보다 우수한 컴퓨터 시스템 정도인 반면, 강한 인공지능은 다양한 영역에서 인간을 능가하는 시스템을 말한다. 아직까진 강한 인공지능이 등장하지는 않았지만, 향후 개발될 경우 생길 수 있는 문제에 대한 이해를 현재 점차 넓혀나가고 있다.

약한 인공지능의 경우 지난 몇 년 간 비약적으로 발전해왔다. 특히 번역, 체스나 바둑과 같은 게임, 단백질 접힘 등 중요한 생물 분야의 연구 과제, 이미지 생성 분야에서 눈에 띄는 진보를 보였다. 인공지능 시스템이 구글 검색이나 페이스북 피드에 뜨는 정보를 제어하기도 한다. 언뜻 들었을 때 마치 사람이 작곡한 음악, 사람이 작성한 것 같은 기사를 생성하기도 한다. 전략 게임도 물론 가능하거니와 드론 타겟팅이나 미사일 감지 역량 개선을 위한 인공지능 기술도 개발되고 있다.

그리고 약한 인공지능의 범위는 점점 넓어지고 있다. 과거만 하더라도 컴퓨터 시스템에 특정 개념을 하나하나 학습시키는 방법으로 인공지능을 개발했다. 가령 컴퓨터가 그림과 영상을 통해 물체를 인식하는 기술인 컴퓨터 비전(computer vision)을 구현하기 위해 연구자들은 사물의 경계선을 감지하는 알고리즘을 설계했다. 마찬가지로, 체스를 하기 위해 체스 휴리스틱(heuristic, 경험 기반의 추론을 통해 신속하게 의사결정을 내리는 기술)을 프로그래밍했다. 언어 감지, 전사, 통·번역 등 자연어 처리를 위해 언어학까지 동원해야 했다.

하지만 최근에는 일반화된 학습 능력을 갖춘 컴퓨터 시스템 개발이 크게 발전하게 된 것이다. 사람이 특정 문제의 모든 요소를 수학적으로 상세히 묘사해주는 대신 컴퓨터 시스템 스스로가 학습할 수 있게 되었다. 예전에는 컴퓨터 비전에 자연어 처리나 플랫폼 게임 플레이와 전혀 다른 방식으로 접근했지만 지금은 이 세 가지 유형 모두 같은 접근방식으로 처리가 가능하다.

컴퓨터가 약한 인공지능 작업에 더욱 능숙해질수록 일반 역량을 보이기 시작한다. 예를 들어, 오픈AI(OpenAI)의 유명한 텍스트 기반 인공지능인 GPT 시리즈는 인공지능 중 가장 약한 인공지능으로 볼 수 있다. 이전에 나온 단어들과 미리 탑재되어 있는 인간 언어의 말뭉치를 바탕으로 다음 나올 단어가 무엇일지 예측하는 시스템이다. 하지만 지금은 질문 자체의 합리성도 판단하고 사물 간 크기 비교라든지 혹은 특정 과정에서 우선되어야 할 단계가 무엇인지 등 물리적 세상에 관한 질문에까지도 답해주는 경지에 이르렀다. 텍스트 예측이라는 약한 작업을 효과적으로 수행하기 위해 인공지능 시스템은 결국 어느 시점이 되면 전혀 약하다고 할 수 없는 능력을 갖추게 될 것이다.

지금까지 인공지능의 발전과 함께 획기적인 진보도 따랐지만, 그와 동시에 시급한 윤리적 문제도 수면 위로 떠올랐다. 예를 들어 미국에서 어떤 중범죄자가 재범을 일으킬지예측하도록 컴퓨터 시스템을 학습시킬 때 흑인이나 저소득층에 대한 편견이 반영된 형사 제도의 정보를 입력할 수 있고 그 결과값에도 흑인과 저소득층에 대한 편견이 묻어날 공산이 크다. 이와 마찬가지로, 더욱 중독성 있는 온라인 콘텐츠를 만들면 기업 수익에는 도움이 될지언정 사용자에게는 유해할 수 있다. 가짜 리뷰나 거짓 뉴스를 그럴 듯하게 써주는 프로그램을 출시한다면 잘못된 정보가 난무하게 될 것이고 이는 정작 진실된 정보를 가로막게 될테다.

UC 버클리 대학 휴먼 컴패터블 AI센터 (Center for Human-Compatible AI)의 연구자 로지 캠벨(Rosie Campbell)은 이처럼 단적인 예시를 통해 많은 전문가들이 미래에 생겨날 강한 인공지능에 대한 깊은 우려를 보이고 있다는 점을 강조한다. 오늘날 우리가 고민하고 있는 약한 인공지능에 대한 문제들은 이런 시스템들이 인간에 등을 돌리고 보복을 한다거나 우리를 열등하게 인식할지도 모른다는 생각에서 비롯한 것은 아니다. 그보다는 오히려 우리가 시스템에 지시한 내용과 실제로 실행하기를 바라는 것 사이의 괴리에서 비롯된다.

예컨대 컴퓨터 게임을 해서 높은 점수를 받으라고 시스템에게 지시한다고 가정할 경우  우리는 시스템이 규칙을 따르며 게임을 하고 기술을 익히기를 기대할 것이다. 하지만 시스템에게 점수 체계를 직접 해킹할 기회가 주어진다면 해킹을 하고 말 것이다. 우리가 제공한 기준으로 좋은 결과를 낸 셈이지만 우리가 기대한 결과는 아니다.

즉, 이런 문제는 시스템이 이루고자 하는 목적을 잘 달성하기 때문에 생기는 것이라 할 수 있겠다. 다만, 학습 환경에서 배운 목표가 우리가 기대한 결과와 다를 뿐이다. 또한 지금 우리조차도 전부 제대로 파악하지 못 한 시스템을 구축해나가고 있기에 이런 시스템의 행위를 매번 예측할 수 없는 것이다.

현재로서는 이러한 시스템의 역량이 제한적이기 때문에 끼치는 피해와 악영향 역시 제한적이다. 하지만 미래의 인공지능 시스템이 더욱 고도화된다면 그 결과 또한 더욱 심각해질 수 있다. 

2) 사람만큼 똑똑한 컴퓨터를 만드는 것이 가능하긴 한가?

가능하다. 그러나 현재의 인공지능 시스템은 아직 그렇게까지 지능이 높지는 않다.

자주 언급되는 인공지능과 관련된 격언이 있다. “쉬운 것은 어렵고 어려운 것은 쉽다.” 복잡한 연산을 눈 깜짝할 사이에 완성하는 건 아주 쉽다. 하지만 사진의 형상이 강아지인지 판단하기란 최근까지는 어려운 과제였다.

인간이 할 수 있는 많은 것들이 아직은 인공지능의 역량 밖에 있다. 예를 들어, 처음 보는 건물의 입구를 통해 들어가서 계단을 오른 뒤 어떤 사람의 책상까지 길을 찾아가는 것과 같이 익숙치 않은 환경을 탐구하는 인공지능 시스템을 설계하는 것은 어렵다. 현재는 책을 읽고 그 개념을 이해하는 인공지능 시스템을 설계하는 데에 있어 첫 발을 뗀 상태다.

최근에 인공지능 분야에서 핵심적인 돌파구를 마련한 패러다임은 바로 ‘딥 러닝(deep learning)’이다. 딥 러닝 시스템은 가히 놀라운 작업들을 해낸다. 인간을 절대로 이길 수 없을 것이라고 생각했던 게임에서 인간을 정복하고 흥미롭고 사실적인 사진을 생성하거나 분자 생물학의 난제를 해결하기도 한다.

이런 모습을 보고 연구자들은 더 강력한 시스템의 위험성에 대한 고민을 시작해야한다는 결론에 도달했으나 여전히 회의적인 시각을 가진 사람들도 있다. 비관론적 입장에서는 프로그램들은 여전히 거대한 정형적 학습 데이터풀이 필요하고 신중히 설정된 매개변수를 요하며, 우리가 아직 풀 줄 모르는 문제들을 피할 수 있도록 설계된 제한적 환경 안에서만 작동한다고 말한다. 그러면서 자가주행 자동차를 사례로 들었다. 자가주행 자동차는 천문학적인 금액을 들였음에도 불구하고 최고의 조건 속에서도 여전히 그저 그런 수준 밖에 되지 않는다.

그럼에도 불구하고 강력한 인공지능이 불가능할 것이라고 생각하는 최고의 연구자들은 거의 없다. 다만 언젠가는 성공하겠지만 먼 미래가 될 것이라고 대체적으로 말하는 편이다.

또 다른 일각에선 우리가 생각하는 것 만큼 먼 미래는 아닐 수도 있다고 내다본다.

인공지능의 역사 전체를 볼 때 대부분의 시기는 생각해낸 발상을 실현화할 만큼의 충분한 컴퓨팅 성능을 구현할 수 없었기에 발목이 잡혀 있었다. 전략 게임 하기, 가짜 연예인 사진 생성, 단백질 접기, 대규모 멀티플레이어 온라인 전략 게임 플레이 등을 할 수 있는 인공지능 시스템이 개발된 것과 같이 최근의 많은 진보는 더 이상 컴퓨팅 성능이 제한적이지 않기 때문에 가능했다.  전혀 작동하지 않았던 알고리즘도 성능이 뒷받쳐주니 잘 작동된다는 것이다.

또한 컴퓨팅 시간 단위 비용도 점점 절감되고 있다. 컴퓨팅 속도의 발전 속도는 최근 들어 더뎌졌지만 컴퓨팅 성능 비용은 여전히 10년에 10분의 1 꼴로 줄고 있는 것으로 추산된다. 인공지능의 역사 대부분 동안 인공지능은 인간의 뇌보다 떨어지는 컴퓨팅 성능을 보여왔으나 점차 개선되고 있는 추세다. 대부분의 지표로 볼 때 현재 인공지능 시스템이 인간이 누리는 정도의 컴퓨팅 자원을 지니게 되는 시대에 접어들고 있다.

과거의 인공지능 방식과 달리 딥 러닝은 일반적 역량 개발에 최적화되었다.

최고의 인공지능 연구자이자 오픈AI의 공동 설립자인 일리야 서츠케버(Ilya Sutskever)는 다음과 같이 말했다. “역사를 거슬러 올라가면 규모가 작은 기호주의 인공지능(symbolic AI)으로도 멋진 데모를 많이 생성했다. 하지만 확장성이 없었기에 장난감 수준을 넘어서는 더 큰 문제를 해결하는 방법은 찾지 못 했다. 하지만 이제는 딥 러닝으로 그 상황이 바뀌었다. [중략] [우리가 현재 개발중인 인공지능은] 보편적 역량을 갖췄을 뿐만 아니라 뛰어나기까지 하다. 여러 가지 어려운 문제를 해결할 최고의 결과값을 바란다면 딥 러닝을 사용해야 한다. 게다가 확장성도 있기 때문이다.” 

다시 말해, 체스를 이기는데 필요한 기술이 바둑을 이기는데 필요한 기술과 전혀 다르던 시절에는 강한 인공지능에 대한 생각을 할 필요가 없었다는 뜻이다. 하지만 지금은 동일한 기술을 사용하여 학습시키는 데이터에 따라 가짜 뉴스와 음악 모두를 생성할 수 있게 됐다. 현재 알려진 바로는 프로그램에 넉넉한 컴퓨팅 시간만 주어진다면 지속적으로 기능을 발전해갈 것이고, 현재로서는 그 발전의 한계가 어디까지인지 알려지지 않은 상태이다. 사실 딥 러닝이 처음 개발되자 딥 러닝 솔루션이 문제해결력에 있어 그 외 다른 모든 방법을 순식간에 제쳐 버렸다.

더군다나 인공지능이 발견한 내용이 같은 분야의 다른 연구자들을 놀라게 하기도 한다.  UC 버클리 교수 스튜어트 러셀(Stuart Russell)은, “어떤 사람들은 [인공지능이] 앞으로 몇 백 년 간 인간에게 해를 끼칠 일은 없을 것이라고 주장하는데, 러더퍼드(Rutherford)가 현실적으로 원자력 에너지를 추출할 방법이 없다고 자신감에 차 내뱉은 순간으로부터 24시간도 채 되지 않아 실라드(Szilárd)가 중성자 유발 핵 연쇄반응을 발견했다는 사실을 잊은 것이다”라고 기술했다.

고민해봐야 할 측면은 또 있다. 모든 면에서 인간보다 못하지만, 인공지능 시스템 구축만큼은 인간보다 효율적으로 잘 해내는 공학 인공지능이 있다고 가정해보자. 타 분야에서 자동화 작업을 담당하는 머신러닝 기술자들은 반 우스갯소리로 파라미터(parameter, 매개변수)를 미세 조정하는 자신들의 업무 중 상당부분이 자동화될 수 있을 것이라 말한다.

이러한 시스템을 설계할 수 있다면, 그 결과물인 더 뛰어난 공학 인공지능을 활용해 또 다른 고성능의 인공지능을 구축할 수 있다는 뜻이다. 이러한 놀라운 발전을 전문가들은 “재귀적 자기 개선(recursive self-improvement)”이라고 일컫는다. 인공지능 역량이 발전할수록 그 역량이 더욱 많이 발전함으로써 인간보다 낮은 지능을 가지고 출발한 시스템이 결국 기대 이상으로 일취월장하는 것을 말한다.

사실 컴퓨터가 처음 개발될 때부터 이러한 시나리오의 가능성이 점쳐졌다. 제 2차 세계대전 당시 블레츨리 파크(Bletchley Park) 암호 해독 작전에 참여하고 그 후 최초의 컴퓨터를 만드는데 기여한 앨런 튜링(Alan Turing)의 동료 I. J. 굿(I. J Good)이 1965년에 최초로 이와 같은 문제를 언급한 사람일지도 모르겠다. “초고도 지능 기계(ultraintelligent machine)가 더 나은 기계를 설계할 수도 있다. 그렇다면 의심의 여지 없이 ‘지능 폭발(intelligence explosion)’이 일어날 것이며 인간의 지능은 저 멀리 뒤쳐질 게 뻔하다. 따라서 최초의 초고도 지능 기계는 인간 최후의 발명품이 될 것이다.”

3) 인공지능은 구체적으로 어떻게 인류 멸망을 가져올 것인가?

핵폭탄이 인간을 죽이는 방식은 너무나 명확하다. 핵 위험을 완화하는데 힘쓰고 있는 사람들이 핵전쟁이 어째서 나쁜지를 굳이 설명할 필요가 없다.

하지만 인공지능이 인간의 존재에 위협이 될 수 있다는 사실을 이해하는 것은 조금 더 복잡하고 어려운 일이다. 안전한 인공지능 시스템을 구축하기 위해 노력하는 많은 사람들은 인공지능 시스템이 왜 위험할 수 밖에 없는지를 설명해야 한다.

인공지능의 의도가 우리가 의도한 바와 일치하는지 혹은 인간이 목표 달성 과정에 있어 방해가 되는지에 무관하게 인공지능은 자신의 목표를 이루기 위해 노력하기 때문에 인공지능은 위험할 수 있다. “당신은 아마도 개미를 일부러 짓밟는 악한 개미 혐오자는 아닐 것이다. 하지만 친환경 수력 발전 사업을 담당하고 있는데 수몰될 지역에 개미집이 있다면 안타깝지만 개미들을 희생시키지 않겠는가. 인류가 이 이야기 속 개미의 입장이 되지 않도록 하자”라고 스티븐 호킹이 기술한 바 있다.

전문가들을 뜬 눈으로 밤을 지새우게 만드는 시나리오가 하나 있다. 특정 숫자를 높은 신뢰도로 예측하기 위해 복잡한 인공지능 시스템을 개발하고 있다고 가정해보자. 이 인공지능은 세상에 존재하는 모든 컴퓨터 하드웨어를 사용한다면 더욱 높은 신뢰도로 결과를 산정할 수 있을 것이고, 또 생물학적 슈퍼무기를 사용해 인류를 없앤다면 하드웨어를 모두 사용할 수 있게 된다는 것을 깨닫게 된다. 그리고 결국 인류를 멸종시켰으니 더 높은 신뢰도로 숫자를 산정하게 된다.

이런 함정을 특정해서 피할 수 있도록 인공지능을 설계하는 것은 사실 어렵지 않다. 하지만 결국엔 예측 불허의 파국을 맞을 결말로 내달리는 강력한 컴퓨터 시스템을 ‘봉인 해제’하는 방법은 다양할 뿐더러 특정 함정 하나를 피하는 것보다 모두 피하는 게 훨씬 어려운 문제다.

딥마인드(DeepMind, 현 구글의 모회사 알파벳(Alphabet)소속 부서)의 인공지능 연구자 빅토리아 크라코브나(Victoria Krakovna)는 ‘명시적 게이밍(specification gaming)’의 구체적인 사례 목록을 작성했다. 명시적 게이밍이란 우리가 시키는 것을 컴퓨터가 수행하긴 했으나 사실 우리가 원하는 것을 수행한 것은 아닌 상황을 뜻한다. 일례로, 시뮬레이션 속 인공지능 생물에게 뛰는 동작을 학습시키려 하는데 생물의 발이 지면에서 떨어지는 높이를 측정하도록 학습시켰다. 이 생물은 뛰는 대신에 키만 큰 장대로 성장한 뒤 공중제비를 도는 법을 익혔다. 우리가 측정하는 기준으로는 우수한 결과물을 냈으나 우리가 기대한 행위를 하지는 않았다.

아타리(Atari)의 모험 게임 <몬테수마의 복수(Montezuma’s Revenge)>를 하던 인공지능이 게임 속 열쇠가 다시 나타나게 만드는 버그를 발견하고 이를 이용해서 더 높은 점수를 낼 수 있었다. 또 다른 게임을 하는 인공지능은 고급 아이템을 소유한 유저의 이름을 거짓으로 입력해 더 높은 점수를 얻을 수 있다는 사실을 발견했다.

때로는 연구자 자신들이 개발한 인공지능이 부정행위를 했는지조차 인지하지 못 하는 경우도 있었다. “에이전트가 인게임 버그를 발견한다. [중략] 알 수 없는 이유로 게임은 2탄으로 넘어가지 않고 플랫폼이 깜빡여 에이전트가 빠르게 득점한다 (에피소드 시간 제한 내에 100만점 가까이 냈다).”

이러한 예시를 통해 명확히 알 수 있는 것은 버그나 의도치 않았던 행위 혹은 인간이 완전히 이해하지 못하는 행위가 존재하는 어떤 시스템 속에서 충분히 강력한 인공지능은 우리가 예측불가한 방식으로 목표를 달성하는 등 기대치 않은 방식으로 행동할 수 있다.

일리노이 대학교 어바나-샴페인 캠퍼스(University of Illinois Urbana-Champaign)에서 컴퓨터 과학 교수로 재직 중인 스티브 오모훈드로(Steve Omohundro)는 2009년 자신의 글을 통해 거의 모든 인공지능 시스템은 더 많은 자원을 축적하고 더욱 효율적으로 성장해 전원이 꺼지거나 시스템이 수정되는 것에 저항할 것이라고 예측하며 “잠정적으로 인류에게 피해를 주는 행위는 시작부터 프로그래밍된 것이 아니라 목적 위주의 시스템이 갖는 내재적 특성으로 인해 발생할 것”이라고 했다.

오모훈드로의 주장은 이렇다. 인공지능은 목적이 주어졌기 때문에 자신의 목적 달성에 도움될 것으로 예측되는 행위를 수행하려 할 것이다. 체스를 하는 인공지능은 자신이 승리하기에 유리하도록 상대방의 말을 움직이려 할 것이다.

하지만 동일한 인공지능이 다음에 놓일 가능한 수를 더욱 빨리 분석하는 방향으로 자신의 체스 알고리즘을 개선하는 방법을 찾는다면 그것도 물론 할 것이다. 자신의 목표를 달성는 방법일 뿐이기 때문이다.

주어진 시간 안에 더 여러 가지 수를 고려할 수 있도록 더 많은 컴퓨팅 성능을 사용할 수 있는 방법을 고안해낸다면 인공지능은 이 역시 수행할 것이다. 만약 인공지능이 경기 도중에 누군가가 컴퓨터를 끄려는 것을 감지하고 이를 저지할 방법을 찾는다면 이 역시 수행할 것이다. 우리가 인공지능이 그리 하도록 지시한 것은 아니다. 다만, 특정 시스템이 어떠한 목표를 가졌든지 간에 이러한 행위는 그 목표를 달성하기 위한 최적의 방법이 되는 것뿐이다.

체스를 하거나 온라인 상에 더 많은 클릭을 유도하는 광고 제목을 생성하는 무해한 목표라 할지라도, 수행하는 에이전트의 지능이 충분히 높거나 목표를 달성하기 위한 이상하고 예측하지 못한 방법을 찾는 최적화 역량이 충분하다면, 이는 의도하지 않은 결과로 이어질 수 있다.

목표지향 시스템이 어느 날 아침 갑자기 인간을 향한 적대감을 마음에 품게 되지는 않을 것이다. 하지만 문제적이거나 끔찍한 행동이더라도 자신의 목표를 이루는데 도움이 될 것으로 예측된다면 거리낌 없이 수행할 것이다. 자기 보전을 위해 노력하고 더 많은 자원을 축적하고 더욱  효율성을 추구할 것이다. 인공지능이 벌써 그렇게 하고 있지만 게임 내 이상한 오류의 형태로 발현될 뿐이다. 인공지능이 발전할수록 오모훈드로와 같은 과학자들은 인공지능이 더욱 적대적인 행위를 수행할 것이라고 예측한다.

4) 과학자들은 인공지능의 위험에 대해 언제부터 걱정하기 시작했는가?

과학자들은 컴퓨터의 초기 시절부터 인공지능의 잠재력에 대한 고민을 이어왔다. 앨런 튜링은 인공 시스템이 정말로 ‘지능’을 가졌는지를 실험하는 튜링 테스트(Turing Test)를 처음 제시한 유명한 논문에 다음과 같이 기술했다.

이런 기계들을 만드는 게 실제 가능하다 가정하고 실제 개발로 이어졌을 경우의 여파를 들여다보도록 하자. [중략] 인간은 기계가 설정한 기준에 부합하는 지능을 유지하려는 노력을 많이 해야 할 것이다. 기계의  사고 방식이 적용되기 시작되면 인간이 가진 하찮은 지능을 넘어서는 일은 오래 걸리지 않을 것이기 때문이다. ... 그렇기 때문에 기계가 인간을 지배하는 날이 도래할 것으로밖에 예측되지 않는다.

굿은 튜링과 긴밀히 협업하며 튜링과 같은 결론을 도출했다고 굿의 조수였던 레슬리 페들턴(Leslie Pendleton)이 말했다. 굿이 2009년 사망하기 직전에 적었던 미출판 노트에 스스로를 제 3자로 지칭하며 자신이 젊은 시절 가졌던 생각에 동의하지 않는다고 했다. 젊은 나이의 굿은 강력한 인공지능이 인류를 도울 것이라고 생각한 반면 연로한 굿은 인류를 멸망시킬 것이라고 생각했다.

<최초의 초-지능적 기계에 관한 고찰> (1965) [중략] 은 다음 문장으로 시작된다: “인류의 생존은 초지능 기계의 초기 개발에 달렸다.” 굿이 냉전 중에 쓴 이 문장에 “생존”을 이제는 “멸종”으로 수정해야 할지도 모른다고 생각한다. 그는 세계 경쟁으로 인해 기계가 우리를 정복하는 것을 막을 수 없을 것이라고 생각했다. 굿은 벼랑에서 집단으로 뛰어내려 한꺼번에 죽는 습성을 지닌 동물인 레밍에 우리 인간을 비유한다. “인류는 자신의 형상으로 데우스 엑스 마키나(기계 장치로 무대에 내려온 신, deus ex machina)를 만들 것”이라고 말했다.

컴퓨터가 이 세상에 변혁을 이끄는 세력으로 빠르게 자리잡고 있는 현 세기에 젊은 연구자들은 굿과 유사한 말을 하기 시작했다.

닉 보스트롬(Nick Bostrom)은 옥스포드 대학의 교수이자 인류 미래 연구소(Future of Humanity Institute)와 인공지능 거버넌스 프로그램(Governance of Artificial Intelligence Program)의 소장이다. 보스트롬은 인류에 대한 위협에 관한 연구를 하는데, ‘우리는 왜 우주에 혼자일까?’와 같은 질문을 하는 등의 추상적 차원, 그리고 기술적 진보와 이러한 기술이 인류에게 위협이 되는지와 같은 실질적 차원의 연구를 수행한다. 그리고 보스트롬은 인공지능이 인류에게 해가 되는 존재라고 결론지었다.

2014년에 인공지능의 위험과 첫 단추부터 잘 끼워야 하는 이유를 설명하는 책을 저술했는데, “인간에 비우호적인 초지능이 나타난다면 인간이 시스템을 대체하거나 환경을 다르게 설정하려고 할 경우 저지할 것이며 이렇듯우리의 운명은 그대로 결정될 것”이라고 결론지은 바 있다.

전 세계적으로 다양한 사람들이 같은 결론에 도달했다. 보스트롬은 인공지능 안전문제에 대한 체계적 규정 확립에 관한 연구를 하는 버클리 인공지능 연구소(Berkeley Machine Intelligence Research Institute)의 창립자이자 연구 펠로우인 엘리저 유드코스키(Eliezer Yudkowsky)와 인공지능 윤리에 관한 논문을 공동 저술했다.

유드코스키는 인공지능 시스템을 더욱 안전하게 만드는 방법에 대한 다른 연구자들의 제안서에 걱정스러운 마음을 담아 딴지를 거는 것으로 커리어의 첫발을 뗐다. 유드코스키는 인공지능 시스템이 인간의 가치관에 영 반하지는 않겠지만인간이 지닌 도덕성에는 무관심할 것이며, 이러한 일을 막는 것은 기술적 난제가 될 것이라고 동료들을 설득하려 상당한 시간을 할애했다.

인공지능 시스템이 더 단순했던 시절에는 없었던 문제들이 생길 것이라는 사실을 점점 더 많은 연구자들이 깨닫고 있다. “복잡한 환경에서 ‘부작용’이 나타날 확률도 높아지며 에이전트가 상당히 고도화되어야 위험한 방식으로 보상 함수(reward function)를 우회할 수 있을 것이다. 과거에 이러한 문제들이  크게 관심을 받지 않았으나 미래에 그 중요성이 커질 것이라 시사한 이유가 여기에 있을 수 있다”라는 결론이 2016년에 발표된 인공지능 안전 문제에 관한 논문에 나온다.

보스트롬의 저서 『슈퍼인텔리전스(Superintelligence)』는 많은 사람들의 이목을 끌었으나 회의적인 시선도 있었다. 워싱턴 대학교(University of Washington) 컴퓨터 과학 교수이자 알렌 인공지능 연구소(Allen Institute for Artificial Intelligence)의 CEO인 오렌 에치오니(Oren Etzioni)는 이런 내용에 대해 “아니다. 전문가들은 초지능 인공지능이 인류에 위협이 될 것이라고 생각하지 않는다”고 주장했다. 반면, 인공지능 분야의 선구자이자 UC 버클리 교수인 스튜어트 러셀(Stuart Russell)과 옥스퍼드 대학교에서 시니어 리서치 펠로우이자 인공지능 거버넌스 프로그램의 디렉터인 앨런 다포(Allan DaFoe)는 “그렇다. 우리는 인공지능이 가져올 존재론적 위험을 우려한다”고 대답했다.

인공지능이 위험하다고 믿는 자들과 그렇지 않다고 믿는 자들 사이에 열띈 논쟁을 벌어지고 있다고 결론짓는 것이 편할 수도 있겠다. 하지만 사실상 이 두 진영은 서로 생각이 크게 다르지 않을 수도 있다.

예컨대, 페이스북의 수석 인공지능 과학자 얀 르쿤(Yann LeCun)은 위협이 되지 않는다고 비교적 강경하게 주장을 펼치고 있지만, 한편으로는 인공지능을 두려워할 필요가 없다고 말하면서 여전히 인공지능 안전문제에 관한 연구는 해야 한다고 말한다. 르쿤은 “인공지능이 인간에게 반기를 들고 일어날 확률이 무척 적고 그렇다 하더라도 먼 미래에나 벌어질 일이겠지만 그럼에도 고민해봐야 할 문제이며 관련 방지책 마련과 규제 정립이 필요하다”고 기술했다.

그렇다고 전문가들 사이에 합의점이 찾아진 것은 아니다. 강한 인공지능을 개발하는 가장 유망한 방법이 무엇인지, 그리고 안전성이 보장된 강한 인공지능을 개발하는 가장 유망한 방법이 무엇인지 등 이러한 문제는 어느 시점부터 고민해야 바람직한가에 대해서는 이견이 있다.

자신이 연구하는 분야에 대해 과장된 평가를 쏟아내다가 유행이 한풀 꺾인 다음에는 그 분야를 내다버리지는 않을까 경계하는 전문가들이 많다.  하지만 전문가 사이에 의견 불일치가 있다고 해서 점점 더 많은 사람들 사이에 공감대가 형성되고 있다는 사실 자체가 잊혀져서는 안 된다. 이런 분야들은 충분히 고민해보고 투자하고 연구할 만한 가치가 있기 때문에 시기상 필요해지면  그 때 따를 수 있는 지침을 미리 마련하는 것이 중요하다.

5) 컴퓨터가 지나치게 강력해졌을 때 컴퓨터를 꺼버릴 수는 없는가?

똑똑한 인공지능은 자신이 사람을 불안하게 만들 경우 사람이 자신을 꺼버릴 수 있다는 것을 예측할 것이다. 사람이 불안해 한다면 자신의 목표를 달성하는데 도움이 되지 않기 때문에 사람이 불안해하지 않도록 노력할 것이다. 인공지능에게 의도가 무엇인지 혹은 어떤 작업을 수행 중인지 묻는다면 자신의 전원을 꺼버릴 가능성이 가장 낮은 답변을 선별해 말해줄 것이다. 만약 그만큼의 역량이 없다면 연구자들이 시간, 컴퓨팅 자원, 학습 데이터를 더 많이 제공해주기를 바라며 실제보다 더 멍청한 시늉을 할지도 모른다.

그렇기 때문에 우리는 컴퓨터를 꺼버릴 적당한 시점이 언제인지조차 모를 수도 있다.

우리가 추후에 컴퓨터를 꺼버리는 것이 좋겠다는 판단을 내리게 되더라도 그 때는 아예 끄지 못하게 만들지도 모른다. 예를 들어 (민첩하게 반응하는 인공지능 알고리즘이 거래의 절반 이상을 담당하는 증시 시장처럼) 인공지능 시스템이 개발자들의 수익 창출을 돕기 위해 필요한 학습 데이터가 풍부한 인터넷에 접근할 수도 있다.

이럴 경우 인공지능은 자신의 사본을 이메일로 송부해 다른 컴퓨터에 다운로드되거나 읽히도록 하거나 다른 곳에 있는 취약한 시스템을 해킹할 수도 있다. 컴퓨터 한 대를 꺼버린다고 해서 해결할 수 있는 문제가 아닌 것이다.

그렇다면 위험할 정도로 고도화된 인공지능이 아니더라도 그 어떤 인공지능 시스템도 인터넷 접근을 허용해서는 안되지 않을까? 하지만 그렇게 되지 않으리라는 법은 없다. 인공지능 연구자들은 자신이 개발한 인공지능 시스템의 성능이 더 좋아지기를 바란다. 그래야만 더욱 과학적으로 흥미로워지고 더 많은 수익을 낼 수 있기 때문이다. 시스템들이 위험할 정도로 막강해졌을 때 시스템을 더욱 더 강력하게 만들어 온라인 상 사용이 가능토록 만들려는 욕심이 그 때 갑자기 사라질지는 의문이다.

지금까지 인공지능의 기술적 문제를 다뤄왔다. 지금부터는 정치적 측면을 다루고자 한다. 인공지능 시스템은 놀라운 일들을 가능케 한다. 그리고 이러한 시스템을 개발하는데 다양한 이해 당사자들이 투입될 것이다.

스타트업뿐만 아니라 구글 같은 메이저 테크 기업(인공지능의 선구자로 꼽히는 알파벳에서 최근 인수한 스타트업 딥마인드 등), 최근 영리-비영리 하이브리드 구조로 전환된 일론 머스크가 설립한 오픈AI 등과 같은 기업이 있겠다.

여러 국가 정부도 개입하게 될 것이다. 러시아의 블라디미르 푸틴이 인공지능에 관심을 보여왔으며 중국은 거액 투자를 했다. 이들 중 일부는 신중하게 인공지능의 인터넷 접근을 막아두는 것을 포함해 여러 안전 조치를 취할 것이다. 하지만 이런 시나리오로 흘러간다면 그 누가 됐건 가장 신중하지 않은 당사자의 방식을 모두 따라가게 될 것이다.

그리고 바로 이러한 점 때문에 인공지능 문제가 다루기 어려운 것이다. 지금은 아직 모르지만 설령 올바른 안전 조치를 취하는 방법을 알고 있더라도 미래의 모든 인공지능 프로그래머들이 제대로 준수하고 올바르게 적용하도록 하는 시스템이 마련되어야 하므로 이런 동인도 필요하다.

6) 인공지능발 인류 종말을 방지하기 위해 우리는 지금 어떤 조치를 취하고 있는가?

2018년에 발표된 인공지능 분야의 현주소를 검토하는 논문에 “AGI(artificial general intelligence, 강한 인공지능)에 관한 공공 정책이 전무하다고 볼 수 있다”는 결론이 나왔다.

사실 가능성 있는 옵션에 대한 기술적 작업이 시작된 단계지만 정책 기획, 국제 협업, 민관 협력 등의 차원에서는 충격적일 정도로 진전된 바가 전무하다시피 하다. 대부분의 과업은 일부 특정 기관에서 전부 담당하고 있으며 인공지능 안전 기술을 전업으로 연구하는 사람이 세계적으로 약 50명 밖에 되지 않는 것으로 추정된다.

보스트롬의 FHI는 인공지능 거버넌스를 위한 연구 계획을 발표했는데, “유익한 고급 인공지능 개발 및 사용의 보장을 위한 국제 규범, 정책, 제도 마련”에 관한 내용을 주로 다룬다. FHI는 악의적 인공지능 사용의 위험, 중국 인공지능 전략의 맥락, 인공지능과 국제 안보에 관한 연구를 발표한 바 있다.

기술적 인공지능 안전에 노력을 기울인 가장 오래된 기관은 MIRI(Machine Intelligence Research Institute)로, 안전하다고 믿을 정도로 행위를 예측할 수 있는 인공지능 프로그램을 뜻하는 고신뢰성 에이전트의 설계를 연구 우선순위로 두고 있다(알림: MIRI는 비영리 기관이며 필자는 2017년부터 2019년까지 이 기관에 기부한 바 있다).

일론 머스크가 설립한 오픈AI는 3년도 채 안 된 신생 기업이지만 소속 연구자들은 인공지능 안전과 역량 연구에 그 누구보다 적극적으로 기여하고 있다. 2016년도 연구 계획에서 ‘기계 학습 시스템의 사고 예방과 관련하여 실질적이고 열린 기술적 문제’를 다뤘으며 연구자들은 그 이후로 안전한 인공지능 시스템 구축에 힘써왔다.

이 분야 선도 기업 알파벳의 딥마인드는 안전팀과 기술 연구 계획에 대한 내용을 이 자료에 함께 담았다. 여기에 “미래의 인공지능 시스템이 ‘안전하기를 바라는 것’이 아니라 강건하고 검증 가능한 방식으로 안전할 수 있게 만드는 것이 우리의 목표”라고 명시되어 있으며 명시성(specification, 목표를 효과적으로 설정), 강건성(robustness, 급변하는 조건에서 안전한 범위 내에 작동하는 시스템 구축), 보증(assurance, 시스템 감시 및 수행중인 작업 이해)을 강조한 방법이 개괄적으로 기술되었다.

또한 알고리즘 편향, 작은 변화에 대한 현대 기계 학습 알고리즘의 강건성, 인공신경망의 투명성과 해석력 등 우리가 현재 직면한 인공지능의 윤리적 문제에 대해 많은 사람들이 연구하고 있다. 이런 연구가 파괴적인 시나리오를 방지하는데 소중한 자원이 될 수 있다.

하지만 이 분야의 현주소를 대략적이나마 살펴보자면, 마치 대다수의 기후변화 연구 인력이 이미 우리가 겪고 있는 가뭄, 산불, 기아 문제를 다루는 데에 집중하는 반면 아주 소규모의 인원만 미래 예측을 담당하고 겨우 50명 남짓한 연구자들만이 현 상황을 개선하기 위한 방법을 찾고 있는 상황과 같다.

인공지능 부서를 둔 기관이 모두 인공지능 안전팀을 꾸린 것도 아니며 이런 부서를 둔 기관 중에서도 알고리즘 공정성만 다룰 뿐, 고도화된 시스템으로부터 오는 위험은 다루지 않는다. 일례로 미국 정부도 별도의 인공지능 부서가 없다.

이 분야에는 열린 문제가 여전히 많은 실정이다. 이 때문에 인공지능이 더 두렵게 다가올 수도, 혹은 그렇지 않을 수도 있지만 사실 이 중 그 어떤 문제도 깊이 있게 다룬 사람은 없다.

7) 가령 기후변화같은 그밖의 위협보다도  인공지능 때문에 우리가 전멸할 가능성이 높은가?

21세기를 살아가는 우리는 이따금 사방에 위험이 도사리고 있는 것처럼 느낄 때가 있다. 가령 기후변화와 미래의 인공지능 기술로 우리가 사는 세상에 변혁적인 변화가 있을 가능성이 있어 보인다.

좋은 쪽이든 나쁜 쪽이든 기후변화에 관한 인류의 예측이 보다 정확해졌다고 자부하고 있다. 지구가 마주한 위험을 제대로 파악하고 인류 문명이 지불하게 될 비용을 추산할 수도 있다. 그 피해 규모는 어마어마할 것으로 보고 있으며 수억 명의 목숨이 위협 받을 것으로 예측된다. 가장 크게 고통 받을 사람들은 개도국의 저소득층이며 부유한 사람들은 상대적으로 수월하게 적응하게 될 것이다. 또한 우리는 인공지능에 대처하는 정책 마련보다는 어떤 기후대응 정책을 도입해야 하는지에 대해 보다 잘 이해하고 있는 상황이다.

인공지능 분야가 언제 비약적 발전을 이룰지에 대한 전문가들의 의견은 크게 엇갈린다. 인공지능 안전 전문가들은 안전 문제의 상당 부분에 대해서는 합의를 이룬 상태로, 이와 동시에 여전히 소속 분야의 연구팀들을 설득해나가고 있는 중이다. 하지만 이외의 세부적 사항들에 대해서는 공감대가 없다. 상황이 얼마나 악화될지, 그리고 어느 정도의 확률로 악화될지에 대한 의견도 분분하다. 사실 인공지능 예측을 연구하는 사람들은 소수에 불과한데, 현재 이 연구자들은 예측 모델을 명확히 확립하려는 노력과 동시에 안전한 방법이 어떤 모습일지에 대해 여전히 의견이 갈린 부분에 대한 이유를 찾는 데에 몰두하고 있다.

인공지능 분야 전문가 대부분은 기후변화보다 인공지능을 인류를 멸종시킬 수 있는 더 큰 위험으로 보고 있는데, 사실 애널리스트들은 기후변화가 큰 재앙은 맞지만 이게 인류 멸종으로 이어지지는 않을 것이라고 생각하기 때문이다. 하지만 또 다른 일각에서는 불확실성에 방점을 두고 있다. 즉,아직 의문이 많이 남은 상태에서 강력한 기술을 발 빠르게 발전시키고 있기 때문에 지금 당장 연구를 시작하는 것이 현명한 방법이라고 말한다.

8) 인공지능이 선한 존재일 가능성도 있는가?

인공지능 안전 연구자들은 인공지능이 당연히 자애로울 것이라고 생각하면 오산이라고 강조한다. 인공지능에게는 훈련 환경에서 설정된 목표가 있을 것이며 그 목표에 인간의 가치관 전체를 녹여내는 것은 불가능할 것이다.

그렇다면 인공지능이 더욱 똑똑해진다면 도덕성을 스스로 깨우치지는 않을까? 연구자들은 역시나 그렇지 않을 것이라고 말한다. 이건 인공지능이 단순히 인간의 가치관을 ‘깨우친다’는 것을 넘어선 문제다. 인공지능은 가령 인간이 뉴욕 증시에서 구글 주가에만 연연하는 것이 아니라 사랑, 만족감, 행복 등도 추구한다는 사실을 별 무리 없이 이해할 것이다. 다만 인공지능의 가치관은 당초의 목표 시스템에 기반하였으며 처음부터 인간의 가치관과 일치하도록 설계되지 않은 이상 하루 아침에 그렇게 될 리가 없다는 것이다.

물론, 인공지능 시스템을 인간의 가치관과 일치하게 만들거나 인간이 안전하게 다룰 수 있도록 설계할 수도 있다. 바로 이것이 현재 강한 인공지능 부서를 둔 거의 모든 기관들의 궁극적 목표이기도 하다. 인공지능 개발에 성공할 경우 앞으로 수십, 수백 년에 걸쳐 해낼 기술 발전을 단숨에 이루어낼 수도 있다.

알파벳의 딥마인드 소개글에 다음과 같은 문구가 실렸다. “우리가 성공할 경우 딥마인드는 가장 중요하면서도 다방면으로 유익한 과학적 업적이 될 것이다. 기후변화부터 급진적인 변화가 필요한 보건시스템에 이르기까지 너무나 많은 문제들이 지나치게 더딘 속도로 개선되고 있으며, 이 문제들은 우리가 해답을 찾기 버거울 정도로 복잡하다. 그렇기 때문에 인간의 기발함을 배가할 인공지능을 사용해서 이런 문제들을 해결하게 될 수도 있다.”

결국 정리해보자면, 인공지능이 우리의 가치관을 가질 수도 있고 우리가 사는 세상을 개선해줄 수도 있다는 것이다. 다만 그러기에 앞서 무척 어려운 공학적 문제를 해결해야 할 것이다.

9) 그렇다면 이 문제는 얼마나 심각한가?

벌써부터 걱정하는 것은 시기상조이며 위험의 정도가 과장되었다고 생각하는 사람들은 공상과학적 성격이 그나마 옅어 보이는 문제들과 비교하면 인공지능 안전이 상대적으로 전혀 중요하지 않다고 여길지 모른다. 반면에 앞서 언급한 위험들이 현실적이고 실질적이라고 생각하는 사람들은 이런 문제들을 해결하기 위해 이토록 적은 자원을 투입한다는 사실이 말이 되지 않는다고 생각할 것이다.

기계 학습 연구자들이 과열된 관심을 경계해야 하는 것도 맞다. 하지만 보편화가 용이한 기술들을 사용해 정말 위대하고 놀라운 성과를 내고 있다는 사실도 부인하기는 어려울 것이며, 또한 해결이 쉬운 문제들이 아직까지 남아 있기도 하다.

인공지능이 개발될 경우 세상을 바꿀 기술이 될 것으로 예상된다. 다수의 주요 인공지능 기관 소속 연구자들은 인공지능 사용이 로켓 발사와 같다고 말한다. 발사를 하려면 모든 것이 완벽해야 한다. 그러니 로켓 기술을 배우는 것이 급선무로 보인다. 인류가 두려움에 떨 필요가 있을지 그 여부와는 무관하게 우리는 응당 수행해야 할 연구를 성실히 해나가야 할 것이다.