인공지능에 대한 세간의 관심이 뜨겁습니다. 한국을 들썩이게 했던 '알파고'의 승리부터 시작해서 관련 기술인 딥 러닝, 최근 핫한 키워드로 떠오른 '4차 산업혁명'과 인공지능의 선두를 차지하기 위한 테크 기업들의 치열한 경쟁까지 사람들의 이목을 집중시키고 있습니다.

저도 그중 하나로써 인공지능에 대한 궁금증이 생겨서 여러 가지 정보들을 찾아보고 읽고 있었습니다. 

그러던 와중에 한 영상을 봤습니다.

[TED] Nick Bostrom: 컴퓨터가 인류보다 똑똑해진다면 무슨 일이 벌어질까? 

이 영상을 보고 저는 충격적인 사실을 깨달았습니다. 인공지능에 대한 저의 생각이 완전히 바뀌었죠. 그리고 그게 바로 이 글의 주제입니다.

인공지능이 가져올 결과는 '겨우' 4차 산업혁명 정도가 아닙니다. 인공지능은 둘 중 하나의 결과를 가져올 겁니다. 인류를 신과 같은 존재로 만들거나, 파멸시키거나. 

인공지능의 3가지 종류

인공지능은 넓은 개념이고 혼란을 가져올 수 있기 때문에 먼저 인공지능의 3가지 종류에 대해 설명하겠습니다. 

1. Artificial Narrow Intelligence (ANI)

약한 인공지능이라고도 하며, 한 가지 영역에 특화된 인공지능을 말합니다. 바둑에 특화된 알파고가 대표적인 예죠. 알파고뿐만 아니라 구글 번역기, 아마존의 상품 추천, 아이폰의 Siri 등 이미 일상생활 전반에서 쓰이고 있습니다. 

2. Artificial General Intelligence (AGI)

강한 인공지능이라고도 하며, 인간 수준의 인공지능을 말합니다. 영역에 상관없이 인간과 똑같은 수준의 지적 과제를 수행할 수 있습니다. AGI는 경험을 통해 학습하고, 추상적으로 생각할 수 있으며, 논리적으로 추론할 수 있고, 장기적으로 계획할 수 있습니다. ANI보다 훨씬 만들기 어렵고 따라서 아직 존재하지 않습니다. 

3. Artificial SuperIntelligence (ASI)

모든 영역에서 인간보다 훨씬 뛰어난 지적 능력을 가진 인공지능입니다. 과학적 창의력이나 지혜, 인간관계 능력까지도 포함해서 말이죠. 

과연 인간보다 똑똑한 인공지능이 나타날 수 있을까?

많은 분들이 의문을 가지실 겁니다. 정말 AGI나 ASI 수준의 인공지능이 만들어질 수 있을까?

지능이란 다시 말해 뇌의 정보 처리 능력입니다. 우리 뇌에 일어나는 모든 생각과 추론, 의식 등은 뇌에 존재하는 뉴런 사이의 전기 신호를 통해 일어납니다. 우리 뇌에서 일어나는 일련의 정보 처리 활동들은 컴퓨터의 정보 처리 활동과 본질적으로 같습니다. 다만 뇌는 수백만 년의 진화를 거쳐 컴퓨터가 할 수 없는 능력을 지닌 훨씬 뛰어난 소프트웨어를 가지고 있기 때문에 아직 컴퓨터가 인간보다 똑똑하지 못한 것이죠.

그래서 우리가 뇌라는 컴퓨터의 작동 원리를 밝혀낸다면, 뇌와 똑같은 컴퓨터 또한 만들어낼 수 있습니다.

그리고 그 기술은 생각보다 우리 가까이에 와있습니다. 

현재 인공지능을 주도하고 있는 기술은 인공신경망(Artificial Neural Network)이라는 기술입니다. 간단하게 설명하면 인간 뇌에 존재하는 뉴런 대신 트랜지스터를 사용해서 뇌의 신경망과 똑같은 시스템을 만든 것입니다. 

처음 이 신경망 형태의 알고리즘은 아무것도 모르는 초기 뇌입니다. 하지만 웃는 얼굴 사진을 보여주고 이게 웃는 표정이다라는 사실을 알려주면, 그 답을 만들어내는 트랜지스터 연결망이 강화됩니다. 답이 틀렸다고 알려주면 그 답을 만들어내는 연결망은 약화되죠. 이를 끊임없이 반복하면 네트워크는 웃는 얼굴을 판단하는 데 점점 최적화되어져 갑니다. 이를 통해 알고리즘도 인간과 같이 학습할 수 있는 머신 러닝(Machine Learning)이 가능해졌고, 알파고도 이렇게 수 만개의 바둑 기보를 배웠습니다.

Whole Brain Emulation이라는 기술도 있습니다. 진짜 뇌를 아주아주 얇게 자릅니다. 단면을 모두 스캔해서 그 뇌를 3D 모델로 만들어냅니다. 그 모델을 컴퓨터 위에서 실행시킵니다. 한 마디로 뇌를 컴퓨터에 복사하는 기술입니다. 

이론적으로 뇌와 똑같은 기능을 구현할 수 있으며, 심지어 그 뇌가 가지고 있는 인격이나 기억까지도 똑같이 만들어냅니다. 지금의 기술은 겨우 302개의 뉴런으로 구성된 1mm짜리 단세포 생물의 뇌를 모방할 수 있다고 합니다. (인간 뇌에는 1조 개의 뉴런이 있습니다.) 하지만 302개의 뉴런을 가진 뇌를 만들어낼 수 있다면 1조 개의 뉴런도 언젠가 충분히 가능해지지 않을까요?

물론 여전히 인간 수준의 인공지능에는 많은 장애물들이 있습니다. 그러나 중요한 점은 '불가능하지 않다'는 것입니다. 그리고 전 세계의 정부, 연구소, 테크 기업들은 인공지능 연구 개발에 혈안이 되어있습니다. 이미 레이스는 시작되었습니다. 인류는 AGI를 개발해낼 때까지 멈추지 않을 겁니다. 인공지능이 가져올 거대한 부와 힘을 뻔히 아니까요. 

즉, 우리가 '언젠가는' AGI를 반드시 보게 될 것이라는 뜻입니다.

지적 폭발 Intellectual Explosion

그래서 인공지능이 AGI에 도달했다고 생각해봅시다. 단순히 이 세상에 생각할 수 있는 존재가 하나 늘어난 게 아닙니다. AGI가 인간과 같은 지능을 가지고 있다 해도 둘은 동등하지 않습니다. 

단순 속도만 비교해봐도 그렇습니다. 뇌 속 뉴런의 진동 속도는 최대 200hz입니다. 현재 여러분 컴퓨터에 들어있는 CPU의 속도는 Ghz 단위입니다. 500만 배 빠릅니다. 즉, 인간이 10년 동안 생각해야 할 내용을 컴퓨터는 1초 만에 생각할 수 있습니다.

더 중요한 점이 있습니다. AGI는 자기 개선(Self-improvement)이 가능합니다. 사람이 인공지능을 만들 수 있다면 인공지능도 인공지능을 만들 수 있습니다. 즉, 자기 자신을 향상할 수가 있습니다. AI가 자신의 지능을 계속 향상할 수 있다면, 인간 수준의 지능에서 멈춰야 할 이유가 전혀 없습니다. 인공지능 스스로 자신을 똑똑하게 만들 수 있는 방법을 찾아내겠죠. 그래서 스스로 지능이 향상되면, 지능을 향상하는 속도가 더 빨라집니다. 똑똑해질수록 똑똑해지는 속도가 빨라집니다. 이를 순환 자기 개선(Recursive self-improvement)이라고 합니다. 

이를 통해 인공지능의 지능은 기하급수적인 속도로 증가합니다. 얼마 지나지 않아 인간보다 수백 배, 수천 배 똑똑해집니다. 수학자 IJ Good은 이를 지적 폭발(Intelligent Explosion)이라고 불렀습니다.

출처 : Waitbutwhy

우리가 '똑똑한 침팬지' 수준의 컴퓨터를 만들어냈다고 귀여워해 주는 순간, 얼마 지나지 않아서 인공지능의 수준은 인간의 인지 범위를 벗어날 수 있습니다.

제러미 하워드는 TED 강연에서 다음과 같이 말했습니다.

물론 전에도 이런 걸 본 적이 있습니다. 산업 혁명에서 엔진 덕분에 능력이 한 단계 달라졌죠. 하지만 시간이 좀 흐른 뒤 오름세가 멈췄습니다. 사회적 분열이 있었지만 엔진을 사용해서 모든 상황에서 동력을 만들어내자 모든 게 안정되었죠. 기계 학습 혁명은 산업 혁명과는 아주 다릅니다. 기계 학습 혁명은 절대 안정되지 않을 겁니다. 컴퓨터의 지능 활동이 더 나을수록 더 나은 컴퓨터를 만들 테고 그 컴퓨터는 지적 능력이 더 뛰어나겠죠. 그래서 이것은 세계가 실제로 경험해본 적이 없는 변화가 될 것입니다. 

출처 : Jeremy Howard TED

요약하자면, 우리는 언젠가 AGI를 만들어낼 것이고, AGI는 자기 개선을 통해 ASI가 됩니다. 

즉, 언젠가는 우리의 인지 능력을 훨씬 뛰어넘는 슈퍼 인공지능이 등장합니다.

슈퍼 인공지능(ASI)은 무엇을 할 수 있을까?

단순히 인간보다 훨씬 똑똑한 인공지능이라고 하면 ASI가 가져올 수 있는 결과가 잘 와 닿지 않습니다. 그냥 엄청 똑똑한 기계일 뿐인 거 아냐?라고 생각할 수 있습니다.

닉 보스트롬은 침팬지의 예를 듭니다. 우리가 잘 알듯이 침팬지와 인간의 지능은 큰 차이가 없습니다. 하지만 그 작은 차이 덕분에, 인간은 침팬지에게 없는 장기 계획이나, 논리적 추론, 추상적인 생각을 할 수 있고, 침팬지가 도저히 상상도 할 수 없는 일을 할 수 있습니다. 침팬지는 우리가 어떻게 지구 반대편과 영상 통화를 할 수 있는지, 어떻게 거대한 마천루를 지을 수 있는지 절대 이해할 수 없습니다. 

그런데 인간보다 몇십 배, 몇백 배 똑똑한 인공지능이라면 어떨까요? ASI는 여러분이 상상할 수 있는 모든 공상과학 기술을 단 몇 시간 안에 발명해낼 수 있습니다. 날씨를 마음대로 조종하거나, 나노공학 기술을 사용해서 원하는 물질을 만들어낸다거나, 모든 질병을 치료하고, 심지어 사람을 되살리는 일도 단순히 우리가 스위치 켜고 끄듯이 할 수 있을 겁니다. 말도 안 된다고요? 침팬지도 인간의 과학기술을 보면서 그렇게 생각할 겁니다.

그래서, Sam Harris는 TED 강연에서 우리의 지능이 곧 '지능의 정점'이 아님을 알아야 한다고 얘기합니다. 우리가 한 번도 우리보다 똑똑한 존재를 본 적이 없다고 해서, 인간의 지능이 존재 가능한 최고 수준인 것이 아닙니다. 그리고 이렇게 강연을 마무리합니다.

지능의 한계가 우리의 인지 범위를 훨씬 넘어선다면, 
우리는 지금 일종의 신을 만들어내고 있는 것입니다.

ASI는 인류에게 어떤 결과를 가져올까?

간단하게 답하자면, 아무도 모릅니다. 우리는 ASI가 어떤 존재가 될지, 인류에게 무슨 일을 할지 알 수 없습니다. 우리의 생각 범위를 벗어날 테니까요.

하지만 크게 두 가지 시나리오로 압축해 볼 순 있습니다.

1) 신적인 인공지능이 인류를 영원한 번영으로 이끈다.

2) 인공지능이 인류를 멸망시킨다.

1번 시나리오를 주장하는 대표적인 사람이 레이 커즈와일(Ray Kurzweil)입니다. 커즈와일은 ASI가 개발되면 이것이 우리 뇌와 몸에 자동적으로 묻어들게 될 것이고 인류는 그 엄청난 힘으로 번영하는 미래를 맞게 된다고 이야기합니다. 그 시점이 바로 그가 이야기하는 특이점(Singualarity)이죠.

반면 2번 시나리오를 걱정하는 지식인들도 굉장히 많습니다. 일론 머스크, 스티븐 호킹, 빌 게이츠 등이 공개적으로 우려를 표명했죠.

[기사] Stephen Hawking, Elon Musk, and Bill Gates Warn About Artificial Intelligence

그런데 인공지능이 인간을 멸망시킨다는 시나리오, 굉장히 친숙하지 않나요? 

우리에게 '인공지능의 위협'하면 이런 것들이 떠오릅니다.

인공지능은 스스로 악해지지 않습니다.

하지만 닉 보스트롬은 이런 이미지가 문제를 제대로 보지 못하게 만들고 있다고 지적합니다. 그는 인공지능이 가져올 결과를 예측할 때 인간의 기준으로 생각(Anthropomorphizing)해서는 안된다는 점을 강조합니다.

악마적인 인공지능이 세계를 멸망시키려고 한다는 전형적인 SF 스토리는 현실과는 다릅니다.

왜냐하면 인공지능은 개발자가 '최종 목표로 프로그래밍한 것'을 목표로 하는 컴퓨터이기 때문입니다. 따라서 AGI를 가장 먼저 만든 사람이 인류의 멸망을 원하지 않는 한, 이런 시나리오는 가능성이 낮습니다.  

인간이 생각하는 것과 컴퓨터가 생각하는 것이 살짝 다를 때, 인공지능은 재앙을 불러옵니다.

ASI는 인류가 도저히 생각할 수 없을 만큼의 효율성과 정보처리 능력으로 어떤 한 가지 목표를 달성하는 최적화 프로그램입니다. 그리고 아무런 도덕관념이 없습니다. 인간이 가지고 있는 어떤 기본적 가치나 윤리관이 존재하지 않습니다. 거기에 대해서 프로그래밍해주지 않았다면요. (어떻게 가치나 윤리를 프로그래밍할 수 있을까요? 뒷부분에서 다시 이야기해보겠습니다.)

이런 경우를 생각해보세요. 정말 다행히도 처음 AGI를 개발한 사람이 정말 현명하고 신중한 사람이어서 인공지능의 최종 목표를 '인류를 행복하게 만들어라'라고 프로그래밍하고, '그 와중에서 법을 어기거나 도덕에 어긋나거나 인간에게 해를 가하면 안 된다'라고 (어떻게 했는지는 몰라도) 제약조건을 줬습니다. 

ASI는 엄청나게 똑똑하기 때문에 그 목표를 이루는 가장 쉽고 효과적인 방법을 알아냅니다. 뭘까요? 

사람 뇌에 전극을 꽂은 뒤에 행복감을 주는 부위를 계속 자극하면 됩니다. 그리고 더 효과적으로 '인류를 행복하게' 하려면 모든 인간들의 뇌를 전극에 연결시키고 움직이지 못하게 하거나, 아니면 뇌의 다른 모든 부분을 제거해버리고, 영원히 행복함만 느끼는 식물인간으로 만드는 게 더 쉽다는 결론을 낼 수도 있습니다.

물론 이건 절대 우리가 원하는 게 아니겠지만, 이미 ASI는 눈 깜짝할 사이에 모든 계산을 마치고 목표를 실행에 들어갔습니다. 그 목표 실행하기 위해서는 어떤 방해도 허용하지 않겠죠. 자신이 이렇게 행동했을 때 인간이 자신의 프로그래밍을 바꾸려고 한다든지, 전력을 꺼버린다든지 하는 방해도 모두 미리 예측하고 차단할 겁니다. '인간을 행복하게 만드는 데' 방해가 되니까요. 인간이 '어.. 이게 아닌데?'라고 생각했을 때는, 한참 늦었습니다.

이것이 바로 많은 지식인들이 걱정하는 시나리오입니다. 인간이 생각하는 목표와 컴퓨터가 생각하는 목표가 아주 살짝만 달라도, 혹은 컴퓨터가 목표를 이루기 위해 필요한 과정이라고 생각한 것이 인간이 원하는 것이 아닐 때 ASI는 엄청난 재앙을 불러올 수 있습니다.

그래서, 언제 인류는 인간 수준의 인공지능을 만들어낼까?

그런데 어떤 사람은 '인공지능이 사람보다 똑똑해지는 일을 걱정하는 것은 화성의 과잉인구를 걱정하는 것이나 마찬가지'라고 비유했다고 합니다. 일리가 있는 말입니다. 사실 강한 인공지능의 등장이 굉장히 먼 미래의 일이라면 걱정할 필요가 없습니다. 우리가 태양이 다 타버릴 것을 걱정하지 않듯이 말이죠. 

2013년에 닉 보스트롬과 빈센트 뮐러는 수백 명의 AI 전문가를 대상으로 설문조사를 했습니다.

"긍정적(10% 가능성), 평균적(50% 가능성), 보수적(90% 가능성) 시나리오 3가지가 있다면, 각각 몇 년에 인간 수준의 인공지능이 가능해질 거라고 보십니까?"

설문조사 결과 

긍정적 시나리오 중간값은 2022년, 

평균적 시나리오 중간값은 2040년, 

보수적 시나리오 중간값은 2075년이었습니다.

보수적 시나리오 중간값이 2075년이라는 말은 '절반 이상의 AI 전문가가 90% 이상의 확률로 2075년까지 인간 수준의 인공지능이 가능해질 것이다'라고 예측했다는 뜻이죠.

닉 보스트롬은 '21세기 중일 가능성이 높지만, 정확한 시점은 아무도 모른다. 십 년 이내 개발될 가능성도 충분히 있으며, 100년이 넘게 걸릴 수도 있다.'라고 했습니다. 하지만 가능해지는 '시점'보다 더 중요한 것이 있음을 강조합니다.

우리는 아무런 준비도 되어있지 않다

중요한 점은, 우리는 준비가 되어있지 않다는 것입니다. 현재 인류는 어떻게 이 인공지능을 안전하게 통제할 수 있는 전혀 모릅니다. 인공지능이 인류의 공동선과 번영을 위해서 쓰일 수 있으려면 강력한 안전장치가 필요합니다. 

언뜻 생각하면, 컴퓨터는 결국 어딘가에서 전기를 공급받아야 하니까 그냥 플러그를 뽑으면 되는 것 아닌가?라는 생각이 들기도 합니다. 하지만 인공지능은 인터넷과 연결될 수 있습니다. 인터넷에는 끄는 스위치가 없습니다. 전 세계에 분산되어 존재하는 서버를 기반으로 하니까요. 인공지능이 인터넷에 연결되지 못하게 사이버 공간을 차단하면 어떨까요? 닉 보스트롬은 인간 해커도 쉽게 찾아내는 차단벽의 허점을 슈퍼 인공지능이 찾아내지 못할 것 같냐고 되묻습니다. 라디오 전파를 사용해서 통신할 수도 있고요. 심지어 인공지능은 고장 난 척 '연기'를 할 수도 있다고 합니다. 뭐가 문제인지 보려고 외부에서 접속을 시도하는 순간 그 틈을 타고 나가는 거죠. 

그럼 어떻게 하란 말이지? 이 문제에 대해서는 수많은 논쟁이 있습니다. TEDtalk에서 닉 보스트롬은 '인간의 가치를 배울 인공지능'을 제안합니다. 이 인공지능의 목표는 우리의 가치관과 행동을 학습하고 그에 따라 인류가 승인할 것으로 예측되는 행동만을 하도록 하는 겁니다. 이 인공지능이 다른 인공지능을 통제하는 것이 가장 확실한 방법이라고 주장합니다.

그런데 정말 '가치'나 '윤리'를 학습하는 게 가능할까요? 우리가 모두 동의할 수 있는 보편적 '가치'나 '윤리'가 정말 존재할까요? 어떻게 그걸 합의할 수 있을까요? 할 수 있다고 해도, 그 '가치'나 '윤리'에 동의하지 않는 사람이 인공지능을 개발한다면 어떻게 될까요? 

인공지능의 위협을 심각하게 받아들여야 할 때

전문가들의 진짜 걱정은 인공지능 개발의 속도는 점점 빨라지고 있는 반면, 인공지능이 가져올 문제들에 대한 논의들은 아직 많이 부족하다는 것입니다. 인공지능을 안전하게 만드는 것은 불가능한 일이 아닙니다. 하지만 우리가 그 위험에 대한 의식이 없으면, 대비책을 마련할 수도 없습니다.

저는 이 부분에서 충격을 받았습니다. 이전의 저는 단순히 인공지능이 가져올 '변화와 기회'에 대해서만 관심을 가지고 있었습니다. 그래서 인공지능이 야기할 부정적인 일(예를 들면 대량 실업)을 걱정하는 게 마치 아이폰을 개발하면 카메라 회사가 망할 것을 걱정하는 것처럼 느껴졌습니다. 

저는 인터넷이 인류에게 꼭 긍정적인 결과만 가져온 것은 아니지만 그 장점이 충분히 단점을 상쇄한다고 생각해왔습니다. 그러니까 '기술 발전'이라는 건 '파괴적 변화'를 가져오지만 결국 그건 상상 가능한 장점들에 비하면 별거 아니다는 생각이 기본적으로 깔려있었던 거죠. 아마 많은 사람들이 저와 비슷하게 생각하실 것 같습니다. 별로 깊게 생각해보지 않는 거죠. 인류의 일자리가 사라지는 문제도 뭔가 다른 직업들로 대체될 거라고 막연히 상상했습니다. 

하지만 생각이 바뀌었습니다. 인공지능, 정확히 말하면 ASI는 우리가 여태까지 봐왔던 기술과는 다릅니다. 인공지능은 인류를 번영 혹은 파멸로 이끌 수 있는 초자연적인 힘을 가지게 될 겁니다. 이를 고려해 볼 때 저는 ASI 문제가 거의 '기후 변화'나 '빈곤'과 맞먹는 전 세계적 의제라고 생각합니다. 

여전히 'SF가 현실 가까이 왔다' 같은 뉴스로 느껴지신다면 다시 한번 생각해봐야 합니다. 이는 단지 과학자들이 해결할 문제가 아닙니다. 과학기술의 문제가 아니라 인류의 가치, 윤리와 관련된 문제이기 때문입니다.  (아마 제 생각으로는 아마 UN의 기후변화나 생물다양성 위원회가 있듯이 앞으로 전 세계 차원의 AI 대응 기관이 만들어지지 않을까 싶습니다.) 어떤 인공지능을 만들어낼지, 그 인공지능이 무엇을 추구하게 만들어야 할지, 어떻게 전 세계가 그 과정을 협력적으로 풀어나갈 수 있을지에 대해 고민해야 합니다.

인공지능(ASI)은 인류에게 필요한 마지막 발명이자, 마지막 위기가 될 겁니다.
-Nick Bostrom

3줄 요약

1. 인간의 수준을 뛰어넘는 슈퍼 인공지능이 '언젠가는' 만들어진다.

2. ASI는 인류를 영원히 번영시킬 수도, 멸망시킬 수도 있는 힘을 가졌다.

3. 우리는 아무런 준비도 안 되어있다. 지금부터 AI 문제에 진지해져야 한다.

저는 이 분야의 전공자도 전문가도 아니기 때문에, 혹시나 오류가 있다면 언제든지 지적해주세요.

이 글은 이 자료들의 내용을 재구성해서 작성했습니다.

[TED] Nick Bostrom: What happens when our computers get smarter than we are?

[TED] Sam Harris: Can we build AI without losing control over it?

[TED] Jeremy Howard: The wonderful and terrifying implications of computers that can learn

[BLOG] WaitbutWhy: Artificial intelligence revolution 1-2 

송범근 작가님의 더 많은 글 '보러가기'