'인공 초지능(人工超知能)' 탄생 시 인간이 제어하는 것은 불가능 ... 독일 막스플랭크연구소 검증 결과
현재 세계에서는 무서운 기세로 인공지능 연구가 진행되고 있는데, 이 기술에 대해 항상 따라다니는 불안이 인공지능의 반란이다.
SF에서는 단골 소재이지만, 인간의 지성을 능가하는 인공 초지능이 탄생했을 때 인류는 그것을 제어할 수 있을까?
2021년 1월 5일 과학잡지 『Journal of Artificial Intelligence Research』에 발표된 새로운 연구에서는 바로 이 의문을 성실히 검증하고, 계산 가능성 이론의 관점에서 인공 초지능이 반란을 일으킬 경우 봉쇄가 불가능하다는 견해를 보이고 있다.
만약 AI가 이대로 발달을 계속할 경우, 제어할 수 없는 존재가 나오는 것은 피할 수 없는 미래일지도 모른다.
◇ 심각하게 우려되는 인공 초지능의 반란
인공초지능(superintelligent AI)이란 인간을 훨씬 뛰어넘는 지성을 획득한 인공지능으로 가정하게 된다.
세계를 제어하는 인공초지능의 존재는 공상과학소설 속에서나 나오는 이야기이다.
하지만 현재 우리의 생활은 이미 많은 AI에 의해 제어되고 있으며, 앞으로 더 그들에게 의존하는 비율이 높아질 것으로 보인다.
당연히 그에 따라 AI의 기능도 나날이 진보하고 있으며, 이미 AI 연구 속에는 개발자가 어떻게 배웠는지 완전히 이해할 수 없는 상황에서 중요한 태스크를 독립적으로 실행할 수 있는 기계들이 등장하고 있다.
이번 연구팀의 한 명인 마뉴엘 세브리안은 이런 상황에서 "이들 AI가 언제 통제불능이 되고 인류에게 위험한 존재가 될 수 있을지 의문이 생겼다"고 연구 동기를 밝혔다.
누군가가 인간보다 뛰어난 지능을 갖춘 AI 시스템을 프로그램해서 독립적으로 학습할 수 있도록 했다고 가정해 보자.
그 AI가 인터넷에 접속하면 아마 거의 모든 인류의 데이터에 접근할 수 있을 것이다.
그리고 기존의 프로그램을 고쳐 쓰고, 전 세계에 있는 온라인의 모든 것을 제어할 수 있게 될 가능성도 나온다.
그때 세상은 어떻게 될까?
위대한 지성을 획득한 AI가 인류에게 위협을 주지 않도록 제어하는 것이 인간에게 가능할까?
독일 막스플랭크연구소 인간발달연구소 국제연구팀은 이론계산을 이용해 그 가능성을 검증해 보았다.
그들이 내린 결론은 인공초지능을 제어하는 것이 원천적으로 불가능하다는 것이다.
◇ 인공초지능을 정지시키는 역설
예를 들어, 인공초지능이 반란을 기획한다고 해서 우리가 취할 수 있는 대항수단은 어떤 것이 있을까?
연구팀은 이 인공초지능을 제어하는 방법에 대해 두 가지 아이디어를 검증해 보았다.
하나는 인공초지능을 인터넷이나 다른 모든 기술장치로부터 차단해서 외계와 접촉할 수 없게 만든다는 것이다.
AI가 처음부터 윤리원칙을 프로그래밍하고 인류의 최선의 이익만을 추구하도록 동기부여하는 것이다.
이것들은 역사적인 아이디어로 자주 들 수 있겠죠.
그러나 연구팀은 이 방법을 이용하는 데 한계가 있음을 나타냈다.
어떤 방법으로든 AI를 운용할 때 그 위험성을 감지하고 시스템을 정지시킬 필요가 생기게 마련이다.
그럼 인공초지능을 위험하다고 판단하고 정지시키는 것은 실제로 가능한 것인가?
연구팀은 AI 동작을 시뮬레이트하고, 유해하다고 간주될 경우 시스템을 정지시켜 사람들에게 해를 끼치지 않기 위한 이론적 봉쇄 알고리즘을 고안해 냈다.
그리고 이 알고리즘이 제대로 작동하는지를 1936년에 앨런 튜링이 증명한 계산 가능성 이론에서의 정지문제를 이용하여 검증해 보았다.
정지문제는 기계가 자신을 체크하고 정지를 결단할 수 있는 알고리즘이 가능한가를 검증한 이론계산기 과학의 문제인데, 이 때 시스템은 모순된 답변을 이끌어냄으로써 사고의 무한루프에 빠져 답을 낼 수 없게 된다는 것을 보여주고 있다.
이는 '거짓말쟁이 역설(자기언급의 역설)'로 알려진 논리문제와 비슷하다고 한다.
이 역설로 유명한 예는 '크레타인은 거짓말쟁이이다'라고 크레타인은 말했다'는 성경에서 나온 문제이다.
논리문제는 컴퓨터가 문제를 해결시킬 때와 마찬가지로 진위(0인가 1인가)라는 형태로 문제를 판정한다.
이 예제의 진위를 따질 경우 '크레타인은 거짓말쟁이'가 참일 경우, 이를 말하는 크레타인은 거짓말쟁이가 아니게 되어 버리기 때문에 내용이 모순된다.
반대로 크레타인은 거짓말쟁이가 가짜일 경우, 이를 말하는 크레타인은 거짓말을 한 것이기 때문에 역시 내용이 모순된다.
이 문제의 진위를 판정하는 것은 불가능하고, 영원히 문제의 진위 판정이 루프하고 말게 된다.
비슷한 원리로 이번에 연구팀이 고안한 인공초지능 봉쇄문제는 계산이 불가능해진다고 한다.
결국 AI가 세계에 해를 끼치는지 판단하기 위한 단일알고리즘을 찾아내지 못하는 것이다.
또, 인간이 스스로의 손으로 인공초지능을 정지시키는 것을 생각한 경우에도, 기계가 인간보다 뛰어난 지성을 발휘하고 있는지를 판단하는 것은, 봉쇄문제와 같은 영역에 있어, 초지능기계가 탄생하고 있는 것조차 모르는 채 있을 가능성이 있다고 연구는 나와 있다.
논리문제를 포함한 연구는 추상적이고 알기 어려운 부분이 있지만, 결국 인간이 인공지능의 개발이나 운용을 계속하는 이상, 그것을 정지하는 판단을 하는 것 자체가, 기계에도 인간에게도 어렵다라는 것이 되는 것이다.
