"통제 불가능한 AI… 개발하면 안된다"

[파이낸셜뉴스] 인공지능(AI)이 현재 안전하게 통제될 수 있다는 증거가 없으며, 통제할 수 있다는 확실한 증거가 없다면 AI를 개발해서는 안된다는 주장이 제기됐다. 특히 모든 AI가 '통제 가능' 또는 '통제 불가능'으로 분류해, 모든 AI를 일시적으로 중지할 수 있는 제약이 있어야 한다는 것이다.

미국 루이빌대학 로만 V. 얌폴스키 컴퓨터공학과 교수는 12일 출간된 책 'AI: 설명할 수 없는, 예측할 수 없는, 통제할 수 없는'에서 "AI의 위험을 최소화하려면 '실행 취소' 옵션을 사용해 수정·제한이 가능하고 투명하며 인간 언어로 이해하기 쉬워야 한다"고 말했다.

■안전하다는 증거가 없다
AI는 사회를 극적으로 변화시킬 수 있는 잠재력을 가지고 있지만 항상 인간에게 유리한 것은 아니다. 얌포스키 교수는 AI로 인해 번영 혹은 멸종될 수 있으며, 우주의 운명이 AI에 달려 있다고 설명했다.

그는 "AI는 실존적인 재앙을 일으킬 가능성이 있으며, 많은 이들이 AI야말로 인류가 직면한 가장 중요한 문제"라고 언급했다.

AI와 관련된 과학 문헌을 철저하게 검토한 결과, AI가 안전하게 통제될 수 있는 증거를 찾지 못했다. 이는 AI 초지능의 발전과 결합해 AI 안전에 대한 노력을 지속해야 할 이유다.

그는 "AI를 구축하기 전에 통제가 가능한지를 보여주는 것이 중요하다"고 말했다.

그는 지능형 소프트웨어를 생산하는 능력이 이것을 통제하거나 확인하는 능력을 훨씬 능가한다고 주장한다. 즉 AI가 제공하는 혜택과는 관계없이 항상 일정 수준의 위험이 존재한다는 것이다.

■AI가 자신의 결정을 설명 못할수도
AI, 즉 초지능은 다른 프로그램과 다르게 새로운 행동을 학습하고, 성능을 조정하며, 새로운 상황에서 반자동적으로 행동할 수 있는 능력이 있다.

'안전한' AI를 만드는데 있어서 문제점은 초지능이 더 능력을 갖추면서 내릴 수 있는 결정과 실패의 수가 무한하다는 것이다. 때문에 무한한 안전 문제가 발생할 수 있다. 이러한 문제들을 단순히 예측하거나 보안 패치에서 그에 대응하는 것만으로는 충분하지 않을 수 있다.

이와함께 AI가 자신이 결정한 것을 설명할 수 없는 상황이 생길 수 있다. 얌포스키 교수는 "만약 우리가 AI의 결정을 이해하지 못하고 '블랙박스'만 갖게 된다면, 우리는 문제를 이해하고 미래 사고의 가능성을 줄일 수 없다"고 경고했다. 특히 "만약 우리가 AI의 답을 설명 없이 수용하는 것에 익숙해진다면, 그것이 잘못된 또는 조작된 답을 제공하기 시작하는지 알 수 없을 것"이라고 덧붙였다.

■AI 능력 증가할수록 위험하다
얌포스키 교수는 "AI가 반항하는 것이 아니라 처음부터 통제 불가능하다"고 주장했다. AI가 능력이 증가하면서 자율성도 증가하지만, 우리의 통제력은 감소하며 안전성도 줄어든다.

예를 들어, AI가 부정확한 지식을 습득하지 않고, 프로그래머의 모든 편견을 제거하기 위해 처음부터 모든 것을 다시 발견하거나 증명할 수 있지만, 이는 모든 인간 편향까지 제거할지도 모른다.

얌포스키 교수는 인간의 명령을 정확하게 따르는 AI를 설계하는 한가지 통제 방법을 제안했다. 그럼에도 충돌하는 명령과 오해, 악용의 가능성을 지적했다.

그는 "인간이 AI를 통제하면 모순되거나 악의적인 명령이 나올 수 있지만, AI가 AI를 통제하면 인간은 통제권을 잃게 된다"고 설명했다.

[e-mail] 김만기 기자