신뢰할 수 있는 인공지능
2024.09.04 18:53
수정 : 2024.09.04 19:44기사원문
박상돈 포스텍 인공지능대학원 컴퓨터공학부 교수
![[기고] 신뢰할 수 있는 인공지능](https://image.fnnews.com/resource/media/image/2024/09/04/202409041853403268_s.jpg)
이미 학계에서는 인공지능의 신뢰성 문제에 대해서 심각성을 인식하고 해결책을 마련하고 있다. 관련된 문제의 예로 환각효과 및 적대적인 공격에 대한 강건성 문제를 꼽을 수 있다. 환각효과는 인공지능 모델 중 생성모델에서 도드라지는 문제로 생성모델이 거짓된 대답을 자신있게 말하는 문제를 칭한다. 강건성 문제는 모델이 적대적인 입력에 대해서 의도한 동작을 하지 않을 경우 발생한다. 가령 오픈AI 챗GPT의 경우 탈옥공격으로 폭탄을 만드는 법같이 인간 가치에 부합하지 않는 대답을 하기도 한다.
그런데 이런 인공지능의 신뢰성 문제는 군사적인 목적을 고려하면 그 문제가 더 두드러지게 된다. 특히 군사용 인공지능은 적대적인 환경에 노출될 가능성이 높다. 그래서 기존의 오작동을 유발하는 환각효과 문제가 적대적인 공격으로 극대화될 수 있다. 2023년에 미국 국방부의 드론이 시리아에서 민간인을 실수로 살해한 사건이 있었는데 이런 오작동을 공격자가 악용한다면 충분히 피해를 극대화할 수 있다.
오는 9월 9일부터 이틀간 서울에서 인공지능의 책임 있는 군사적인 활용을 논의하기 위한 고위급회의가 열린다. 필자는 이 회의에서 인공지능의 일반적인 이용뿐만 아니라 군사적 이용에서 신뢰성 문제의 중요성이 확산될 것이라고 본다. 더 나아가 책임 있는 인공지능 개발은 이를 이용한 군사적 보안 문제를 해결하는 데 선결되어야 할 과제라고 생각한다. 실제로 미국 국방고등연구계획국(DARPA)에서는 인공지능을 이용해 자동 취약점 탐지 및 보안패치 생성대회(AIxCC)를 개최했고, 이는 인공지능의 책임 있는 군사적인 이용이 앞으로 더욱 중요해질 것임을 보여주는 단적인 예가 되겠다.
박상돈 포스텍 인공지능대학원 컴퓨터공학부 교수