AI가 만든 진짜같은 가짜 사진... 음란물 만들고 사기에도 악용

#. 지난달 중국의 한 업체가 '호화 요트파티'를 개최한다는 광고를 냈다. 선정적 복장을 하고 있는 접대부들이 요트파티에서 5시간 동안 접대를 한다는 내용이 포함됐다. 일대일 접대 서비스 가격은 1일에 430달러. 그러나 네티즌들이 광고에 공개된 접대부들이 인공지능(AI)으로 만든 가짜 이미지라는 것을 밝혀내자 파티는 취소됐고, 업체는 경찰의 수사를 받게 됐다.

5일 관련업계에 따르면 대화형 AI서비스 '챗GPT' 등장을 기점으로 AI를 이용한 사기사건과 윤리 논란이 늘어날 것으로 전망된다. 사례에 나타난 가상인물의 경우 AI가 학습한 이미지가 인터넷상 실제 인물 사진이기 때문에 윤리적·법적 문제가 발생할 가능성이 높아서다.

해외에서 각종 선례가 나오며 국내에서도 범죄에 악용될 수도 있다는 지적이 나온다. 기존의 법체제로는 이를 제재할 수단도 마땅치 않다.

실제 인터넷 검색엔진에 'AI 실사' 등을 검색하면 각종 커뮤니티에 올라온 음란 이미지를 쉽게 찾아볼 수 있다. 댓글 역시 "실제 사진인지 구별되지 않는다"는 반응이 주를 이룬다. 이용자들은 음란 이미지를 생성하는 방법과 노하우를 공유 중이다.

이미지 생성 AI는 사용자가 대화창에 조건만 입력하면 그에 적절한 이미지를 만들어준다. 이미지 생성 AI는 사용자가 검색창에서 검색해 자신의 컴퓨터에 까는 것도 어렵지 않다. 음란물 제작 역시 같은 방식으로 이뤄진다.

업체가 서비스하는 생성 AI들은 음란 이미지를 막기 위해 금칙어를 정해두고 있지만, 사용자가 이를 피할 방법은 많다. 직접적인 단어 대신 약어나 은어 등을 입력하는 식이다. 또 인터넷에 공개된 오픈소스 AI의 경우 이런 금칙어의 제한을 받지 않는다. 누구나 마음만 먹으면 어떤 이미지도 만들어낼 수 있다는 뜻이다.

AI가 만드는 이미지가 기존의 저작권이나 초상권 개념에 제한되지 않는 것도 문제다. 실제 이미지 생성 AI는 학습하는 데이터에 대한 저작권이나 초상권에 대한 사용료는 지급하고 있지 않다. 그림 생성 AI가 학습하는 이미지는 이미 인터넷상에 있는 수억개의 이미지들이다. 그중에는 일반인 이미지도 다수다.

AI는 이 중 무작위로 사용자가 입력한 조건에 맞는 이미지를 합성·조합해 그림을 생성해낸다. 기술이 더 발전하면 생성 AI로 음란물 영상도 제작이 가능할 것으로 전망되는 등 각종 논란은 커질 것으로 보인다.

전문가들은 저작권, 인격침해 등의 문제에 선제대응이 필요하다고 지적한다.

[e-mail] 주원규 기자