선거판 흔드는 ‘딥페이크’… AI 법·제도 서둘러야 [4·10 총선 ‘외풍 경계령’ 下]

선관위, 총선 관련 딥페이크 게시물
이달 말 209건 적발… 3주새 80건↑
AI 활용해 몇분만에 영상·이미지 ‘뚝딱’
진짜와 가짜 구분 점점 더 어려워져


네카오 등 플랫폼도 대응 나서
선거 관련 허위정보 신고채널 개설
뉴스댓글 등 24시간 모니터링 강화
AI가 생성한 기사엔 따로 문구표기도

세계 각국 AI 규제 움직임
EU, AI 기술 개발 투명성 강화 법안
위반 기업엔 최대 매출의 7% 과징금
최근 유엔총회서 AI 관련 결의안 채택

"인공지능(AI)과 인터넷 기술을 활용한 가짜뉴스와 허위정보가 민주주의 근간을 위협한다."

미국을 비롯해 세계 곳곳에서 선거가 치러지는 올해, AI 기술을 악용한 가짜뉴스와 딥페이크를 어떻게 방지할 것인가가 화두로 떠올랐다.

오는 4월 10일 제22대 국회의원 선거를 앞둔 국내도 AI로 만든 가짜뉴스가 쏟아지며 골머리를 앓고 있다.

가짜뉴스의 폐해는 어제오늘의 일은 아니지만, AI '옷'을 입은 가짜뉴스는 수많은 정치·사회적 이슈에 대한 여론을 왜곡시킬 수 있다는 우려의 목소리가 커지고 있다.

■음성·영상·사진으로…AI 딥페이크 확산

최근 가장 문제가 되고 있는 것은 AI 기술이 빠르게 발전하면서 등장한 딥페이크다.

딥페이크는 AI 심층학습인 '딥러닝(deep learning)'과 가짜를 의미하는 '페이크(fake)'의 합성어로, AI 기술을 활용해 기존 인물의 얼굴이나 특정 부위를 합성한 영상 편집물을 뜻한다.

2년 내 글로벌 위험요인 1위로 부상한 AI 생성 가짜정보, 즉 딥페이크의 위험성이 크게 알려진 대표적인 사건은 지난 1월 미국의 유명 팝스타 테일러 스위프트의 사진을 합성한 딥페이크 음란영상이다. 딥페이크 영상임이 확인됐음에도 소셜미디어를 통해 전 세계로 빠르게 퍼져나가며 삭제되기까지 약 4700만회 이상의 조회수를 기록했다. 이 사건은 딥페이크에 대한 경각심과 위험성 등을 일깨웠다.

선거 과정에서의 딥페이크 악용 사례도 늘고 있다. 대선을 앞둔 미국의 경우 조 바이든 대통령의 목소리를 흉내 낸 '로보콜'(녹음된 음성이 재생되는 자동전화), 트럼프 전 대통령의 AI 합성 사진 등으로 홍역을 치렀다. 민주당 뉴햄프셔주 비공식 경선 전날인 1월 22일 '투표에 참여하지 말라'는 자동전화를 받았다는 이들이 쏟아지자 백악관은 "AI에 의한 딥페이크"라고 공식 해명해야 했다.

한국도 예외는 아니다. 국내에선 지난해 말 윤석열 대통령이 사과하는 딥페이크 영상이 소셜미디어를 통해 유포된 바 있다.

총선일이 다가올수록 이 같은 딥페이크 게시물이 늘고 있는데, 실제로 26일 기준 중앙선거관리위원회가 적발한 4·10 총선 관련한 딥페이크 게시물은 209건에 달한다. 이는 3주 사이에 80건가량 늘어난 수치다. 이번에 적발된 게시물은 특정 정치인이 총선 후보자를 비난하고 조롱하는 모습의 영상으로, 딥페이크 기술로 제작된 것으로 조사됐다. 영상 속 정치인들의 얼굴과 목소리는 실제 인물과 흡사하나 AI를 활용한 딥페이크 영상으로 드러났다고 선관위는 전했다.

현행 선거법은 선거일 전 90일부터 선거일까지는 AI 기술 등을 이용해 만든 실제와 구분하기 어려운 가상의 선거운동 관련 음향, 이미지, 또는 영상 등을 제작·편집·유포·상영·게시하는 행위를 금지하고 있다. 위반하면 7년 이하 징역이나 1000만~5000만원의 벌금에 처해질 수 있다.

그럼에도 각종 동영상 플랫폼, 소셜미디어 등의 플랫폼을 통해 게시되고 빠르게 유통, 삭제되는 수많은 딥페이크 게시물을 완벽하게 걸러내는 것은 현실적으로 힘든 것도 사실이다. 기술 발달로 몇 분 만에 딥페이크 이미지나 영상을 만들기는 쉬워졌고, 그렇게 만들어진 '가짜'를 진짜와 구분하기도 갈수록 어려워지고 있다.

■"허위정보 막아라"…플랫폼, 대응책 '고심'

상황이 이렇다 보니 전 세계적으로 딥페이크 대응책 마련을 주문하는 목소리도 커지고 있다.

국내에서는 4·10 총선을 앞두고 네이버와 카카오가 허위 정보나 기사, 딥페이크 모니터링에 촉각을 곤두세우고 있다. 네이버는 딥페이크 관련 검색어를 입력하면 "딥페이크 기술 접근, 활용함에 있어 공직선거법, 성폭력처벌법 등 법령에 위반되거나 제3자의 권리를 침해하지 않도록 유의해 주세요"라는 안내문구를 띄운다. 검색 이용자가 정보를 소비하는 과정에서 딥페이크 악용에 대한 경각심을 일깨운다는 취지다. 딥페이크 악용 사례로 인한 피해나 피해 신고방법 등에 대한 안내도 제공해 이용자 피해대응 창구도 마련했다.

뉴스 서비스에서도 AI, 로봇이 자동으로 작성한 기사를 사용자가 인지하도록 표기했다. 언론사가 자동 로직으로 생성·전송한 기사 본문 상단과 하단에 "이 기사는 해당 언론사의 자동생성 알고리즘을 통해 작성됐습니다"라는 문구가 노출되는 식이다. 또 네이버 신고센터 메인 페이지에 '선거 관련 허위정보 신고' 채널을 개설했고, 뉴스 댓글 집중 모니터링 기간을 설정해 담당자를 확대하는 등 24시간 모니터링을 강화했다. 또 각 부서 핫라인을 구축해 이슈 발생 시 빠르게 대응해 나갈 예정이다.

카카오는 카카오브레인의 생성형 AI 이미지 모델인 '칼로'에 비가시성 워터마크를 도입했다. 비가시성 워터마크란 일반 사용자의 눈에는 보이지 않지만, 사용자가 이미지를 편집하더라도 제거되거나 훼손되지 않는 워터마크다.

카카오도 언론사에서 AI를 이용해 생성한 기사는 사용자가 쉽게 알 수 있도록 상단에 표기하고, 카카오 공식 채널을 통해 딥페이크 근절을 위한 이용자 유의사항을 발송했다. 건전한 선거문화 정착을 위한 이용자 주의 캠페인을 다음 카페, 티스토리, 카카오스토리, 브런치스토리, 다음 뉴스, 다음 총선 특집페이지, 다음 채널 스튜디오를 통해 진행 중이다.

카카오 역시 자체 신고센터를 24시간 운영해 빠른 모니터링 및 조치가 가능하도록 했고, 공개 영역에 딥페이크 영상이나 영상 캡처 이미지 등 딥페이크 허위조작이 확인된 내용일 경우 즉각 조치를 취한다는 계획이다. 카카오 측은 "선거운동기간 악의적인 딥페이크를 비롯한 허위조작 정보를 담은 콘텐츠가 유통되지 않도록 관계 당국과도 긴밀하고 적극적인 협의를 지속 이어나갈 것"이라고 밝혔다．

지난 2월 뮌헨협약을 통해 기만적 AI 선거 콘텐츠 대응 방침을 밝혔던 구글, 메타, X(전 트위터) 등 해외 업체들도 총선기간에 자율협의체 활동을 통해 가짜뉴스, 딥페이크 등 방지에 나선다. 앞서 아마존, 구글, 메타, 마이크로소프트, 오픈AI 등 빅테크 20여곳은 독일 뮌엔안보회의에서 딥페이크 부작용 차단에 공동대응을 담은 합의문을 발표한 바 있다. 딥페이크와 같은 기만적 AI 선거 콘텐츠에 워터마크 표시, 탐지, 신속한 대응 등이 골자다.

■"법·제도 갖춰져야 AI 잘 활용할 수 있어"

이에 따라 AI 규범 마련도 전 세계의 이목이 집중되고 있다.

기술 발전에 따라 악용 수법이 더욱 교묘해지면서 전 세계적으로 생성형 AI 등 최신 기술에 대한 안정성 확보와 규제 준비 움직임은 빨라지고 있다. 유럽연합(EU) 의회는 13일(현지시간) 처음으로 AI 규제 법안을 내놨다. 위험도에 따라 AI 기술을 분류하고, 기술 개발 과정의 투명성을 강화하는 것이 골자다. 위반한 기업엔 전체 매출의 최대 7%의 과징금을 부여하는 등 규제 수위가 높다.

유엔 총회에서는 21일 회원국들이 AI의 안전한 사용에 관한 국제적인 합의를 조속히 마련해야 한다는 내용의 결의가 만장일치로 채택됐다. 국제사회가 유엔총회 차원에서 AI 관련 결의를 공식 채택한 것은 이번이 처음이다. 미국 주도로 제출된 이번 결의안은 AI 개발 및 활용이 빠르게 진행되고 있다는 점을 인식하고, 안전하고 신뢰할 수 있는 AI 시스템에 관한 글로벌 합의를 이루는 게 시급하다는 점을 강조했다.

국내에서도 AI 기술에 대한 규범 및 법적 테두리 마련을 위해 논의가 꾸준히 진행 중이나 아직은 더디다는 평가가 나온다. 국회에 발의된 AI 관련 법안은 모두 계류 중인데다, 총선 일정 등을 감안하면 이른 시간 내 법안 처리 가능성은 매우 낮다는 것이 업계 평가다.

전문가들은 국내에서 AI 등 신기술 악용으로 인한 피해를 막기 위해 글로벌 스탠더드에 맞춘 적절한 법안 마련 등이 시급하다고 조언한다. 전창배 IAAE 국제인공지능&윤리협회 이사장은 "법과 제도가 제대로 갖춰져 있어야 AI와 같은 신기술을 잘 활용할 수 있다"며 "안전하다는 기준이 마련돼야 소비하는 이용자들도 AI 기술을 믿고 쓸 수 있고, 산업도 발전할 수 있는 것"이라고 진단했다.

김명주 서울여대 교수(바른AI연구센터장)도 "글로벌 'AI 안정성 정상회의'가 올 5월에 국내에서 열리는 등 우리나라는 글로벌 각국과 규제에 대한 논의를 진행하고 있는 상황"이라며 "글로벌 논의를 보면서 법규도 조정할 필요가 있을 것 같고, 규제안을 만들 때도 AI 개발사 등 국내 기업의 불확실성을 줄이기 위해 유예기간을 두는 등 조치를 할 필요가 있다"고 지적했다.

한편, 최근 한국 주최로 서울에서 개막한 '제3차 민주주의 정상회의'에 화상으로 참석한 각국 정상들은 딥페이크를 비롯한 AI 가짜뉴스와 허위정보에 대한 공동대응에 뜻을 모았다. 윤 대통령은 "가짜뉴스는 국민들이 사실과 다른 정보를 바탕으로 잘못된 판단을 내리도록 선동한다"며 "민주주의의 근간인 선거를 위협하고 있다.

이는 민주주의에 대한 분명한 도발"이라고 지적했다[e-mail] 조윤주 임수빈 기자