딥페이크에 속아 340억원 날린 회사…각국 규제 논의 속속

ⓒ News1 DB

제22대 국회의원선거 90여일 앞둔 10일 경기 수원시 영통구 경기도선거관리위원회 사이버공정선거지원단실에서 관계자들이 사이버선거범죄 근절 퍼포먼스를 실시하고 있다. 2023년 12월28일 개정된 공직선거법에 따라 선거일 전 90일부터 선거일까지 선거운동을 위해 딥페이크 영상 등을 제작·편집·유포·상영 또는 게시할 수 없다. 다만 부칙에 따라 공포 후 1개월이 경과한 오는 29일부터 금지된다.

2024.1.10/뉴스1 ⓒ News1 김영운 기자

(서울=뉴스1) 김승준 기자 = "엄마 나 핸드폰이 고장 나서 문자로 하는데 돈 좀 보내줘"

이런 문자 메시지를 받고 의심이 들어 전화했는데 자녀의 목소리로 전화를 받는다면 쉽게 속을 수 있다. 여기에 더해 영상 통화로 얼굴까지 확인했다면 송금하기 십상일 것이다.

이런 상상 속에서나 가능했던 범죄가 이제 현실이 됐다.

홍콩 사우스차이나모닝포스트(SCMP)와 CNN 등에 따르면 홍콩 경찰은 2일 인공지능(AI) 딥페이크 사기 사례를 공개하며 주의를 당부했다.

다국적기업의 재무 담당자는 1월 중순 본사 최고재무책임자(CFO) 명의로 발송된 이메일을 받았다. 처음에는 의심했으나 이후 초대된 화상회의에서 CFO의 얼굴과 목소리를 확인하고 약 340억원의 자금을 이체했다. 그가 확인한 CFO의 얼굴·목소리는 딥페이크로 합성된 것이었다.

딥페이크는 음란물 합성 등 성범죄와 사진 도용, 허위 사실 유포 범죄 등에 활용됐으나 이제는 금융 피싱 범죄로도 확대되고 있다.

기술이 발전하며 소량의 이미지와 음성만 탈취해도 실제 인물과 같은 영상 합성이 가능해졌으며 생성에 필요한 비용 및 컴퓨터 자원도 줄어드는 등 대중화가 이뤄지고 있다.

대중화 국면에 들어서며 테일러 스위프트 합성 음란물, 바이든 미국 대통령의 음성을 합성한 가짜 선거 전화 등 딥페이크 범죄로 인한 사회 논란도 빈번해지고 있다.

기업들은 생성 AI가 활용됐다는 꼬리표를 다는 식으로 대응에 나서는 중이다. 챗GPT 개발사 오픈AI는 7일 자사 이미지 생성 AI로 만들어진 이미지에 디지털 표식을 붙인다고 발표했다. 앞서 구글, 메타도 유사한 디지털 워터마크를 활용한다는 방침을 공개했다.

삼성전자도 갤럭시 S24 시리즈에 도입한 생성 AI 이미지 편집 기능을 사용하면 이미지에 식별 가능한 마크가 추가되도록 조치했다.

다만 일부 디지털 마크는 삭제 및 위변조 가능성이 있다는 한계가 있다.

각국 정부도 딥페이크를 비롯한 생성 AI 규제 논의에 속도를 내고 있다.

바이든 미국 대통령이 서명한 지난해 첫 인공지능 행정명령에는 인공지능 생성물의 여부를 알 권리가 포함됐다. 또 최근의 딥페이크 범죄 사건 후 백악관이 규제 강화 필요성을 강조하고 입법을 촉구하기도 했다. 또 13개 주 정부도 딥페이크 선거 운동을 금지하는 제도 도입을 추진 중이다.

유럽 연합도 지난해 합의한 AI 법에서 AI 생성 여부 공개 의무가 담겼다.

한국은 '성폭력범죄의 처벌 등에 관한 특례법'으로 딥페이크 성범죄물을 처벌하는 규제가 도입됐다. 최근에는 공직선거법이 개정돼 딥페이크 영상을 활용한 선거 운동이 금지됐다.

선관위는 60여명 규모의 모니터링 전담반을 꾸려 단속에 나섰다.