이교구 서울대학교-민세희 서강대학교 교수 강연
인공지능으로 음성합성·비주얼 아트도 자유자재로
[파이낸셜뉴스] 펭수가 중국어로 화를 내고, 박보검이 영어로 멜로 연기를 하는 콘텐츠가 현실화된다. 텍스트를 자연스러운 언어로 변환하는 인공지능(AI) 기술을 통해 인플루언서의 물리적, 언어적 한계를 극복한 미디어 콘텐츠 시장을 개척할 수 있게된 것이다.
인공지능으로 음성합성·비주얼 아트도 자유자재로
또한, 흩어져 있는 데이터를 시각화해 전에 없던 예술작품을 창조하는 기계창작 역시 이미 비주얼 아트 분야에서 활발히 활용되며, '창작하는 기계 환경(Creative Machines)'이라는 새로운 분야을 구현해 나가고 있다.
AI로 음성합성도 자유자재로
이교구 서울대학교 디지털정보융합전공 전임교수는 4일 서울 광장동 예스24 라이브홀에서 열린 'AI월드 2020(AI World 2020)'에서 "AI는 음악이나 예술 등 창작에서의 단순 작업을 대체할 수 있는 굉장한 힘을 갖고 있다"며 "이렇게 되면 사람은 창작을 위한 아이디어와 마인드셋에 더 집중투자할 수 있고, 시간이 더 걸리는 작업에 리소스를 투입 할 수 있어 보다 효율적인 창작 활동이 가능해진다"고 강조했다.
이 교수는 딥러닝을 통해 문장을 언어로 만드는 '텍스트 투 스피치(Text to Speech, TTS)' 작업을 진행하고 있다. 일례로 네이버 클로바를 통해 네비게이션에서 과속방지턱의 존재를 인지시켜주는 식의 '언어적 정보전달' 작업이 대표적이다.
이 교수는 "만약 대화를 하는 극중 배우가 TTS 톤으로 얘기를 한다면 콘텐츠의 재미는 떨어질 것"이라며 "이를 극복하기 위해 인간이 낼 수 있는 목소리 중 가장 풍부한 표현력을 가진 노래를 활용해 SVS(Singing Voice synthesis) 알고리즘을 개발했다"고 설명했다.
SVS를 활용하면 배우나 가수의 목소리를 자유롭게 합성해 활용할 수 있다. 기존 콘텐츠 시장은 수익성에 비해 투자 리스크가 크고, 콘텐츠 수출시 언어 더빙 등 부대 비용 지출이 컸는데 이를 해결할 수 있게되는 것이다.
데이터 유사성 포착…AI 예술작품으로 재탄생
민세희 서강대학교 아트&테크놀로지 학과 교수는 이날 머신러닝을 통한 비주얼 아트 작업의 가능성 조명했다. 데이터는 정보화되기 전의 자료라는 점에서 창작자 각자의 개인적 경험에 따라 다양한 결과가 도출될 수 있다는 특징이 있다.
민 교수는 "창작자란 원래의 기능을 넘어 새로운 가능성을 탐구하는 사람"이라며 "인공지능과 머신러닝을 활용한 창작이 전세계으로 다양하게 시도되고 있다"고 말했다.
서로 다른 데이터간 유사성을 포착하는 기계 해석으로 특정 형태와 소리를 도출하는 창작이 AI 기술이 가져온 대표적인 창작 변화양상이다. 비슷한 데이터를 모아서 관객으로 하여금 비슷한 정보를 찾아갈 수 있도록 유도하는 방식이다.
민 교수는 "인공지능을 통해 존재하지 않는 사람의 이미지를 만드는 등의 기계 창작은 현재 가장 많이 쓰이는 생성 모델"이라며 "사람의 얼굴을 학습시켜 새로운 초상화를 실시간으로 만들어내는 것처럼 지금은 해당 AI 창작 분야가 굉장히 하이퍼리얼리즘으로 나아가고 있다"고 설명했다.
한편, 민교수는 이날 AI월드 2020에서 기후변화, 모두의 인공지능, 음악, 용산역 등을 다룬 총 4점의 AI비주얼아트도 시연했다.
srk@fnnews.com 김소라 기자
※ 저작권자 ⓒ 파이낸셜뉴스, 무단전재-재배포 금지