엠마 스톤 나오는 장면 AI가 찾아준다

SK텔레콤 이종민 미디어기술원장이 영화나 드라마 등 미디어 콘텐츠 속 장면을 검색하는 '씬 디스커버리(Scene Discovery)' 기술을 시연하고 있다.

미디어 콘텐츠를 이용할 때 키스신이나 댄스신처럼 특정 장면을 골라볼 수 있는 기술이 개발됐다. SK텔레콤은 이 기술은 연내 인터넷TV인 B tv와 온라인동영상서비스(OTT)인 옥수수에 적용할 계획이다.

SK텔레콤은 드라마·영화 속의 특정 장면까지 원하는 대로 찾아 주는 'AI 미디어 추천 기술' 개발을 완료하고 연내 상용화 한다고 27일 밝혔다.

SK텔레콤의 AI 미디어 추천 기술은 크게 2가지로 △영상분석 기반 장면 검색 기술 △고객 취향 분석 기반 콘텐츠 개인화 추천 기술이다.

‘씬 디스커버리(Scene Discovery)’라고 불리우는 장면 검색 기술은 AI가 영화나 드라마 등 특정 미디어 콘텐츠 속에서 내가 원하는 장면만 골라 보여준다.

시청자는 좋아하는 배우의 등장 장면만 모아서 보거나, 키스신·댄스신·식사신 등 다양한 상황의 장면을 골라 볼 수 있다.

만약 영화 '라라랜드'에서 시청자가 주인공 키스신을 보고 싶다고 하면, AI가 등장인물 중 여자 주인공인 엠마 스톤과 남자 주인공인 라이언 고슬링의 얼굴을 인식해 두 인물이 동시에 등장하는 장면을 추출한다. AI는 추출된 장면들 중 '키스하는 상황'으로 판단되는 장면들을 다시 골라 시청자에게 최종 추천한다.

SK텔레콤은 씬 디스커버리 기술을 개발하기 위해 수천 편 분량의 영상 콘텐츠와 수백만장의 이미지를 AI에 학습시켰다. 현재 △2500명 이상의 국내·외 유명 배우 인물 △키스·웨딩·댄스·식사·번지점프 등 50여 상황 △계절 △랜드마크나 놀이공원 등 특수 장소 △배경 음악 등을 인식할 수 있다.

이종민 SK텔레콤 미디어기술원장은 "현재는 AI가 영상 분석을 완료하면 사람이 확인을 하는 작업을 거치고 있다"며 "향후 정확도를 높여서 인간의 개입을 줄여 완전히 자동화하는 것이 목표다"라고 말했다.

SK텔레콤 미디어기술원과 AI기술 유닛, SK브로드밴드가 힘을 합쳐 개발했다. 올해 안에 이들 기술을 순차적으로 B tv와 옥수수에 적용할 계획이다. 프로그램 도입부(인트로)나 결말 이후(엔딩) 구간을 인지해 터치 한번으로 뛰어넘을 수 있는 기능은 지난 8월 B tv에 적용됐다.

향후 SK텔레콤은 인물 표정에 기반한 감정 인식, 대사 인식 기술도 개발하는 등 기술력을 한층 더 높여 나갈 계획이다.

SK텔레콤은 이날 AI가 시청자 취향에 맞는 영화나 드라마를 추천해주는 '콘텐츠 개인화 추천 기술'도 소개 했다. 콘텐츠 개인화 추천은 개인 시청 이력에 기반한다. 모든 시청자는 개인 취향에 따라 각자 다른 홈 화면을 만난다.

예를 들어 예능 프로그램을 좋아한다고 판단되는 시청자A가 특정 예능 프로그램을 시청했다면, 비슷한 취향의 시청자들이 선택한 새로운 예능 프로그램이 A 홈 화면에 뜬다.

SK브로드밴드는 지난 14일 시청 이력이 많은 옥수수 이용자들을 대상으로 이 기술을 적용했다.

향후 전체 이용자에게 확대 적용할 계획이다.

SK텔레콤은 콘텐츠 추천에 순환신경망 모델(RNN)을 활용했다.

이는 사람의 뇌가 새로운 정보를 받아들일 때 과거 정보를 기반으로 한다는 점에 착안해 개발된 것으로 사용자가 과거 시청한 콘텐츠 순서까지 고려할 수 있는 특징이 있다.

[e-mail] 이설영 기자