AI가 입모양 인식해 글자로 변환…"농아인 수화 대신 소통 가능"

[파이낸셜뉴스] 인공지능(AI)이 사람의 입 모양을 인식해 글자로 바꿔주는 시스템이 개발됐다.

연세대 바이오일렉트로닉스·인공지능 연구진이 소리 없이도 얼굴 피부의 움직임만을 측정해 글자로 바꿔주는 시스템 개발에 성공했다. 말할때 얼굴피부의 움직임을 측정하는 압력 측정 센서 4개 만으로도 입모양을 인식했다.

이를 단어로 변환하는 알고리즘과 결합해 테스트한 결과, 최대 91.55% 정확도를 보였다.

소리 없이도 얼굴 피부 움직임 측정

유기준 연세대 전기전자공학과 교수는 13일 "이 시스템은 농아 장애인들이 수화를 사용하지 않고 입 모양 움직임을 통해 의사소통을 할 수 있게 한 신개념 플랫폼"이라고 말했다.

글자변환 시스템 개발은 연세대 유기준·황도식·강홍구 교수와 김태민·신예지·강교원·김기호·김관호·변윤수 연구원이 공동연구를 진행해 세계적 학술지 '네이처 커뮤니케이션즈(Nature Communications)'에 지난 3일 발표했다.

연구진은 우선 p-타입 단결정 실리콘을 초박막 구조로 개량해 피부에 부착할 수 있게 신축성이 뛰어난 압력측정 센서를 만들었다. 피부 부착형 압력측정 센서는 말을 할때 얼굴 피부가 늘어나는 변화를 측정한다. 연구진이 만든 압력측정 센서는 22.3㎟ 크기로 기존에 만들어진 센서보다 수백배 작으면서도 최대 42.7배 민감하게 측정한다. 기존의 음성인식 시스템은 아(a), 오(o), 우(u) 정도의 몇 가지 발음만 식별하는데 그쳤지만 이번에 만든 시스템은 다양한 입모양의 발음까지 식별해냈다. 또한 센서의 양면을 코팅해 피부에서 배출되는 땀이나 피지와 같은 노폐물에 의해 센서 성능이 떨어지는 것도 막아냈다.

정확도 기존 43%→92% 향상

실제로 이 센서를 얼굴에 부착하고 5만번 이상 사용했음에도 압력을 민감하게 측정하는 성능이 그대로 유지됐다.

연구진은 센서에서 측정된 압력 데이터를 다시 단어로 변환하는 알고리즘을 설계하기 위해 인공지능(AI) 기술을 접목했다. 피부에 부착한 압력 측정 센서는 말을 할때 각각 수축과 팽창 변화가 부착한 위치에서 센서의 면적 변화와 관련이 있다. 연구진은 이를 적용해 센서의 저항 변화량을 비전 영상의 각 픽셀값으로 변환하는 인공지능 모델을 설계했다.

테스트를 위해 실험 참가자에게 무작위로 100개의 단어를 100번 반복해 말하게 해 데이터를 수집했다.

이를 딥러닝 모델에 적용해 알고리즘을 만들었다.

기존의 다른 센서와 시스템을 비교해본 결과, 기존의 센서는 42.6%의 정확도가 측정된 반면 이 시스템은 최대 91.55%, 평균적으로 87.53%의 정확도로 단어를 인식해 냈다.

연구진은 "이처럼 설계했을 때 다른 모델 대비 본 연구의 모델 성능이 우수함을 입증했고, 이를 실시간으로 촬영해 데이터를 전송받았을 때 적절한 분류를 시행하는 것도 규명했다"고 설명했다.

[e-mail] 김만기 기자