데이터셋 편향 줄여 인공지능 성능 높인다
2023.09.06 15:34
수정 : 2023.09.06 15:34기사원문
인공지능을 학습시키기 위해 사용되는 데이터셋에는 편향이 존재할 수 있다.
대표적으로 세균성 폐렴과 코로나를 구분하는 영상 데이터셋을 만들때 개별 데이터를 다른 조건에서 수집할 수도 있다. 이 때문에 영상 내에 미세한 차이가 생겨 실제 질병을 구분하는데 중요한 특징이 아닌 다른 특징들로 질환을 구분하게 된다. 이 경우 학습에 쓰인 데이터에는 정확도가 높지만 다른 곳에서 얻은 데이터에는 예측이 부정확해지는 '오버피팅' 문제가 발생한다.
기존 이미지 변환 모델은 질감과 내용이 서로 얽혀 있어 질감을 바꾸면 내용도 함께 변해 문제가 된다. 연구진은 이미지 변환 모델을 개발해 질감의 편향을 제거한 데이터셋을 만들고, 이 데이터셋으로 모델을 학습시키는 방법을 고안했다.
새로운 이미지 변환 모델은 입력 이미지의 콘텐츠 정보와 다른 도메인의 질감 정보를 추출해 결합시킨다. 이때 입력 이미지의 콘텐츠 정보와 새로운 도메인의 질감 정보를 동시에 유지해야 한다. 이를 위해 이 모델은 콘텐츠 자기유사성 오류함수와 질감동시발생 오류함수를 함께 사용해 학습시킨다.
연구진은 이 방법으로 질감 편향이 제거된 데이터셋을 만들고, 딥러닝 모델을 훈련시켜 기존 방법보다 성능을 향상시켰다.
예를들어 털 색이 다른 개나 고양이, 세균성폐렴 등을 분류하는데 높은 성능을 보였다. 또한 멀티 라벨 숫자 분류 데이터셋이나 사진, 그림, 만화, 스케치 같이 여러 편향이 존재하는 데이터셋에서도 더 나은 결과가 나왔다. 이와함께 의료 영상 및 자율주행 영상과 같은 다양한 도메인에서 기존의 적응 기법과 성능을 비교한 결과, 이 새 기법이 더 높은 성능을 보여줬다.
박상현 교수는 "이번 연구를 통해 개발된 기술은 산업 및 의료 분야에서 딥러닝 모델 학습을 위해 편향된 데이터셋을 불가피하게 사용해야 하는 상황에서 성능을 크게 높일 수 있는 기법"이라며, "인공지능을 상업적으로 이용하거나 배포할 때 여러 환경에서 강인하도록 하는 데에 크게 기여할 수 있을 것"이라고 말했다.
한편, 연구진은 이번 연구 결과를 영상분석 관련 분야 최상위 저널인 '네이처 네트웍스(Neural Networks)'에 발표했다.
monarch@fnnews.com 김만기 기자