업스테이지-NIA, 한국어 LLM 성능 평가 플랫폼 개설
2023.09.25 10:49
수정 : 2023.09.25 10:49기사원문
[파이낸셜뉴스] 업스테이지와 한국지능정보사회진흥원(NIA)이 한국 인공지능(AI) 경쟁력 증진을 위해 한국어 거대언어모델(LLM)의 성능을 평가하고 비교할 수 있는 리더보드를 만든다.
업스테이지는 25일 NIA와 공동 주최로 한국어 LLM 리더보드인 ‘오픈(Open) 코(Ko)-LLM 리더보드’를 구축한다고 밝혔다.
Open Ko-LLM 리더보드는 누구나 자신이 개발한 한국어 LLM 모델을 등록하고 다른 모델과 경쟁할 수 있는 공개 플랫폼이다.
업스테이지와 NIA의 Open Ko-LLM 리더보드는 허깅페이스가 운영하는 오픈LLM 리더보드의 기존 데이터를 단순히 번역한 것이 아니라 한국어의 특성과 문화를 반영한 고품질의 데이터를 자체 구축해 한국어 특화 리더보드로서의 강점을 갖는다.
상식을 생성하는 능력을 살펴보는 ‘상식생성’ 기준을 추가해 한국어 LLM 모델의 높은 성능과 다양성을 평가할 수 있도록 했다. ‘상식생성’은 업스테이지가 임희석 고려대 교수 연구진과 협업으로 구축한 데이터셋으로 역사 왜곡, 환각 오류, 형태소 오류, 불규칙 활용 오류, 혐오 표현 등에 대한 광범위한 유형을 포함한 질문지로 구성했다. 이를 통해 AI가 주어진 조건에 대해서 만들어 낸 결과물이 한국어 사용자라면 지닐 수 있는 일반 상식에 부합할 수 있는지를 측정한다.
이를 통해 해당 상식생성 기준을 통해 국내에서 가장 대표적인 할루시네이션(환각)의 예시로 평가되는 '세종대왕의 맥북던짐 사건' 등의 사례들도 크게 방지할 수 있을 전망이다. 아울러 KT 클라우드의 인프라 지원을 통해 리더보드는 보다 안정적으로 운영될 예정이다.
김성훈 업스테이지 대표는 “업스테이지가 NIA와 함께 한국어 LLM의 경쟁력을 증진하고 연구 수준을 더욱 높일 수 있는 Open Ko-LLM 리더보드를 개설하게 되어 무척 기쁘다”며 “앞으로도 리더보드를 통한 협업 촉진과 빠른 기술 전파 등을 통해 한국 AI 생태계를 넓히고 발전을 증진시킬 수 있도록 더욱 노력 할 것”이라고 전했다.
soup@fnnews.com 임수빈 기자