NIA-업스테이지, '오픈 Ko-LLM 리더보드'에 추론·산술 추론 지표 추가

한국지능정보사회진흥원(NIA)은 업스테이지와 공동 운영하는 ‘오픈(Open) Ko-LLM 리더보드’에 평가 지표를 추가하고 업그레이드해 운영할 예정이라고 11일 밝혔다.

‘오픈 Ko-LLM 리더보드’는 지난해 9월 민관 협업을 통해 개설돼 학계 및 업계 다양한 참여자들로부터 큰 관심을 받고 있으며 지난 5월 말까지 참여한 초거대언어모델(LLM) 모델 수가 1500개를 넘어섰고 최고 점수는 70.7점을 기록했다. 이는 세계적으로 인정받는 허깅페이스의 LLM 리더보드(최고점 81.2점)에 근접한 수치로, 한국어 LLM이 발전하고 있음을 입증하는 결과라고 NIA는 설명했다.

NIA와 업스테이지는 Open Ko-LLM 리더보드의 지속적인 발전과 개선을 위해 우선 추론 관련 지표를 추가해 운영할 계획이다.

이번에 추가하는 지표는 허깅페이스의 오픈 LLM 리더보드에서 사용되는 평가지표 중 ‘추론 능력’ 및 ‘산출 추론 능력’ 두 개 지표로 해당 지표를 한국어에 맞게 적용함으로써 한국어 모델의 성능 평가 체계를 국제 평가 기준과 대등한 수준으로 끌어올리는 계기가 될 것으로 기대된다.

추가 지표는 AI 언어 데이터 전문 기업인 플리토가 참여해 한국어에 맞게 번역 및 개발을 지원했다.

NIA 황종성 원장은 “NIA와 업스테이지는 한국어 LLM 발전을 위해 리더보드 평가 지표 및 체계를 지속적인 개선할 방침”이라며 “이를 통해 국내외 AI 연구자들 사이에서 더욱 활발한 교류와 협력이 이루어질 것으로 기대하고 있다”고 말했다.

또한 공동 운영기관인 업스테이지 박찬준 리더는 “한국 LLM 평가의 표준으로 인정받는 만큼 책임감 있는 운영을 위해 지속적으로 NIA와 노력하겠다”고 밝혔다.

[e-mail] 구자윤 기자