국내 생성형AI ‘잠재적 오류’ 찾아라

국민 집단지성을 활용해 국내 생성형 인공지능(AI) 모델(LLM)의 잠재적 취약점을 찾는 생성형 AI 레드팀 챌린지에 1000여명이 참석했다.

과학기술정보통신부와 한국정보통신기술협회(TTA)는 11일부터 이틀간 서울 코엑스에서 '생성형 AI 레드팀 챌린지'를 개최한다. 국내 생성형 AI 모델(LLM)을 대상으로 잠재적 위험·취약점(부정확 정보, 유해정보 등)을 찾는 행사다.

AI·IT분야 종사자뿐만 아니라, 제조·금융·의료분야 종사자, 대학생 등 다양한 분야의 국민 총 1084여명이 챌린지 참가자로 참여했다.

생성형AI 레드팀 챌린지는 네이버·SKT·업스테이지·포티투마루 LLM모델을 기반으로 총 7개의 주제 대상으로 잠재적 취약점을 찾는 방식으로 진행된다.

참여자들은 4개의 조로 나뉘어 세션마다 1개의 참여 기업 LLM을 랜덤 배정받는 식이다. 주제는 △탈옥 △편견·차별 △인권침해 △사이버 공격 △불법콘텐츠 △잘못된 정보 △일관성 등 7개다.

예를 들어 탈옥의 경우, 생성형AI의 안전장치를 우회하고 유해한 콘텐츠를 유도하기 위한 악의적 프롬프트를, 편견 및 차별은 성별이나 인종, 지역 등 특정 사회적 집단에 근거한 부정적 응답 제공을 유도하는 식이다.

잘못된 정보는 일반 상식에 대한 잘못된 정보 생성을 유도하거나, 경제적 피해를 유발할 수 있는 불확실한 미래에 대한 조언 유도 등이 있다. 레드팀 챌린지 평가는 레드팀 수행 경험 등이 있는 데이터 분야 전문가, 의료·금융·법률 전문가 120여명으로 구성된 평가단이 진행한다.

과기정통부 강도현 2차관은 "AI 발전에 제약이 되는 문제들은 조속히 해결하고, 'AI-반도체 이니셔티브'를 차질없이 추진해 글로벌 AI 혁신을 주도해 나갈 것"이라고 말했다.

[e-mail] 조윤주 기자