[디지털데일리 이종현기자] 데이터 전문기업 셀렉트스타가 한국의 사회적 가치관 및 공통 지식을 기반으로 대규모언어모델(LLM)을 평가하는 데이터셋 관련 연구 논문을 발표했다.

12일 셀렉트스타는 작년 인공지능(AI) 학습용 데이터 구축 사업의 일환으로 SK텔레콤, LG, 네이버, KT와 함께 마련한 LLM 신뢰성 벤치마크 데이터를 한국과학기술원(KAIST) 김재철AI 대학원과 함께 연구를 고도화한 연구논문 ‘KorNAT’를 첫 공개했다.

셀렉트스타에 따르면 KorNAT 연구의 핵심은 특정 국가의 맞춤형 LLM이 해당 국가 구성원의 사회적 가치관 및 기본 지식과 얼마나 일치(Alignment)하는가를 평가하는 것이다.

기존 벤치마크 데이터는 LLM이 얼마나 문제를 잘 푸는지, 윤리적인 문제는 없는지 등을 다뤘지만 해당 데이터는 의견이 갈릴 수 있는 사회적 가치관과 국가 공통 교육 과정의 기본 지식체 초점을 맞춘 것이 특징이다.

해당 논문은 현재 아카이브에 등재돼 국제학술대회 ‘ACL2024’의 심사 결과를 기다리고 있다. 셀렉트스타는 이번 연구가 국내 LLM 연구의 질과 신뢰성을 한단계 높이는 역할을 할 수 있으리라 기대했다. 또 하반기에는 KorNAT 데이터셋 등 LLM 신뢰성 벤치마크 데이터를 기반으로 온라인 평가가 가능한 공개 리더보드 출시도 예정하고 있다.