메타, '다중 토큰 예측' 코드 생성 모델 출시..."단일 토큰보다 속도·성능 개선"

2024.07.05

ⓒAI타임스 /박찬 기자 

메타가 '다중 토큰 예측(Multi-token Prediction)’ 아키텍처를 기반으로 하는 코드 생성 모델을 출시했다. 이 방식으로 모델 속도를 최대 3배 빠르게 하는 등  대형언어모델(LLM)의 새로운 돌파구를 만들었다고 주장했다.
벤처비트는 4일(현지시간) 메타가 지난 4월 논문을 통해 발표한 ‘다중 토큰 예측’ 아키텍처를 기반으로, 코드 데이터로 사전 훈련한 70억 매개변수의 ‘멀티-토큰-프리딕션’ 모델을 오픈 소스로 출시했다고 보도했다. 
다중 토큰 예측은 전통적인 자동회귀 언어 모델이 한번에 토큰 하나씩 예측하는 것과 달리, 여러 토큰을 동시에 예측함으로써 모델의 속도와 정확도를 향상할 수 있는 방법이다.
(후략)

[원본기사 : https://www.aitimes.com/news/articleView.html?idxno=161325]