🤖 옌지니어의 IT 기록 🤖

메타, LLM 성능 높이는 '멀티 토큰 예측' 아키텍처 공개 (링크)

기사 내용 요약

메타가 대형언어모델(LLM)의 예측 토큰 수를 늘려, 정확성과 속도를 개선할 수 있다는 연구 결과를 발표했다. 이를 통해 모델 속도를 최대 3배 빠르게 할 수 있다고 주장했다.
벤처비트는 6일(현지시간) 메타와 에콜 데 퐁 파리테크, 파리 사클레 대학 등 연구진이 여러 토큰을 동시에 예측하는 '멀티 토큰' 예측 기법에 관한 논문을 온라인 아카이브에 게재했다고 전했다.연구진은 “모든 유형의 모델 및 언어 작업에 보편적인 솔루션은 아니지만, 일부 영역에서는 생성 작업에서 3배의 속도와 더 나은 정확도를 제공한다”라고 말했다. 
연구 결과에 따르면 큰 모델일수록 멀티 토큰 예측의 효과가 증가하며 특히 바이트 수준에서 토큰화를 진행하는 실험에서는 멀티 토큰 예측이 단일 바이트 예측 보델을 크게 앞서는 결과를 나타냈다.

핵심 용어

• 토큰이란?
  • 언어 모델은 인간의 언어가 아닌 토큰 ID를 생성하여 처리
  • 토큰 단위로 나누는 토큰화(tokenization) 작업이 필요
• 다음 토큰 예측 (Next Token Prediction, NTP) → LLM을 훈련하는 고전적 방법
  • 문장의 일부분을 입력하면 다음에 올 단어를 예측
    (모델에 일련의 토큰이 주어지고 다음 토큰을 예측해야 하는 자기 지도 학습 기술)
  • 예측된 토큰을 입력에 추가하고 한 번에 토큰 하나씩 추가하는 프로세스를 반복
• 멀티 토큰 예측 (Multi Token Prediction) → 메타가 발표한 새로운 방법
  • 기존 트랜스포머 아키텍처를 기반으로 하지만 단일 출력 대신 여러 독립적인 출력 헤드로 여러 토큰 동시에 예측
  • 추론 과정에서 기본적인 다음 토큰 예측을 유지하면서 추가적인 출력헤드를 사용해 디코딩 속도 증가

※ Reference ※

https://huggingface.co/blog/alonsosilva/nexttokenprediction (토큰 ID 처리에 대한 예시)

https://wikidocs.net/21698 (토큰화 작업 예시)

https://www.aitimes.com/news/articleView.html?idxno=159080 (라마3 한국어 경쟁력 관련 기사)

메타에서 출시한 라마3에서 한국어 능력은 부족하다는 기사를 봤는데...멀티 토큰 예측 기술을 사용했을 때 한국어의 성능도 궁금하다. 한국어는 토큰화하기 어려운 것으로 알고 있는데 빠른 시일 내에 한국어도 개선되어서 AI 기술을 활용할 수 있으면 좋겠다.