🤖 옌지니어의 IT 기록 🤖

허깅페이스, 매개변수 135M에 불과한 ‘스몰LM’ 출시 (링크)

기사 내용 요약

 벤처비트는 16일(현지시간) 허깅페이스가 클라우드 서버에 연결하지 않고도 장치에서 로컬로 실행 가능한 온디바이스 인공지능(AI)용 오픈 소스 sLM ‘스몰LM(SmolLM)’을 공개했다고 보도했다.
 이에 따르면 스몰LM은 텍스트 생성 작업을 효율적으로 수행하도록 설계된 소형 모델로, 3가지 버전을 출시했다. 매개변수는 각각 1억3500만개(135M), 3억6000만개(360M), 17억개(1.7B)로 현재 공개된 sLM 중 가장 작은 규모다.
 허깅 페이스는 데이터 큐레이션부터 훈련 단계에 이르기까지 전체 개발 프로세스를 오픈 소스로 만들어 차별화했다고 밝혔다. 성능 면에서도 큰 모델에 뒤지지 않는 것으로 나타났다. 

핵심 용어

• sLM(small Language Model)이란?
  
  • 소형언어모델로 대규모언어모델에 비해 크기가 작은 언어 모델을 의미
  • 매개변수가 1,000억 개 미만
• sLM의 장점
  • 비용 효율성 : 저렴하고 적은 컴퓨팅 자원이 필요
  • 특정 도메인이나 작업에 맞게 미세조정(fine-tuning)하기 용이
  • 모바일 기기나 엣지 디바이스에 배포하기에 적합
  • 데이터 보안과 프라이버스 보호 측면 : 조직 내부 데이터만을 사용하여 학습하므로 정보 유출 최소화

※ Reference ※

https://www.woongjin.co.kr/customer/blogView.do?no=16&category2=10&keyword= (매개변수에 따른 모델 구분)

https://blog.kakaocloud.com/80 (sLM의 장점 및 활용분야)

https://www.aitimes.com/news/articleView.html?idxno=161648 (SmollLM 관련 기사)

관심이 뜨거운 분야이기 때문에 모델과 트렌드가 빠르게 변화하고 있는 것 같다. 다양한 분야의 기업에서 새로운 모델과 기술들이 출시되고 있는데 어떤 것들이 출시되었고 어떤 기능이 있는지를 찾아보면서 트렌드를 따라가야겠다.