🤖 옌지니어의 IT 기록 🤖

허깅페이스, 매개변수 135M에 불과한 ‘스몰LM’ 출시 (링크)

기사 내용 요약

 벤처비트는 16일(현지시간) 허깅페이스가 클라우드 서버에 연결하지 않고도 장치에서 로컬로 실행 가능한 온디바이스 인공지능(AI)용 오픈 소스 sLM ‘스몰LM(SmolLM)’을 공개했다고 보도했다.
 이에 따르면 스몰LM은 텍스트 생성 작업을 효율적으로 수행하도록 설계된 소형 모델로, 3가지 버전을 출시했다. 매개변수는 각각 1억3500만개(135M), 3억6000만개(360M), 17억개(1.7B)로 현재 공개된 sLM 중 가장 작은 규모다.
 허깅 페이스는 데이터 큐레이션부터 훈련 단계에 이르기까지 전체 개발 프로세스를 오픈 소스로 만들어 차별화했다고 밝혔다. 성능 면에서도 큰 모델에 뒤지지 않는 것으로 나타났다. 

핵심 용어

• sLM(small Language Model)이란?
  
  • 소형언어모델로 대규모언어모델에 비해 크기가 작은 언어 모델을 의미
  • 매개변수가 1,000억 개 미만
• sLM의 장점
  • 비용 효율성 : 저렴하고 적은 컴퓨팅 자원이 필요
  • 특정 도메인이나 작업에 맞게 미세조정(fine-tuning)하기 용이
  • 모바일 기기나 엣지 디바이스에 배포하기에 적합
  • 데이터 보안과 프라이버스 보호 측면 : 조직 내부 데이터만을 사용하여 학습하므로 정보 유출 최소화

※ Reference ※

https://www.woongjin.co.kr/customer/blogView.do?no=16&category2=10&keyword= (매개변수에 따른 모델 구분)

https://blog.kakaocloud.com/80 (sLM의 장점 및 활용분야)

https://www.aitimes.com/news/articleView.html?idxno=161648 (SmollLM 관련 기사)

관심이 뜨거운 분야이기 때문에 모델과 트렌드가 빠르게 변화하고 있는 것 같다. 다양한 분야의 기업에서 새로운 모델과 기술들이 출시되고 있는데 어떤 것들이 출시되었고 어떤 기능이 있는지를 찾아보면서 트렌드를 따라가야겠다.

MS가 말하는 2024년 AI 트렌드 3가지는 (링크)

기사 내용 요약

이 글을 쓴 전문 기술작가 바네사 호는 "지난해 '챗GPT'나 '코파일럿' 같은 생성 AI의 등장으로 많은 사람들이 즐거워했다"라며 "올해는 일상 업무를 개선하고 어려운 문제를 해결하는 단계에 접어들었다"라고 소개했다.

- 소형언어모델(sLM)
온디바이스 AI가 보편화되기 위해서는 오프라인 상태에서도 실행할 수 있는 작은 언어모델이 필요하다. 이는 대형언어모델(LLM)을 실행하는데 필요한 상당한 컴퓨팅 리소스를 줄여줄 수 있다. MS는 '파이'와 '오르카'라는 sLM을 출시한 바 있다. 

- 멀티모달AI
텍스트 뿐만 아니라 이미지, 오디오 및 비디오와 같은 데이터를 이해할 수 있는 멀티모달 AI가 주요 트렌드다.
MS의 경우 원하는 것을 설명해 이미지를 생성할 수 있는 'MS 디자이너'를 지원한다. 또 장애가 있는 사용자를 위해 텍스트 판독기나 음성을 지원한다. 

- AI 융합 기술
AI는 기후변화나 에너지 위기, 질병, 식량 등과 같은 글로벌 문제를 해결하는 데에도 활용되고 있다. 특히 단백질 생성 AI나 무기물 생성 AI 등은 신물질 개발에 새로운 장을 열고 있다. MS 역시 지난달 '화합물 생성 AI'로 리튬 배터리 대체 물질을 발견했다고 발표했다.

핵심 용어

• 소형언어모델(sLM, small Language Model)
  • 파이 : 27억 개의 매개변수를 갖춘 모델로 일반 상식 및 마이크로소프트 독자 데이터셋을 포함
  • 오르카 : 130억 개의 매개변수를 갖춘 경량화 대규모 언어 모델로 LLM의 지식을 사용하여 기능 향상

※ Reference ※

https://www.boannews.com/media/view.asp?idx=121029 (대형 및 소형 생성형 AI 언어모델 관련 기사) 🌟

https://www.flowscopenews.com/TechnologyScience/?idx=17285470&bmode=view (소형언어모델의 부상 관련 내용)

https://zdnet.co.kr/view/?no=20231213150825 (MS 파이2 관련 기사)

https://www.digitaltoday.co.kr/news/articleView.html?idxno=495578 (MS 오르카2 관련 기사)

https://yengineeer.tistory.com/17 (멀티모달 AI 관련 내용 정리)

https://www.itworld.co.kr/review/267495 (MS 디자이너 사용 리뷰)

https://www.aitimes.com/news/articleView.html?idxno=156436 (MS 화합물 생성 AI 관련 기사)

많은 기업에서 생성형 AI와 관련된 성과를 내고 있는데 MS도 다양한 분야에 생성형 AI를 접하고 있는 것 같다. 요즘 트렌드인 소형언어모델과 멀티 모달 AI 그리고 AI 융합기술까지 여러 분야에 생성형 AI 기술을 연결하여 기술이 많이 발전하고 있다는 생각이 든다.