🤖 옌지니어의 IT 기록 🤖

허깅페이스, 매개변수 135M에 불과한 ‘스몰LM’ 출시 (링크)

기사 내용 요약

 벤처비트는 16일(현지시간) 허깅페이스가 클라우드 서버에 연결하지 않고도 장치에서 로컬로 실행 가능한 온디바이스 인공지능(AI)용 오픈 소스 sLM ‘스몰LM(SmolLM)’을 공개했다고 보도했다.
 이에 따르면 스몰LM은 텍스트 생성 작업을 효율적으로 수행하도록 설계된 소형 모델로, 3가지 버전을 출시했다. 매개변수는 각각 1억3500만개(135M), 3억6000만개(360M), 17억개(1.7B)로 현재 공개된 sLM 중 가장 작은 규모다.
 허깅 페이스는 데이터 큐레이션부터 훈련 단계에 이르기까지 전체 개발 프로세스를 오픈 소스로 만들어 차별화했다고 밝혔다. 성능 면에서도 큰 모델에 뒤지지 않는 것으로 나타났다. 

핵심 용어

• sLM(small Language Model)이란?
  
  • 소형언어모델로 대규모언어모델에 비해 크기가 작은 언어 모델을 의미
  • 매개변수가 1,000억 개 미만
• sLM의 장점
  • 비용 효율성 : 저렴하고 적은 컴퓨팅 자원이 필요
  • 특정 도메인이나 작업에 맞게 미세조정(fine-tuning)하기 용이
  • 모바일 기기나 엣지 디바이스에 배포하기에 적합
  • 데이터 보안과 프라이버스 보호 측면 : 조직 내부 데이터만을 사용하여 학습하므로 정보 유출 최소화

※ Reference ※

https://www.woongjin.co.kr/customer/blogView.do?no=16&category2=10&keyword= (매개변수에 따른 모델 구분)

https://blog.kakaocloud.com/80 (sLM의 장점 및 활용분야)

https://www.aitimes.com/news/articleView.html?idxno=161648 (SmollLM 관련 기사)

관심이 뜨거운 분야이기 때문에 모델과 트렌드가 빠르게 변화하고 있는 것 같다. 다양한 분야의 기업에서 새로운 모델과 기술들이 출시되고 있는데 어떤 것들이 출시되었고 어떤 기능이 있는지를 찾아보면서 트렌드를 따라가야겠다.

아마존, 몇분 만에 프롬프트로 기업용 앱 생성하는 ‘앱 스튜디오’ 공개 (링크)

기사 내용 요약

 벤처비트는 10일(현지시간) AWS가 연례 뉴욕 서밋 행사에서 프롬프트로 기업용 소프트웨어 애플리케이션을 개발할 수 있도록 지원하는 AI 도구인 ‘앱 스튜디오(App Studio)’를 프리뷰 버전으로 공개했다고 보도했다. 이 외에도 다수의 기능이 추가됐다. 
 사용자가 생성 AI 기반 애플리케이션 개발 인터페이스를 통해 필요한 앱과 하고 싶은 일, 통합하려는 데이터 소스를 설명하면 된다. 몇분 만에 파운데이션 코딩 모델이 입력을 처리하고 테스트 및 배포에 필요한 사용자 인터페이스(UI)와 워크플로를 갖춘 원하는 전문가급 애플리케이션을 구축한다.
 AWS에 따르면, 앱 스튜디오는 작업 특성에 따라 아마존 타이탄, 앤트로픽 등 아마존 베드록에서 돌아가는 다양한 대형언어모델(LLM)들을 활용한다.
 또 AWS는 아마존 베드록에서만 제공했던 '가드레일' 기능을 외부에서 사용 중인 타사 모델에 대해서도 적용할 수 있는 ‘가드레일  API(Guardrails API)’를 프리뷰 버전으로 공개했다. 이를 통해 사용자는 증오 표현이나 성적 용어와 같은 일반적인 가드레일을 AI 애플리케이션에서 얼마나 허용할지 조절할 수 있다.
 더불어 가드레일  API에 모델과 AI 에이전트, 검색 증강 생성(RAG) 시스템이 실제로 회사의 데이터를 읽고 있는지, 아니면 사실을 조작하고 있는지 테스트할 수 있는 ‘컨텍스트 그라운딩(Contextual Grounding)’이라는 기능도 추가했다.
이 외에도 AWS는 베드록에서 AI 에이전트를 구축하기 위한 새로운 기능들도 공개했다. AWS는 베드록에 새로운 코드 해석 기능을 추가, AI 모델이 코드로 복잡한 데이터를 분석할 수 있도록 했다.

핵심 용어

• 가드레일이란?
  
  • 고객이 애플리케이션 요구사항과 회사의 인공지능 정책을 기반으로 보호조치 구현할 수 있는 기능
  • 원치 않는 콘텐츠 방지 / 즉각적인 공격(프롬프트 주입 및 탈옥) 차단 / 민감한 정보 제거
• 컨텍스트 그라운딩(Contextual Grounding)이란?
  • 기업 데이터에 기반하지 않거나 사용자의 쿼리에 관련이 없는 모델 응답에서 환각 현상을 탐지하는 기능

※ Reference ※

https://aws.amazon.com/ko/blogs/korea/guardrails-for-amazon-bedrock-can-now-detect-hallucinations-and-safeguard-apps-built-using-custom-or-third-party-fms/ (아마존 가드레일 및 컨텍스트 그라운딩 관련 내용)

https://cloud.google.com/blog/ko/products/ai-machine-learning/how-to-use-grounding-for-your-llms-with-text-embeddings

(구글의 그라운딩 방식)

사내 직원들이 본인에게 맞는 앱을 만들어서 사용한다면 업무 생산성이 많이 향상될 수 있을 것 같다. 아직 프리뷰 버전으로 공개된 것이라 성능은 어떤지 잘 모르겠지만 정식 출시가 됐을 때 성능이 어떤지 그리고 기업의 반응은 어떨지 궁금하다.

메타, 1분 만에 3D 에셋 생성하는 ‘메타 3D 젠’ 공개 (링크)

기사 내용 요약

메타가 텍스트 설명으로 1분 만에 고품질 3D 에셋(assets)을 생성하는 새로운 인공지능(AI) 도구를 공개했다.
3D젠은 ▲텍스트-3D 형태 생성을 위한 '3D 에셋젠(AssetGen)'과 ▲텍스트-질감 생성을 위한 '3D 텍스처젠(TextureGen)' 기술을 통합한 것이다. 또 물리 기반 렌더링(PBR)을 지원, 다양한 조명 조건에서 사실적인 3D 에셋을 생성할 수 있다.
3D젠은 첫 단계에서 텍스트 프롬프트를 기반으로 초기 3D 에셋을 생성한다. 이 과정에서 질감과 PBR 맵이 포함된 3D 메시(mesh)가 30초 안에 출력된다. 그 다음 전 단계에서 생성된 3D 에셋을 기반으로 더 높은 품질의 질감 및 PBR 맵을 20초 만에 생성한다. 또 새로운 텍스트 프롬프트로 이전 단계 생성물이나 3D 메시에 대한 질감을 표현할 수 있다. 
샘플 영상만 공개했기 때문에, 실제 성능은 검증되지 않았다. 그러나 짧은 시간에 고품질 3D 에셋을 생성할 수 있다는 것은 분명한 강점이다.

핵심 용어

• 3D 에셋(assets)이란?
  
  • 3D 콘텐츠를 만드는데 필요한 캐릭터나 배경 등의 요소
  • 이를 사용할 수 있는 저작권까지 포함한 개념
• 물리 기반 렌더링(PBR, Physically Based Rendering )이란?
  • 조명과 재질 속성의 상호 작용 방식을 정확하게 구현하는 쉐이딩 및 렌더링 기법
  • 물리적으로 정확한 지점에서 에셋을 구현하는 것이 목표
• 3D 메시(mesh)
  • 점, 선, 면으로 이루어진 그래픽 모델

※ Reference ※

https://www.aitimes.com/news/articleView.html?idxno=147639 (3D 에셋 관련 기사)

https://www.adobe.com/kr/products/substance3d/discover/pbr.html (PBR 개념 및 이점에 대한 내용)

https://www.3dsolution.kr/82 (메시의 개념 및 3D 스캔의 기본 원리)

3D 관련 기사도 종종 보이는데 잘 모르겠지만...3D 분야에서도 생성형 AI를 활용하고 있다는 것이 흥미로워서 읽어보았다. 성능이 어떨지 테스트 결과도 궁금하다. 성능이 어떨지는 모르겠지만 빠르게 생성할 수 있다는 것이 큰 장점인 것 같고 추후 성능도 높이는 방향으로 발전하길 기대해본다. 🤩

"요약, 캘린더 관리, 화상회의까지 맡긴다" 업무 구석구석 생산성 높이는 AI 앱 8가지 (링크)

기사 내용 요약

 생성형 AI가 잘 활용되어 업무 생산성 향상에 도움이 될 유용한 앱 8가지를 소개한다.

[문서 및 프레젠테이션]
1. Chat PDF : 웹 기반 툴로 PDF, doc, docx 파일을 업로드 하면 이에 대한 질의응답 가능
2. Beautiful.ai : 원하는 형식으로 프레젠테이션 제작

[이메일]
3. Superhuman : 이메일과 상호작용에 고도화되고 최적화된 크로스 플랫폼 앱으로 'AI에게 질문하기' 기능을 통해 이메일에 포함된 실제 정보 요청 가능

[캘린더]
4. Dola : 사용자가 선택한 4가지 메세지 플랫폼(왓츠앱/텔레그램/라인/애플 메세지)와 다른 캘린더를 직접 연결

[메모 및 필사]
5. Fathom : 영상통화를 자동으로 녹화하여 요약
6. Whisper Web : 이미 녹음된 대화를 간단히 검색 및 나중에 참조하도록 텍스트로 변황
7. Summarize.tech : 유튜브 링크를 통해 동영상 세션을 나누어 요약
8. AudioPen : 사용자의 음성을 오디오 녹음으로 저장하고 요약 및 불필요한 부분 자동 편집

핵심 용어

• 앱 가격 비교 

로그인도 필요없고 무료로 사용할 수 있는 앱이 몇 가지 있어서 직접 테스트를 해봤는데 무료 버전인데도 성능이 나쁘지 않았다. 한글 문서와 영상을 넣어도 영어로 답변을 해주긴 하지만....한글 지원이 안되는 것은 아니라서 쓸만한 것 같다. Dola는 텔레그램으로 테스트를 해봤는데 답변도 한글로 나와서 좋았다. 요즘 핫한 생성형 AI 기능들을 업무에 도움이 되는 방향으로 직접 사용해보면 좋을 것 같다. (업무 중에 딴 짓을 하며...👩🏻‍💻)

“모두를 위한 AI 슈퍼컴” 애저 클라우드 AI 데이터센터의 내부 살펴보기 (링크)

기사 내용 요약

 빌드 컨퍼런스에서 마이크로소프트는 추론 가속기, 고대역폭 연결, 효율성과 안정성을 위한 각종 툴을 통해 애저 클라우드가 대규모 AI 워크로드를 어떻게 지원하는지 설명했다.

AI 슈퍼컴퓨터 구축
 AI 플랫폼을 실행하는 데 필요한 시스템의 규모는 엄청나다. 2024년 6월, 마이크로소프트는 전 세계 데이터센터에 30대 이상의 유사한 슈퍼컴퓨터를 보유하고 있다. 일단 모델이 구축되면 이를 사용해야 하는데, 추론에는 슈퍼컴퓨터 수준의 연산 능력이 필요하지 않지만 여전히 많은 컴퓨팅 성능이 필요하다. 이는 애저 클라우드가 많은 데이터를 최대한 빠르게 처리하기 위해 매우 구체적인 특성을 가진 많은 GPU가 필요하다는 것을 의미한다.

트레이닝을 넘어 추론을 위한 설계
 애저 클라우드의 프로젝트 POLCA는 최대 전력 소비에 대응하는 프로비저닝을 통해 여러 추론 작업을 동시에 실행할 수 있으므로 약 20%의 오버헤드를 줄일 수 있다. 이를 통해 서버 주파수와 전력을 조절해 데이터센터에 30% 더 많은 서버를 배치하여 AI 데이터센터의 컴퓨팅, 전력, 열 수요에 대해 보다 효율적이고 지속 가능한 접근 방식이 가능해졌다.
 또한, 마이크로소프트는 데이터를 관리하기 위해 스토리지 가속기라고 부르는 기능을 개발했다. 이 기능은 현재 작업을 방해하지 않으면서 가용 대역폭을 이용해 필요한 데이터를 로컬이나 클라우드에서 사용할지 결정하는 캐시를 통해 클러스터에 데이터를 분산하고 있다. 병렬 읽기를 사용해 데이터를 로드하면 대량의 학습 데이터를 기존 방식보다 거의 두 배 빠르게 로드할 수 있다.

AI에 필요한 고대역폭 네트워크
컴퓨팅과 스토리지도 중요하지만 수백 개의 GPU에서 작동하는 대규모 데이터 병렬 워크로드에서는 네트워킹이 여전히 중요하다. 마이크로소프트는 서버에서 1.2TBps의 내부 연결을 사용해 8개의 GPU를 연결하고 동시에 인피니밴드 기술을 이용해 개별 서버의 개별 GPU 간에 400Gbps를 연결한다.

신뢰할 수 있는 AI를 만드는 프로젝트 포지와 원풀
소프트웨어 스택은 기본 플랫폼 오케스트레이션 및 지원 툴을 제공한다. 이것이 바로 프로젝트 포지(Project Forge)가 등장하는 이유이다. 분산 인프라 전반에서 작업을 예약하는 동시에 필수 리소스 관리를 제공하고 다양한 유형의 AI 컴퓨팅에 부하를 분산하는 방법으로, 쿠버네티스와 같은 것으로 생각할 수 있다. 프로젝트 포지의 스케줄러는 AI 가속기를 가상 GPU 용량의 단일 풀로 취급하며 이를 원풀(One Pool)이라고 부른다. 각 워크로드에는 이런 가상 GPU에 대한 액세스를 제어하는 우선순위를 두어 관리한다. 또한 프로젝트 포지는 장애를 감지하고 작업을 다시 시작해 호스트 플랫폼을 복구하여 탄력적인 서비스를 실행할 수 있다.

일관성 및 보안 : AI 애플리케이션을 위한 준비 완료
애저의 프로젝트 플라이휠(Project Flywheel)은 성능을 보장하는 역할을 하는데, 가상 GPU에서 여러 프롬프트의 작업을 인터리빙해 호스트 물리 GPU에서 일관된 작업을 수행하면서도 일정한 처리량을 제공할 수 있다. 또 다른 기반 최적화로는 사용자 지정 모델을 학습할 때 적용하는 기밀 컴퓨팅 기능이 있는데, 신뢰할 수 있는 실행 환경에서 코드를 실행하고 데이터를 호스트할 수 있다.

핵심 용어

• Azure 데이터센터란?
  • Azure 데이터 네트워크로 연결된 컴퓨터 서버가 보관되어 있는 전 세계에 위치한 물리적 건물
• 슈퍼컴퓨터란?
  • 표준 컴퓨터보다 높은 성능으로 작동하는 컴퓨터
  • 오늘 날의 슈퍼컴퓨터는 초당 수십억 개까지 계산할 수 있는 수만 개의 프로세서로 구성
• 네트워킹(Networking) 이란?
  • 네트워크에 연결된 장비를 연결하고 네트워크를 통해 데이터 패킷을 전송하는데 사용되는 장비

※ Reference ※

https://azure.microsoft.com/ko-kr/explore/global-infrastructure (Azure 인프라 용어 가이드)

https://www.purestorage.com/kr/knowledge/what-is-a-supercomputer.html (슈퍼컴퓨터 관련 내용)

https://www.advancedenergy.com/ko-kr/applications/telecom-and-networking/networking/ (일반적인 네트워킹 관련 내용)

https://learn.microsoft.com/ko-kr/azure/networking/fundamentals/networking-overview (Azure 네트워킹 서비스 관련 내용)

진짜 잘 모르는 인프라 관련 기사도 읽어보기....모르는 용어 너무 많고 어떻게 구성됐는지 사실 잘 모르겠다. 각각의 구성요소에 대해 조금씩 찾아보긴 했는데 이런 내용들이 쌓이다 보면 인프라에 대해서도 어느 정도 알게 되지 않을까 싶다.

엔비디아, 합성 데이터 생성하는 ‘네모트론-4 340B’ 출시..."비용 문제 해결한 오픈 소스 최강 성능" (링크)

기사 내용 요약

엔비디아가 대형언어모델(LLM) 학습용 합성 데이터를 생성하도록 설계한 모델 ‘네모트론-4 340B(Nemotron-4 340B)'를 공개했다. 이를 통해 비용이 많이 드는 실제 데이터셋 없이도 도메인별 LLM을 구축할 수 있게 됐다는 설명이다. 네모트론-4 340B는 9조 토큰을 사용해 사전 훈련했으며, 4000토큰의 컨텍스트 창을 제공하고 50개 이상의 언어와 40개 프로그래밍 언어를 지원한다.
네모트론-4 340B 베이스 모델은 맞춤형 합성 데이터를 생성하기 위한 기본 프레임워크 역할을 한다. 독점 데이터와 다양한 데이터셋를 사용해 특정 사용 사례에 맞게 미세 조정할 수 있다. 
네모트론-4 340B 인스트럭트 모델은 실제 데이터를 모방하는 합성 데이터를 생성, 데이터 품질을 개선하고 다양한 도메인에서 맞춤형 LLM의 성능을 향상한다. 
네모트론-4 340B 리워드 모델은 생성 데이터의 품질을 필터링하고 향상하는 역할을 한다. 유용성, 정확성, 일관성, 복잡성 및 자세한 정도에 따라 응답을 평가해 생성 데이터가 고품질 표준을 충족하는지 확인한다.

핵심 용어

• 합성 데이터란?
  • 실제 데이터를 모방한, 인간이 생성하지 않은 데이터
  • 생성형 인공 지능 기술을 기반으로 한 컴퓨팅 알고리즘 및 시뮬레이션을 통해 생성
• 합성 데이터 생성 방식
  • 통계적 분포 : 실제 데이터를 분석하여 기본 통계 분포를 식별하고 합성 샘플을 생성
  • 모델 기반 : 실제 데이터 특성을 이해하고 이를 복제하는 기계 학습 모델을 사용
  • 딥러닝 방식 : 생성형 대립 네트워크(GAN), 변이형 오토인코더(VAE) 등의 기술을 통해 합성 데이터 생성
• 컨텍스트 창이란?
  • 프롬프트에 대한 응답을 생성할 때 입력으로 사용할 수 있는 토큰의 수
  • 컨텍스트 창이 클수록 컨텍스트 내 학습 수행 기능(in-context learning) 향상 →  더 큰 예제를 제공해 성능 향상

※ Reference ※

https://aws.amazon.com/ko/what-is/synthetic-data/ (합성 데이터 관련 내용 - AWS)

https://blogs.nvidia.co.kr/blog/what-is-synthetic-data-2/ (합성 데이터 관련 내용 - NVDIA)

https://www.aitimes.com/news/articleView.html?idxno=152588 (컨텍스트 창 관련 기사)

생성형 AI를 도입할 때 데이터에 따라서 성능이 좌우되므로 데이터 수집은 중요하다. 합성 데이터를 생성하는 모델이 출시되어 데이터를 준비하는 것도 수월하게 할 수 있다니...너무 좋은데....사람이 할 일이 점점 줄어드는 것 같아서 슬프다.

“베일 벗은 애플식 AI” 애플 인텔리전스의 모든 것 (링크)

기사 내용 요약

 현재까지 공개된 정보를 보면 애플 인테리전스는 크게 4가지 그룹(시리 / 글쓰기 / 이미지 / 요약 및 정리)으로 분류할 수 있다. 첫 번째, 시리는 사용자에 대한 맥락 정보를 이해해 개인에게 특화된 결과를 제공한다. 두 번째, 글쓰기는 메시지, 메일, 메모, 웹 포럼 등 거의 모든 시스템에서 AI 기반 쓰기 도구를 불러와 원하는 내용을 쉽게 작성할 수 있다. 세 번째, 이미지는 설명을 통해 스케치, 일러스트레이션, 애니메이션 3가지 스타일로 새로운 이미지를 생성한다. 또한, 이미지 묘사를 통한 검색이 가능하며 이미지 배경의 원치 않는 부분을 제거할 수도 있다. 네 번째, 요약 및 정리는 메일이나 웹 페이지를 요약하고 정리하는 기능이다.
 애플 인텔리전스는 다른 생성형 AI와 유사하지만 몇 가지 독특한 특성도 있다. 먼저, 애플은 AI에서도 개인정보 보호에 중점을 둔다. 대부분의 기능은 기기내에서 실행되고 더 크고 복잡한 모델이 필요한 경우 애플이 자체적으로 만든 '프라이빗 클라우드 컴퓨트(Private Cloud Compute)'를 사용한다. 다음으로 애플 인텔리전스는 '일반적'이기보다 '개인적'이다. 아이폰의 정보를 통해 사용자를 파악해 특화된 결과를 제공한다. 마지막으로 애플 인텔리전스는 시스템 전체에 깊숙이 통합돼 대부분 애플 앱에서 사용할 수 있다.
 애플 인텔리전스에 통합되는 첫 외부 AI는 챗GPT이지만, 애플은 다른 AI도 허용할 예정이다.

핵심 용어

• 애플 인텔리전스란?
  • 생성형 AI 기능 제품군을 가리키는 애플의 새로운 브랜드
  • 읽기와 쓰기 중심의 일부 기능 / 이미지 생성을 위한 일부 기능 등으로 구성
  • 사용자를 이해해 개인적 맥락에 따라 작업을 더 빠르게 완료하고 결과를 신속하게 비공개로 전달
• 프라이빗 클라우드란?
  • 하나의 회사를 위한 전용 클라우드 컴퓨팅 환경
  • 안전한 내부 클라우드 스토리지 시스템
• 프라이빗 클라우드의 이점
  • 보안 및 제어 강화 : 리소스를 분리하거나 독점적으로 사용해 무단 액세스 및 유출의 위험 완화
  • 사용자 지정 및 맞춤화 : 기존 IT 인프라 및 레거시 시스템과 원활한 통합을 지원
  • 확장성 : 통제된 확장성 모델을 제공하여 요구사항에 맞게 리소스 조정
  • 비용 효율성 : 리소스 수요가 꾸준한 워크플로에 적합해 장기적으로 비용 효율적

※ Reference ※

https://www.apple.com/kr/newsroom/2024/06/introducing-apple-intelligence-for-iphone-ipad-and-mac/ (공식 홈페이지)

https://themiilk.com/articles/a20e3159a (애플 인텔리전스와 AI의 차별점 관련 내용)

https://www.mk.co.kr/news/it/11038867 (애플과 삼성의 AI 기능 비교)

https://www.atlassian.com/ko/devops/frameworks/private-cloud (프라이빗 클라우드 정의)

https://inside.nhn.com/br/storyDetail.nhn?no=178(프라이빗 클라우드 활용 사례)

핸드폰 바꿀 때가 돼서 이런 기사를 놓칠 수가 없다... AI 핸드폰이라고 해서 기대를 많이 하고 있는데 관련 기사들을 더 보다보니 딱히 특장점이라고 느낄만한지는 잘 모르겠다. 하지만 그래도 사야지라고 생각하고 있는 내가 제일 싫다. AI라고 가격이 너무 비싸지만 않았으면 좋겠다....🍎🍏

사티아 나델라 MS CEO "AI는 인간 지능 아닌 '도구'"…샘 알트먼과 미묘한 입장차 (링크)

기사 내용 요약

AI 사대천왕 중 한명인 얀 르쿤 메타 AI 수석과학자는 X(트위터)에 아래와 같은 내용을 공유했다.
“나는 LLM이 아닌 차세대 AI 시스템을 직접 연구하고 있다. 그래서 정확하게 말하면 '나와 경쟁하라', 아니 오히려 '나와 같은 일을 하라. 그것이 가야 할 길이고, 더 즐거울 것이기 때문이다'"
X 사용자들은 '차세대 AI'가 무엇을 의미하는지, LLM의 대안이 무엇인지에 대해 활발한 이야기를 이어갔다. 이들이 차세대 시스템으로 거론한 것에는 멀티모달 AI, 향상된 추론, 로봇공학, 비지도 학습과 자기 지도 학습, 일반인공지능(AGI) 등이 포함됐다.
이에 반대하는 사람들도 있다. 이들은 지금이야말로 학생과 다른 사람들이 LLM에서 작업하기에 완벽한 시기라고 지적했다. 예를 들어 프롬프트, 탈옥 및 접근성과 관련해서 아직 배워야 할 것이 많다는 지적이다. 일부는 오픈소스 LLM을 다수 출시한 메타가 추후 경쟁을 억제하려는 노력을 펴는 것 같다고 말했다.
르쿤 수석이 개발 중인 것은 LLM이 학습하지 못한 현실 세계를 이해하는 'V-제파'라는 모델이다. 그는 이 방법이 AGI로 가는 돌파구라고 줄곧 주장하며 파이낸셜타임스 인터뷰를 통해 'LLM은 절대로 AGI에 도달할 수 없다"라고 단언했다.
LLM은 논리에 대한 이해가 매우 제한적이며, 물리적 세계를 이해하지 못하고, 지속적인 기억력이 없으며, 용어에 대한 합리적인 정의를 추론할 수 없고, 계획을 세울 수 없는 등 한계가 너무 뚜렷하다고 설명했다. 또 LLM 올바른 훈련 데이터가 제공된 경우에만 프롬프트에 정확하게 응답할 수 있기 때문에, 본질적으로 안전하지 않다고도 말했다.
대신 현재 새로운 AI 시스템을 개발하기 위해 노력하고 있지만, 이 비전을 달성하려면 10년이 걸릴 수 있다고 말했다.

핵심 용어

• 차세대 AI 
  • 멀티모달 AI : 다양한 채널의 모달리티(양식)을 동시에 받아들여 학습하고 사고하는 AI
  • 향상된 추론 : 단번에 추론을 하도록 유도해 학습 효율 향상
  • 로봇공학 : 복잡한 작업을 자율적으로 수행하기 위해 AI 기반 도구가 대량의 정보를 분석
  • 비지도 학습과 자기 지도 학습
    • 비지도 학습 (unsepervised learning)
      • 레이블이 지정되지 않은 데이터에서 패턴이나 구조를 발견하는 과정
      • 입력 데이터만 주어지며 알고리즘은 데이터 내의 숨겨진 구조나 관계를 스스로 찾는 방식
      • 주요 목적은 데이터의 본질적인 특성을 이해하거나 데이터를 유용한 방식으로 요약 및 그룹화
    • 자기 지도 학습 (self-supervised learning)
      • 레이블이 없는 데이터로부터 학습하는 인공지능 기법
      • 레이블이나 주석이 필요하지 않은 대신 데이터 자체에서 학습과정을 생성
  • 일반인공지능(Artificial General Intelligence, AGI) : 인간 수준 지능으로 스스로 학습 가능한 인공지능
• V-제파
  • 추상적인 표현 공간에서 비디오의 누락되거나 가려진 부분을 예측해 학습하는 비생성 모델
  • LLM의 한계를 넘어 인간처럼 추론하고 계획하는 인공일반지능(AGI)으로 가는 길을 열어줄 것으로 기대

※ Reference ※

https://www.samsungsds.com/kr/insights/multi-modal-ai.html (멀티모달 AI)

https://m.dongascience.com/news.php?idx=63595 (인간 추론 능력을 극대화하는 AI)

https://www.aitimes.com/news/articleView.html?idxno=144773 (로봇공학과 AI 융합 관련 기사)

https://wikidocs.net/120198 (비지도 학습)

https://wikidocs.net/167320 (자기 지도 학습)

https://deepdaive.com/agi-definition/ (AGI)

https://www.aitimes.com/news/articleView.html?idxno=158749 (V-제파 관련 기사)

https://www.unite.ai/ko/next-gen-ai-openai-and-metas-leap-towards-reasoning-machines/

(차세대 AI : 추론 기계를 향항 OpenAI와 Meta의 도약)

새로운 기술들이 너무 빨리 나오고 있어 공부해야할 것이 많은 것 같다. 이런 상황에서 선택과 집중이 중요하다고 생각한다. 최근에는 특별히 OCR 기술을 구현할 필요도 없이 Gemini 호출을 통해 사진의 내용을 분석해주는 사례를 보게 되어서 신기했다....기술 트렌드를 파악하면서 공부 방향성을 잡아야겠다.