🤖 옌지니어의 IT 기록 🤖

코딩 테스트를 준비하기 위해 알고리즘 공부가 필요하다. 관련 강의와 책을 찾아보면서 정리할 예정이고 그 전에 코딩 테스트를 효율적으로 준비하기 위한 방법들을 정리해보았다. ("코딩테스트 합격자되기 파이썬편" 참고)

코딩 테스트 공부방법

"아는 것과 모르는 것을 정확하게 구분하기"

1. 기록

- 어떤 알고리즘을 적용하려고 했는지

- 근거는 무엇인지

- 알고리즘을 어떻게 코드로 만드려고 했는지

2. 시험 보듯이 공부

- 주어진 시간을 효율적으로 사용

- 긴장감을 연습

3. 짧은 시간으로 코딩테스트 통과는 불가능

- 최소 한 달에서 두 달 정도 집중해서 공부

4. 나만의 언어로 요약

- 이해한 뒤에 요약은 필수

- 제대로 이해했는지 확인하는 과정

문제를 분석하는 법

코딩 테스트 = 문제 풀이 능력을 확인하는 것

→ 문제 분석에 시간 투자 필요 (50%~60% 정도)

1. 문제를 쪼개서 분석

2. 제약 사항을 파악하고 테스트 케이스 추가
- 어떤 알고리즘을 사용할지 고민할 때 유용
- 추후 코드를 구현하는 단계에서 예외를 거르기 편리

3. 입력값을 분석
- 알고리즘의 시간 복잡도는 입력값이 결정
- 입력값의 크기를 확인하여 문제를 제한시간 내에 풀 수 있는지 확인

4. 핵심 키워드 파악

5. 데이터 흐름이나 구성 파악

의사코드로 설계하는 연습

의사코드란?

프로그램의 논리를 설명하고 알고리즘을 표현하기 위해 작성한 일종의 지침

의사코드의 원칙
1. 프로그래밍 언어로 작성하면 안된다.
2. 일반인도 이해할 수 있는 자연어로 작성해야 한다.
3. 일정한 형식이 없다. (자유롭게 작성)

의사코드를 작성하는 방법
1. 세부 구현이 아닌 동작 중심으로 작성
2. 문제 해결 순서로 작성
3. 충분히 테스트

※ 참고 자료 ※

https://wikidocs.net/221191

“베일 벗은 애플식 AI” 애플 인텔리전스의 모든 것 (링크)

기사 내용 요약

 현재까지 공개된 정보를 보면 애플 인테리전스는 크게 4가지 그룹(시리 / 글쓰기 / 이미지 / 요약 및 정리)으로 분류할 수 있다. 첫 번째, 시리는 사용자에 대한 맥락 정보를 이해해 개인에게 특화된 결과를 제공한다. 두 번째, 글쓰기는 메시지, 메일, 메모, 웹 포럼 등 거의 모든 시스템에서 AI 기반 쓰기 도구를 불러와 원하는 내용을 쉽게 작성할 수 있다. 세 번째, 이미지는 설명을 통해 스케치, 일러스트레이션, 애니메이션 3가지 스타일로 새로운 이미지를 생성한다. 또한, 이미지 묘사를 통한 검색이 가능하며 이미지 배경의 원치 않는 부분을 제거할 수도 있다. 네 번째, 요약 및 정리는 메일이나 웹 페이지를 요약하고 정리하는 기능이다.
 애플 인텔리전스는 다른 생성형 AI와 유사하지만 몇 가지 독특한 특성도 있다. 먼저, 애플은 AI에서도 개인정보 보호에 중점을 둔다. 대부분의 기능은 기기내에서 실행되고 더 크고 복잡한 모델이 필요한 경우 애플이 자체적으로 만든 '프라이빗 클라우드 컴퓨트(Private Cloud Compute)'를 사용한다. 다음으로 애플 인텔리전스는 '일반적'이기보다 '개인적'이다. 아이폰의 정보를 통해 사용자를 파악해 특화된 결과를 제공한다. 마지막으로 애플 인텔리전스는 시스템 전체에 깊숙이 통합돼 대부분 애플 앱에서 사용할 수 있다.
 애플 인텔리전스에 통합되는 첫 외부 AI는 챗GPT이지만, 애플은 다른 AI도 허용할 예정이다.

핵심 용어

• 애플 인텔리전스란?
  • 생성형 AI 기능 제품군을 가리키는 애플의 새로운 브랜드
  • 읽기와 쓰기 중심의 일부 기능 / 이미지 생성을 위한 일부 기능 등으로 구성
  • 사용자를 이해해 개인적 맥락에 따라 작업을 더 빠르게 완료하고 결과를 신속하게 비공개로 전달
• 프라이빗 클라우드란?
  • 하나의 회사를 위한 전용 클라우드 컴퓨팅 환경
  • 안전한 내부 클라우드 스토리지 시스템
• 프라이빗 클라우드의 이점
  • 보안 및 제어 강화 : 리소스를 분리하거나 독점적으로 사용해 무단 액세스 및 유출의 위험 완화
  • 사용자 지정 및 맞춤화 : 기존 IT 인프라 및 레거시 시스템과 원활한 통합을 지원
  • 확장성 : 통제된 확장성 모델을 제공하여 요구사항에 맞게 리소스 조정
  • 비용 효율성 : 리소스 수요가 꾸준한 워크플로에 적합해 장기적으로 비용 효율적

※ Reference ※

https://www.apple.com/kr/newsroom/2024/06/introducing-apple-intelligence-for-iphone-ipad-and-mac/ (공식 홈페이지)

https://themiilk.com/articles/a20e3159a (애플 인텔리전스와 AI의 차별점 관련 내용)

https://www.mk.co.kr/news/it/11038867 (애플과 삼성의 AI 기능 비교)

https://www.atlassian.com/ko/devops/frameworks/private-cloud (프라이빗 클라우드 정의)

https://inside.nhn.com/br/storyDetail.nhn?no=178(프라이빗 클라우드 활용 사례)

핸드폰 바꿀 때가 돼서 이런 기사를 놓칠 수가 없다... AI 핸드폰이라고 해서 기대를 많이 하고 있는데 관련 기사들을 더 보다보니 딱히 특장점이라고 느낄만한지는 잘 모르겠다. 하지만 그래도 사야지라고 생각하고 있는 내가 제일 싫다. AI라고 가격이 너무 비싸지만 않았으면 좋겠다....🍎🍏

사티아 나델라 MS CEO "AI는 인간 지능 아닌 '도구'"…샘 알트먼과 미묘한 입장차 (링크)

기사 내용 요약

AI 사대천왕 중 한명인 얀 르쿤 메타 AI 수석과학자는 X(트위터)에 아래와 같은 내용을 공유했다.
“나는 LLM이 아닌 차세대 AI 시스템을 직접 연구하고 있다. 그래서 정확하게 말하면 '나와 경쟁하라', 아니 오히려 '나와 같은 일을 하라. 그것이 가야 할 길이고, 더 즐거울 것이기 때문이다'"
X 사용자들은 '차세대 AI'가 무엇을 의미하는지, LLM의 대안이 무엇인지에 대해 활발한 이야기를 이어갔다. 이들이 차세대 시스템으로 거론한 것에는 멀티모달 AI, 향상된 추론, 로봇공학, 비지도 학습과 자기 지도 학습, 일반인공지능(AGI) 등이 포함됐다.
이에 반대하는 사람들도 있다. 이들은 지금이야말로 학생과 다른 사람들이 LLM에서 작업하기에 완벽한 시기라고 지적했다. 예를 들어 프롬프트, 탈옥 및 접근성과 관련해서 아직 배워야 할 것이 많다는 지적이다. 일부는 오픈소스 LLM을 다수 출시한 메타가 추후 경쟁을 억제하려는 노력을 펴는 것 같다고 말했다.
르쿤 수석이 개발 중인 것은 LLM이 학습하지 못한 현실 세계를 이해하는 'V-제파'라는 모델이다. 그는 이 방법이 AGI로 가는 돌파구라고 줄곧 주장하며 파이낸셜타임스 인터뷰를 통해 'LLM은 절대로 AGI에 도달할 수 없다"라고 단언했다.
LLM은 논리에 대한 이해가 매우 제한적이며, 물리적 세계를 이해하지 못하고, 지속적인 기억력이 없으며, 용어에 대한 합리적인 정의를 추론할 수 없고, 계획을 세울 수 없는 등 한계가 너무 뚜렷하다고 설명했다. 또 LLM 올바른 훈련 데이터가 제공된 경우에만 프롬프트에 정확하게 응답할 수 있기 때문에, 본질적으로 안전하지 않다고도 말했다.
대신 현재 새로운 AI 시스템을 개발하기 위해 노력하고 있지만, 이 비전을 달성하려면 10년이 걸릴 수 있다고 말했다.

핵심 용어

• 차세대 AI 
  • 멀티모달 AI : 다양한 채널의 모달리티(양식)을 동시에 받아들여 학습하고 사고하는 AI
  • 향상된 추론 : 단번에 추론을 하도록 유도해 학습 효율 향상
  • 로봇공학 : 복잡한 작업을 자율적으로 수행하기 위해 AI 기반 도구가 대량의 정보를 분석
  • 비지도 학습과 자기 지도 학습
    • 비지도 학습 (unsepervised learning)
      • 레이블이 지정되지 않은 데이터에서 패턴이나 구조를 발견하는 과정
      • 입력 데이터만 주어지며 알고리즘은 데이터 내의 숨겨진 구조나 관계를 스스로 찾는 방식
      • 주요 목적은 데이터의 본질적인 특성을 이해하거나 데이터를 유용한 방식으로 요약 및 그룹화
    • 자기 지도 학습 (self-supervised learning)
      • 레이블이 없는 데이터로부터 학습하는 인공지능 기법
      • 레이블이나 주석이 필요하지 않은 대신 데이터 자체에서 학습과정을 생성
  • 일반인공지능(Artificial General Intelligence, AGI) : 인간 수준 지능으로 스스로 학습 가능한 인공지능
• V-제파
  • 추상적인 표현 공간에서 비디오의 누락되거나 가려진 부분을 예측해 학습하는 비생성 모델
  • LLM의 한계를 넘어 인간처럼 추론하고 계획하는 인공일반지능(AGI)으로 가는 길을 열어줄 것으로 기대

※ Reference ※

https://www.samsungsds.com/kr/insights/multi-modal-ai.html (멀티모달 AI)

https://m.dongascience.com/news.php?idx=63595 (인간 추론 능력을 극대화하는 AI)

https://www.aitimes.com/news/articleView.html?idxno=144773 (로봇공학과 AI 융합 관련 기사)

https://wikidocs.net/120198 (비지도 학습)

https://wikidocs.net/167320 (자기 지도 학습)

https://deepdaive.com/agi-definition/ (AGI)

https://www.aitimes.com/news/articleView.html?idxno=158749 (V-제파 관련 기사)

https://www.unite.ai/ko/next-gen-ai-openai-and-metas-leap-towards-reasoning-machines/

(차세대 AI : 추론 기계를 향항 OpenAI와 Meta의 도약)

새로운 기술들이 너무 빨리 나오고 있어 공부해야할 것이 많은 것 같다. 이런 상황에서 선택과 집중이 중요하다고 생각한다. 최근에는 특별히 OCR 기술을 구현할 필요도 없이 Gemini 호출을 통해 사진의 내용을 분석해주는 사례를 보게 되어서 신기했다....기술 트렌드를 파악하면서 공부 방향성을 잡아야겠다. 

사티아 나델라 MS CEO "AI는 인간 지능 아닌 '도구'"…샘 알트먼과 미묘한 입장차 (링크)

기사 내용 요약

22일 블룸버그 통신에 따르면 나델라 CEO는 지난 21일 블룸버그 텔레비전과의 인터뷰에서 "AI는 실제 인간의 지능이 아니라 '도구'라는 점을 기억해야 한다"며 "AI를 의인화하는 것을 좋아하지 않는다"고 말했다.
나델라 CEO의 발언을 두고 블룸버그는 "기술이 발전해 인간처럼 보이는 방식으로 반응하는 AI 서비스를 (앞으로) 얼마나 인간화할 지에 대한 기술 업계의 논쟁이 계속되고 있음을 암시하는 것"이라고 해석했다. 
구글도 AI를 도구에 국한되는 듯한 입장을 보였다. 구글 한 임원은 지난주 블룸버그와의 인터뷰에서 "감정을 보여주는 AI 도구를 개발하는 것은 가능하다"면서도 "구글은 매우 유용한 도구에 집중하는 것을 선호한다"고 말했다.
반면 오픈AI는 다른 접근 방식을 취하고 있다. 특히 새 AI 모델 'GPT-4o'는 최근 시연하는 과정에서 이를 사용하는 직원에게 AI 음성으로 대시하는 듯한 모습을 연출해 눈길을 끌었다.
업계에선 최근 오픈AI의 행보를 두고 AI 기술 개발 경쟁이 치열해지면서 'AI 윤리' 문제가 뒷전으로 밀려나는 상황이 벌어지고 있다고 분석했다. 

핵심 용어

• AI 윤리 (AI Ethics)란?
  • 인공지능 관련 이해관계자들이 준수해야 할 보편적 사회 규범 및 관련 기술
  • 인공지능을 도덕적이고 책임감 있게 사용하도록 하는 규율
• AI 윤리의 5대 문제
  • 편향성 : 인간에게는 존재하는 편향이 인간의 행동과 데이터에 반영
  • 오류와 안전성 : 인공지능의 잘못된 판단이나 오류가 치명적 피해
  • 악용 : 피싱, 딥페이크, 사이버 범죄 등 불법적이거나 비윤리적인 일에 인공지능이 악용
  • 개인정보보호 : 인공지능은 방대한 알고리즘의 학습을 거치므로 개인의 사생활 침해 및 정보 유출 우려
  • 킬러로봇 : 사람의 개입 없이 자동으로 사람을 공격할 수 있는 인공지능 기반 군사형 자율 로봇
• AI에 대한 낙관적 / 비관적 입장
  • 낙관적 입장
    • 다양한 지식을 빠르게 탐구하거나 글이나 정보를 빠르게 찾고 정리
    • 철학적인 질문으로 토론하고 데이터 분석을 요청
    • 창작의 영역 (ex. 가수처럼 노래를 대신 불러주거나 영화 생성)
  •  비관적 입장
    • 저작권 : 결과물 생성을 위해 기존 인간의 창작물을 학습하는 과정에서 문제 발생
      • 해결 방안
      • 1) AI의 저작권 침해롸 관련된 법안 등의 규제를 만드는 것
      • 2) 기술적으로 AI가 저작권을 침해하지 못하도록 막는 것
    • 편향성 : AI가 기존 인간의 편향성을 그대로 드러내는 경우 존재
      • 해결 방안
      • 1) AI 편향성을 측정하고 평가하기 위한 모델 개발
      • 2) AI 학습 및 설계 단계에서부터 편향성을 줄이기 위한 방법 모색
      • 3) AI에게 편향성을 줄여달라고 직접 요구

※ Reference ※

https://www.content.upstage.ai/blog/insight/ai-ethics (AI 윤리가 필요한 이유와 기업의 노력)

https://kead-webzine.or.kr/april/trend-report/ (챗GPT 열풍 속 인공지능 윤리 문제)

https://www.samsungsds.com/kr/insights/ai-risks-and-responses.html (AI 리스크에 대한 동향 및 시사점)

https://www.seoulpa.kr/bbs/board.php?bo_table=npo_aca&wr_id=74375 (AI에 대한 낙관적 비관적 입장 차이) 🌟

개인적으로 MS CEO의 의견에 공감이 됐다. 요즘 많은 AI 기술들이 공개되면서 편리한 동시에 주의해야할 것도 많아진 것 같다. 새로운 기술들을 보면서 비판적인 시각을 가지기 보다는 "오...신기하네..살기 편하다" 라는 생각을 했었던 것을 반성하게 됐다.. 무작정 기술을 받아들이기보다는 얻을 수 있는 장점과 주의해야할 것들을 구분해서 생각해봐야겠다. 그리고 이를 의인화하며 의존하기보다는 도구로 활용하려는 노력을 기울여야겠다.

AI 논문 사이트 추천

1. paperswithcode : https://paperswithcode.com/

• 논문과 코드를 같이 볼 수 있는 사이트
• 인기순 / 최신순 / 특정 주제 검색하여 관련 논문 확인 가능

2. Deep Learning Monitor : https://deeplearn.org/

• 소셜 미디어에서 핫한 딥러닝 논문 모음 사이트
• 인기순 / 최신순 / 특정 주제 검색하여 관련 논문 확인 가능

3. Journal of Machine Learning Research : https://jmlr.org/

• 월별 머신러닝 논문을 확인할 수 있는 사이트
• 머신러닝 오픈소스도 확인 가능

4. arxiv : https://arxiv-sanity-lite.com/

• 오픈 액세스 논문 사이트
• 최신순 / 특정 주제 검색하여 관련 논문 확인 가능

+) https://nlp.elvissaravia.com/p/top-ml-papers-of-the-week-ed5?utm_source=pytorchkr&ref=pytorchkr

   매주 인기있는 머신러닝 논문 확인 가능

논문 효과적으로 읽는 방법

1. 안읽을 부분 정하기

• "읽기의 목적" 과 "자신의 수준(관련 분야에 대한 친밀도)" 정의
  • 목적 : 논문의 목적을 파악하고 관련 내용에 대한 이해 높이기
  • 수준 : 해당 분야에 대한 대략적인 지식이 있는 상태

2. 머리와 꼬리 위주로 읽기

• 읽어야 할 부분
  • 머리 : 제목(Title) / 초록(Abstract) / 서론(Introduction)
    • 초록(Abstract) : 논문이 '무슨 문제'를 풀려고 했고 '어떠한 목적'을 가지고 있는지 파악
    • 서론(Introduction) : '어떤 문제를 어떻게 풀고 있는지'를 관련 연구들과 비교하는 부분
  • 꼬리 : 실험(Experiments) / 결론(Conclusion)
    • 결론(Conclusion) : 머리 부분을 제대로 이해했는지 확인하는 용도
• 읽는 순서
  • Title → Abstract → Introduction → Experiments → Conclusion
  • Title → Abstract → Experiments

3. 표 및 그림 확인하기

• 2번에서 논문의 개요를 파악하고 표와 그림을 통해 본문을 예측
• 해당 분야의 평가 방식을 이해

※ Reference ※

AI/머신러닝 논문 사이트 추천 🌟

→ 다양한 사이트를 추천해주셨고 특징이 잘 정리된 블로그

논문, 효과적으로 읽는 법 - 입문자편 🌟

→ 기본 단계 설정에 도움이 많이 된 블로그

영어 못해도 논문 잘 읽는 법

구글, LLM 내부 살펴볼 수 있는 '모델 익스플로러' 공개 (링크)

기사 내용 요약

벤처비트는 17일(현지시간) 구글이 대규모 AI 모델을 시각화해 내부 동작을 이해하고 디버깅을 통해 모델을 최적화할 수 있게 해주는 도구 ‘모델 익스플로러(Model Explorer)’를 오픈 소스로 출시했다고 전했다.
여러 계층과 복잡한 연결이 있는 대규모 모델 시각화를 통해 모델 내부에서 데이터가 이동하는 방식과 구성 요소들이 상호작용하는 방식을 묘사하여 모델을 만드는 과정에서 문제를 디버그하고 아키텍처를 최적화할 수 있다.
모델 익스플로러는 그래픽 렌더링 기술을 활용해 LLM을 원활하게 시각화하는 동시에, 구조 탐색을 위한 인터페이스를 제공한다. 계층적 접근 방식을 활용해 모델 작업을 중첩된 레이어로 구성하여 사용자가 레이어를 확장하거나 축소하면서 모델의 특정부분을 집중적으로 분석할 수 있다.
이 도구는 텐서플로우, 파이토치, JAX 등의 머신러닝(ML) 프레임워크에서 일반적으로 사용되는 여러 그래프 형식을 지원하여 다양한 모델과의 호환성을 보장한다. 모델 탐색기는 WebGL 및 three.js를 통해 GPU 가속 그래프 렌더링을 활용하여 대규모 그래프를 원활하게 렌더링하는 문제를 해결한다. 또 모델 탐색기는 모델 성능을 최적화하기 위해 인스턴스 렌더링 기술을 통합했다.
결론적으로 구글의 모델 익스플로러는 대규모 AI 모델을 이해하고 디버깅하며 최적화하는 문제에 대한 솔루션을 제공한다.

핵심 용어

• 모델 익스플로러 (Model Explorer)의 기능 및 기술

• 렌더링(Rendering)이란?
  • 2차원 그래픽 표면에 변화를 주어 3차원 질감을 주는 과정

※ Reference ※

http://www.ktword.co.kr/test/view/view.php?no=2820 (렌더링 용어 설명)

https://terms.tta.or.kr/dictionary/dictionaryView.do?word_seq=054262-1 (렌더링 용어 설명)

모델을 사용할 때 어떤 구성으로 되어있는지 알 수 없어서 원하는 성능을 얻지 못하는 경우가 종종 있는데....해당 기능을 사용한다면 모델을 파악하고 보다 좋은 성능을 기대해볼 수 있을 것 같다.

오픈AI, 음성비서 기능 대폭 강화한 'GPT-4o' 공개..."gpt2가 이 모델 맞아" (링크)

기사 내용 요약

오픈AI가 음성 비서 기능을 강화한 새 멀티모달모델(LMM) 'GPT-4o'를 공개했다. 그리고 최근 화제를 일으켰던 정체불명의  'gpt2-챗봇'이 이 모델이라는 것을 확인했다. 향후 애플의 '시리'에 통합하는데에도 사용될 것으로 보인다.
이 모델은 인간과의 상호작용에서 기존 모델보다 더 빠르고 저렴하다. 대화 중 일부를 노래로 표현하거나 GPT-4o를 탑재한 휴대폰 2개가 상호작용하는 모습도 공개했다. 또, 다국어 능력을 갖추고 있어 즉각적인 언어 번역도 가능하다. 이미지 처리 기능에서도 뛰어난 성능을 보였다.
기술적으로는 기존에 LMM을 구동하기 위해 텍스트와 이미지, 음성 부분을 따로 담당하는 것을 넘어, 모델 3개를 하나로 통합했다고 설명했다.

핵심 용어

• LMM (Large Multimodal Model) 이란?
  • 여러 유형의 데이터 형식을 처리하고 이해할 수 있는 고급 유형의 인공지능 모델
  • 멀티모달 데이터에는 텍스트, 이미지, 오디오, 비디오 등이 포함
• LMM과 LLM 비교

※ Reference ※

https://www.aitimes.com/news/articleView.html?idxno=159334 (정체불명 챗봇 등장 기사)

https://www.aitimes.com/news/articleView.html?idxno=154291 (LMM 관련 기사)

https://www.gttkorea.com/news/articleView.html?idxno=8274 (LLM vs. LMM) 🌟

최근에 챗봇 아레나에 등장했다가 사라진 모델에 대한 기사를 보고 궁금했었는데 그게 오픈AI의 새 모델이라는 추측이 맞아서 신기했다. 모델들의 성능이 점점 더 좋아지고 있으니 필요한 모델을 잘 선택하고 활용하는 것이 중요할 것으로 보인다.

메타, LLM 성능 높이는 '멀티 토큰 예측' 아키텍처 공개 (링크)

기사 내용 요약

메타가 대형언어모델(LLM)의 예측 토큰 수를 늘려, 정확성과 속도를 개선할 수 있다는 연구 결과를 발표했다. 이를 통해 모델 속도를 최대 3배 빠르게 할 수 있다고 주장했다.
벤처비트는 6일(현지시간) 메타와 에콜 데 퐁 파리테크, 파리 사클레 대학 등 연구진이 여러 토큰을 동시에 예측하는 '멀티 토큰' 예측 기법에 관한 논문을 온라인 아카이브에 게재했다고 전했다.연구진은 “모든 유형의 모델 및 언어 작업에 보편적인 솔루션은 아니지만, 일부 영역에서는 생성 작업에서 3배의 속도와 더 나은 정확도를 제공한다”라고 말했다. 
연구 결과에 따르면 큰 모델일수록 멀티 토큰 예측의 효과가 증가하며 특히 바이트 수준에서 토큰화를 진행하는 실험에서는 멀티 토큰 예측이 단일 바이트 예측 보델을 크게 앞서는 결과를 나타냈다.

핵심 용어

• 토큰이란?
  • 언어 모델은 인간의 언어가 아닌 토큰 ID를 생성하여 처리
  • 토큰 단위로 나누는 토큰화(tokenization) 작업이 필요
• 다음 토큰 예측 (Next Token Prediction, NTP) → LLM을 훈련하는 고전적 방법
  • 문장의 일부분을 입력하면 다음에 올 단어를 예측
    (모델에 일련의 토큰이 주어지고 다음 토큰을 예측해야 하는 자기 지도 학습 기술)
  • 예측된 토큰을 입력에 추가하고 한 번에 토큰 하나씩 추가하는 프로세스를 반복
• 멀티 토큰 예측 (Multi Token Prediction) → 메타가 발표한 새로운 방법
  • 기존 트랜스포머 아키텍처를 기반으로 하지만 단일 출력 대신 여러 독립적인 출력 헤드로 여러 토큰 동시에 예측
  • 추론 과정에서 기본적인 다음 토큰 예측을 유지하면서 추가적인 출력헤드를 사용해 디코딩 속도 증가

※ Reference ※

https://huggingface.co/blog/alonsosilva/nexttokenprediction (토큰 ID 처리에 대한 예시)

https://wikidocs.net/21698 (토큰화 작업 예시)

https://www.aitimes.com/news/articleView.html?idxno=159080 (라마3 한국어 경쟁력 관련 기사)

메타에서 출시한 라마3에서 한국어 능력은 부족하다는 기사를 봤는데...멀티 토큰 예측 기술을 사용했을 때 한국어의 성능도 궁금하다. 한국어는 토큰화하기 어려운 것으로 알고 있는데 빠른 시일 내에 한국어도 개선되어서 AI 기술을 활용할 수 있으면 좋겠다.