🤖 옌지니어의 IT 기록 🤖

기사 내용 요약

삼성전자(대표 한종희, 경계현)는 17일(현지시간) 미국 새너제이에 위치한 SAP센터에서 ‘갤럭시 언팩 2024(Galaxy Unpacked 2024)’ 행사를 개최하고 ‘갤럭시 S24 시리즈’를 공개했다. 갤럭시 S24 시리즈의 국내 사전 판매는 19일부터 25일까지 1주일간 진행된다.

실시간 통역
서로 다른 언어로 소통하는 사용자 간 통화 시, 실시간 양방향 통역 서비스를 제공한다. '온디바이스 AI'를 기반으로 이루어지기 때문에 별도 앱을 다운 받을 필요가 없고 내용이 외부로 노출되지 않는다. '메시지'에도 실시간 번역을 적용했으며 온디바이스 AI의 삼성 키보드를 통해 이루어진다. 지원 언어는 한국어를 비롯해 중국어(간체), 영어, 프랑스어, 독일어, 힌디어, 이탈리아어, 일본어, 폴란드어, 포르투갈어, 스페인어, 태국어, 베트남어 이상 13개 언어이다.

검색
구글과의 협업을 거쳐 탄생한 ‘서클 투 서치(Circle to Search)’ 기능을 최초로 탑재했다. 이를 위해 구글의 '제미나이 프로'가 적용된다. 검색이 필요할 경우, 어느  화면에서나 동그라미를 그리기만 하면 쉽고 빠르게 검색을 시도하고 결과를 확인할 수 있다.

노트 어시스트(Note Assist) 및 음성 녹음 기능 추가
삼성 노트 앱에서 사용자가 작성한 글이나 메모 등을 요약 정리해주고, 회의록 형식 등 템플릿에 맞춰 변환해주는 기능을 제공한다. '음성 녹음' 앱에서는 STT(음성-문자 전환) 기술을 활용해 화자가 분리된 스크립트를 제공한다.

사진 촬영·편집
카메라에는 AI 기반의 ‘프로비주얼 엔진(ProVisual Engine)’을 탑재해, 줌 기능부터 ‘나이토그래피(Nightography)’까지 안정된 화질을 제공한다. 특히 2배, 3배, 5배, 10배 줌을 모두 광학 수준의 고화질로 제공하는 ‘쿼드 텔레 시스템(Quad Tele System)’을 시리즈 최초로 탑재했다.
갤러리 앱에도 갤럭시 AI 기반 편집 기능을 적용했다. AI가 사진을 분석해 사용자에게 맞춤형 편집 도구를 제안하기도 하고 기울거나 배경화면이 잘린경우 AI가 이를 자연스러운 사진으로 완성한다. 구글의 이미지 생성 AI인 '이마젠'을 적용한 예다.

핵심 용어

• STT(Speech-To-Text)란?
  • 사람이 말하는 음성 언어를 컴퓨터가 해석해 그 내용을 문자 데이터로 전환하는 것
• 이마젠(Imagine)
  • 알파고로 유명한 구글 딥마인드에서 개발한 AI 이미지 생성 모델
• 이마젠의 주요 기능
  • 사용자의 명령어(프롬프트)를 이미지로 정확하게 구현
  • 고해상도의 사실적인 이미지
  • 텍스트 명령어와 참조 이미지를 함께 제공해서 스타일 반영한 이미지 생성
  • 인페인팅 / 아웃페인팅
  • 텍스트의 이미지 구현
  • 로고 생성
  • 특정 이미지에 대한 설명 생성 및 관련 대화

※ Reference ※

https://yengineeer.tistory.com/23 (온디바이스 AI 관련 내용)

https://yengineeer.tistory.com/17 (제미나이 관련 내용)

https://blog.skcc.com/3764 (STT 관련 내용)

https://deepdaive.com/%EC%9D%B4%EB%A7%88%EC%A0%A0-2-imagen-2/ (이마젠의 개념 및 기능)

https://zdnet.co.kr/view/?no=20240118033257(갤럭시S24 울트라 반응 관련 기사)

온디바이스 AI 관련된 기사를 연말에 봤는데 이미 진행이 다 되어있는 상황이었던 것 같다. 다양한 생성형 AI의 기능을 스마트폰에서도 쉽게 만나볼 수 있다는게 너무 신기하고 기대된다. 내일부터 사전 판매가 진행되는데 반응이 어떨지도 궁금하다.

기사 내용 요약

구글이 오픈 AI 챗GPT의 LLM인 'GPT'와 같은 AI 모델인 '제미나이'(Gemini)를 공개했다. 이미지를 인식하고 음성으로 말하거나 들을 수 있으며 코딩 능력까지 갖춘 '멀티모달 AI'로 만들어졌다. 또한 수학 문제를 풀거나 분석하는 추론 능력도 갖추었다.
머신러닝 규모에 따라 울트라(Ultra), 프로(Pro), 나노(Nano) 3개의 모델로 출시된다. 프로는 구글 '바드'에 탑재되었고 울트라는 내년 초 장착될 예정이다. 나노는 온디바이스 형태로 스마트폰에 탑재된다.
제미나이는 구글이 자체 개발한 AI칩(TPU v4, v5e)으로 학습했다. 구글은 최첨단 AI 모델을 학습시키기 위해 최신 칩(클라우드 TPU v5p)도 공개하며 개발을 가속화할 예정이다.

핵심 용어

• 멀티모달 AI란?
  
  • 텍스트, 이미지, 음성 등 여러 종류의 데이터를 동시에 처리할 수 있는 AI 기술
• 멀티모달 AI와 기존 AI의 차이점
  
  • 기존 AI
    • 텍스트나 자연어를 이해하는데 중점
    • 데이터 처리나 통계, 텍스트를 검색해서 보여줄 수 있지만 인간과 같은 사고는 불가능
  • 멀티모달 AI
    • 텍스트, 음성, 이미지, 영상 등 서로 다른 양식의 데이터 간 관계성을 학습하고 이해하며 표현
    • OpenAI의 달리(DALL-E2)는 'AI 시스템이 인류를 어떻게 보고 이해하는지 도움되고자' 멀티모달 AI 활용

※ Reference ※

https://www.samsungsds.com/kr/insights/multi-modal-ai.html (멀티모달 AI 개념)

https://weekly.chosun.com/news/articleView.html?idxno=28553 (멀티모달 AI 관련 기사)

https://www.aitimes.com/news/articleView.html?idxno=154737 (멀티모달 AI 관련 기사)

AI 기술이 발전하면서 성능이 더 좋은 모델을 출시하기 위한 경쟁이 가속화되고 있다. 좋은 성능을 내는 모델은 단순히 답만 전달하는 것을 넘어 세상을 이해하고 답을 전달해야 한다. '제미나이'(Gemini) 출시로 어떤 다른 멀티모달 AI가 등장할지 기대된다.