🤖 옌지니어의 IT 기록 🤖

허깅페이스, 매개변수 135M에 불과한 ‘스몰LM’ 출시 (링크)

기사 내용 요약

 벤처비트는 16일(현지시간) 허깅페이스가 클라우드 서버에 연결하지 않고도 장치에서 로컬로 실행 가능한 온디바이스 인공지능(AI)용 오픈 소스 sLM ‘스몰LM(SmolLM)’을 공개했다고 보도했다.
 이에 따르면 스몰LM은 텍스트 생성 작업을 효율적으로 수행하도록 설계된 소형 모델로, 3가지 버전을 출시했다. 매개변수는 각각 1억3500만개(135M), 3억6000만개(360M), 17억개(1.7B)로 현재 공개된 sLM 중 가장 작은 규모다.
 허깅 페이스는 데이터 큐레이션부터 훈련 단계에 이르기까지 전체 개발 프로세스를 오픈 소스로 만들어 차별화했다고 밝혔다. 성능 면에서도 큰 모델에 뒤지지 않는 것으로 나타났다. 

핵심 용어

• sLM(small Language Model)이란?
  
  • 소형언어모델로 대규모언어모델에 비해 크기가 작은 언어 모델을 의미
  • 매개변수가 1,000억 개 미만
• sLM의 장점
  • 비용 효율성 : 저렴하고 적은 컴퓨팅 자원이 필요
  • 특정 도메인이나 작업에 맞게 미세조정(fine-tuning)하기 용이
  • 모바일 기기나 엣지 디바이스에 배포하기에 적합
  • 데이터 보안과 프라이버스 보호 측면 : 조직 내부 데이터만을 사용하여 학습하므로 정보 유출 최소화

※ Reference ※

https://www.woongjin.co.kr/customer/blogView.do?no=16&category2=10&keyword= (매개변수에 따른 모델 구분)

https://blog.kakaocloud.com/80 (sLM의 장점 및 활용분야)

https://www.aitimes.com/news/articleView.html?idxno=161648 (SmollLM 관련 기사)

관심이 뜨거운 분야이기 때문에 모델과 트렌드가 빠르게 변화하고 있는 것 같다. 다양한 분야의 기업에서 새로운 모델과 기술들이 출시되고 있는데 어떤 것들이 출시되었고 어떤 기능이 있는지를 찾아보면서 트렌드를 따라가야겠다.

아마존, 몇분 만에 프롬프트로 기업용 앱 생성하는 ‘앱 스튜디오’ 공개 (링크)

기사 내용 요약

 벤처비트는 10일(현지시간) AWS가 연례 뉴욕 서밋 행사에서 프롬프트로 기업용 소프트웨어 애플리케이션을 개발할 수 있도록 지원하는 AI 도구인 ‘앱 스튜디오(App Studio)’를 프리뷰 버전으로 공개했다고 보도했다. 이 외에도 다수의 기능이 추가됐다. 
 사용자가 생성 AI 기반 애플리케이션 개발 인터페이스를 통해 필요한 앱과 하고 싶은 일, 통합하려는 데이터 소스를 설명하면 된다. 몇분 만에 파운데이션 코딩 모델이 입력을 처리하고 테스트 및 배포에 필요한 사용자 인터페이스(UI)와 워크플로를 갖춘 원하는 전문가급 애플리케이션을 구축한다.
 AWS에 따르면, 앱 스튜디오는 작업 특성에 따라 아마존 타이탄, 앤트로픽 등 아마존 베드록에서 돌아가는 다양한 대형언어모델(LLM)들을 활용한다.
 또 AWS는 아마존 베드록에서만 제공했던 '가드레일' 기능을 외부에서 사용 중인 타사 모델에 대해서도 적용할 수 있는 ‘가드레일  API(Guardrails API)’를 프리뷰 버전으로 공개했다. 이를 통해 사용자는 증오 표현이나 성적 용어와 같은 일반적인 가드레일을 AI 애플리케이션에서 얼마나 허용할지 조절할 수 있다.
 더불어 가드레일  API에 모델과 AI 에이전트, 검색 증강 생성(RAG) 시스템이 실제로 회사의 데이터를 읽고 있는지, 아니면 사실을 조작하고 있는지 테스트할 수 있는 ‘컨텍스트 그라운딩(Contextual Grounding)’이라는 기능도 추가했다.
이 외에도 AWS는 베드록에서 AI 에이전트를 구축하기 위한 새로운 기능들도 공개했다. AWS는 베드록에 새로운 코드 해석 기능을 추가, AI 모델이 코드로 복잡한 데이터를 분석할 수 있도록 했다.

핵심 용어

• 가드레일이란?
  
  • 고객이 애플리케이션 요구사항과 회사의 인공지능 정책을 기반으로 보호조치 구현할 수 있는 기능
  • 원치 않는 콘텐츠 방지 / 즉각적인 공격(프롬프트 주입 및 탈옥) 차단 / 민감한 정보 제거
• 컨텍스트 그라운딩(Contextual Grounding)이란?
  • 기업 데이터에 기반하지 않거나 사용자의 쿼리에 관련이 없는 모델 응답에서 환각 현상을 탐지하는 기능

※ Reference ※

https://aws.amazon.com/ko/blogs/korea/guardrails-for-amazon-bedrock-can-now-detect-hallucinations-and-safeguard-apps-built-using-custom-or-third-party-fms/ (아마존 가드레일 및 컨텍스트 그라운딩 관련 내용)

https://cloud.google.com/blog/ko/products/ai-machine-learning/how-to-use-grounding-for-your-llms-with-text-embeddings

(구글의 그라운딩 방식)

사내 직원들이 본인에게 맞는 앱을 만들어서 사용한다면 업무 생산성이 많이 향상될 수 있을 것 같다. 아직 프리뷰 버전으로 공개된 것이라 성능은 어떤지 잘 모르겠지만 정식 출시가 됐을 때 성능이 어떤지 그리고 기업의 반응은 어떨지 궁금하다.

해시란?
해시 함수를 사용해서 변환한 값을 인덱스로 삼아 키와 값을 저장해서 빠른 데이터 탐색을 제공하는 자료구조

해시의 특징

• 단방향 동작 (키를 통해 값을 찾을 수 있지만 값을 통해 키를 찾기 불가능)
• 키 자체가 인덱스이므로 값을 찾기 위한 탐색 불필요
• 값을 인덱스로 활용하기 위해 적절한 변환과정 필요

해시의 동작방식

해시 테이블(hash table) : 키와 대응한 값이 저장되어 있는 공간

버킷(bucket) : 해시 테이블의 각 데이터

해시의 특성을 활용하는 분야

단방향으로만 검색이 가능한 대신 빠르게 원하는 값 검색 (데이터를 저장하고 검색하는 경우 / 보안이 필요한 경우에 활용)

• 비밀번호 관리 : 비밀번호를 그대로 노출해 저장하는 것은 위험하므로 해싱한 비밀번호 저장
• 데이터베이스 인덱싱 : 데이터베이스에 저장된 데이터를 효율적으로 검색
• 블록체인 : 각 블록은 이전 블록의 해시값을 포함하며 이를 통해 데이터 무결성 확인

해시함수를 구현할 때 고려할 내용

• 해시 함수가 변환한 값은 인덱스로 활용해야하므로 해시 테이블의 크기를 넘으면 안된다.
• 해시 함수가 변환한 값의 충돌은 최대한 적게 발생해야 한다.
  (충돌 : 서로 다른 두 키에 대해 해싱 함수를 적용한 결과가 동일한 것을 의미)

자주 사용하는 해시함수

1) 나눗셈법 (division method)

• x = 키 / m = 소수 
• 키를 소수로 나눈 나머지를 인덱스로 사용 (충돌을 줄이기 위해 소수 사용)
• 나머지를 취하는 연산을 모듈러 연산이라고 하며 연산자로 % 사용
• m을 모듈러 연산했을 때 나올 수 있는 값은 0~(m-1)이므로 해시 테이블의 크기는 m (큰 소수를 찾기 어려운 문제)

2) 곱셈법 (multiplication method)

• m = 최대 버킷의 개수 / A = 황금비 (수학적으로 임의의 길이를 나누었을 때 전체:긴 부분 = 긴 부분:짧은 부분인 비율)
• 곱셈법을 계산하는 방식
  • 키에 황금비 곱하기
  • 위에서 구한 값의 모듈러 1 취하기 (정수 부분을 버리고 소수 부분 취하기)
  • 위에서 구한 값을 가지고 실제 해시 테이블에 매핑

문자열 해싱

• 문자열의 문자를 숫자로 변환하고 이 숫자들을 다항식의 값으로 변환해서 해싱
• 해시 함수를 적용한 값이 해시 테이블 크기에 비해 너무 클 경우 수정 작업 필요
  → 덧셈을 전부 한 다음 모듈러 연산을 하는 대신 중간중간 모듈러 연산을 해 더한값을 모듈러 연산

충돌 처리

충돌(collision) : 서로 다른 키에 대해 해시 함수의 결과값이 같은 것 (하나의 버킷에 2개의 값을 넣dj 충돌 처리가 필요)

1) 체이닝으로 처리하기

체이닝 : 충돌이 발생하면 해당 버킷에 링크드리스트로 같은 해시값을 가지는 데이터 연결

• 해시 테이블 공간 활용성이 떨어진다. (충돌이 많아지면 링크드리스트의 길이가 길어져 해시 테이블 공간 사용도↓)
• 검색 성능이 떨어진다. (충돌이 많으면 링크드리스트 자체의 한계로 검색 성능 저하)

2) 개방 주소법으로 처리하기

개방 주소법(open addressing) : 빈 버킷을 찾아 충돌값을 삽입 → 해시 테이블을 최대한 활용하므로 효율적 메모리 사용

• 선형 탐사 방식 (linear probing) 
  • 충돌이 발생하면 다른 빈 버킷을 찾을 때까지 일정한 간격으로 이동
  • 해시 충돌이 발생한 값끼리 모이는 영역이 생겨 클러스터 형성 (이러한 군집이 생기면 해시값이 겹칠 확률 증가)
• 이중 해싱 방식
  • 해시 함수를 2개 사용
  • 두 번째 해시함수는 첫 번째 해시함수로 충돌이 발생하면 해당 위치 기준 어떻게 위치를 정할지 결정하는 역할
  • 선형 탐사와 비슷하게 더하는 방식이지만 주어지는 키마다 점프하는 위치를 다르게 해서 클러스터 형성 감소

해시 문제의 핵심은 키와 값을 매핑하는 과정 !!

※ 참고 자료 ※

https://wikidocs.net/221191

메타, 1분 만에 3D 에셋 생성하는 ‘메타 3D 젠’ 공개 (링크)

기사 내용 요약

메타가 텍스트 설명으로 1분 만에 고품질 3D 에셋(assets)을 생성하는 새로운 인공지능(AI) 도구를 공개했다.
3D젠은 ▲텍스트-3D 형태 생성을 위한 '3D 에셋젠(AssetGen)'과 ▲텍스트-질감 생성을 위한 '3D 텍스처젠(TextureGen)' 기술을 통합한 것이다. 또 물리 기반 렌더링(PBR)을 지원, 다양한 조명 조건에서 사실적인 3D 에셋을 생성할 수 있다.
3D젠은 첫 단계에서 텍스트 프롬프트를 기반으로 초기 3D 에셋을 생성한다. 이 과정에서 질감과 PBR 맵이 포함된 3D 메시(mesh)가 30초 안에 출력된다. 그 다음 전 단계에서 생성된 3D 에셋을 기반으로 더 높은 품질의 질감 및 PBR 맵을 20초 만에 생성한다. 또 새로운 텍스트 프롬프트로 이전 단계 생성물이나 3D 메시에 대한 질감을 표현할 수 있다. 
샘플 영상만 공개했기 때문에, 실제 성능은 검증되지 않았다. 그러나 짧은 시간에 고품질 3D 에셋을 생성할 수 있다는 것은 분명한 강점이다.

핵심 용어

• 3D 에셋(assets)이란?
  
  • 3D 콘텐츠를 만드는데 필요한 캐릭터나 배경 등의 요소
  • 이를 사용할 수 있는 저작권까지 포함한 개념
• 물리 기반 렌더링(PBR, Physically Based Rendering )이란?
  • 조명과 재질 속성의 상호 작용 방식을 정확하게 구현하는 쉐이딩 및 렌더링 기법
  • 물리적으로 정확한 지점에서 에셋을 구현하는 것이 목표
• 3D 메시(mesh)
  • 점, 선, 면으로 이루어진 그래픽 모델

※ Reference ※

https://www.aitimes.com/news/articleView.html?idxno=147639 (3D 에셋 관련 기사)

https://www.adobe.com/kr/products/substance3d/discover/pbr.html (PBR 개념 및 이점에 대한 내용)

https://www.3dsolution.kr/82 (메시의 개념 및 3D 스캔의 기본 원리)

3D 관련 기사도 종종 보이는데 잘 모르겠지만...3D 분야에서도 생성형 AI를 활용하고 있다는 것이 흥미로워서 읽어보았다. 성능이 어떨지 테스트 결과도 궁금하다. 성능이 어떨지는 모르겠지만 빠르게 생성할 수 있다는 것이 큰 장점인 것 같고 추후 성능도 높이는 방향으로 발전하길 기대해본다. 🤩

"요약, 캘린더 관리, 화상회의까지 맡긴다" 업무 구석구석 생산성 높이는 AI 앱 8가지 (링크)

기사 내용 요약

 생성형 AI가 잘 활용되어 업무 생산성 향상에 도움이 될 유용한 앱 8가지를 소개한다.

[문서 및 프레젠테이션]
1. Chat PDF : 웹 기반 툴로 PDF, doc, docx 파일을 업로드 하면 이에 대한 질의응답 가능
2. Beautiful.ai : 원하는 형식으로 프레젠테이션 제작

[이메일]
3. Superhuman : 이메일과 상호작용에 고도화되고 최적화된 크로스 플랫폼 앱으로 'AI에게 질문하기' 기능을 통해 이메일에 포함된 실제 정보 요청 가능

[캘린더]
4. Dola : 사용자가 선택한 4가지 메세지 플랫폼(왓츠앱/텔레그램/라인/애플 메세지)와 다른 캘린더를 직접 연결

[메모 및 필사]
5. Fathom : 영상통화를 자동으로 녹화하여 요약
6. Whisper Web : 이미 녹음된 대화를 간단히 검색 및 나중에 참조하도록 텍스트로 변황
7. Summarize.tech : 유튜브 링크를 통해 동영상 세션을 나누어 요약
8. AudioPen : 사용자의 음성을 오디오 녹음으로 저장하고 요약 및 불필요한 부분 자동 편집

핵심 용어

• 앱 가격 비교 

로그인도 필요없고 무료로 사용할 수 있는 앱이 몇 가지 있어서 직접 테스트를 해봤는데 무료 버전인데도 성능이 나쁘지 않았다. 한글 문서와 영상을 넣어도 영어로 답변을 해주긴 하지만....한글 지원이 안되는 것은 아니라서 쓸만한 것 같다. Dola는 텔레그램으로 테스트를 해봤는데 답변도 한글로 나와서 좋았다. 요즘 핫한 생성형 AI 기능들을 업무에 도움이 되는 방향으로 직접 사용해보면 좋을 것 같다. (업무 중에 딴 짓을 하며...👩🏻‍💻)

큐(Queue)란?

먼저 들어간 데이터가 먼저 나오는 자료구조

• FIFO(First In First Out) : 선입선출
• push : 큐에 삽입하는 연산 / pop : 큐에서 꺼내는 연산

큐의 동작원리

큐의 특성을 활용하는 분야

여러 이벤트가 발생했을 때 발생한 순서대로 처리하는 작업

• 작업 대기열 : 네트워크 통신 시 다수의 클라이언트에서 서버에 작업을 요청하면 들어온 순서대로 작업 처리
• 이벤트 처리 : 어떤 애플리케이션이나 시스템에서 사용자 이벤트(키보드/마우스) 처리

큐의 ADT (Abstract Data Type)

• 스택과 유사하지만 스택의 top → 큐의 front(앞) / rear(뒤)
  • 큐는 앞에서 데이터를 빼고 뒤에서 넣으므로 앞뒤 최종위치 저장 필요

큐의 세부동작

큐 구현하기

1) 리스트를 활용하는 방식

• push : append( )
• pop : pop( )
  •  첫 번째 데이터를 제거해야 하므로 pop(0) 사용

queue = []

# 큐에 데이터 추가
queue.append(1)
queue.append(2)
queue.append(3)

# 큐의 맨 앞 데이터 제거
first_item = queue.pop(0)
print(first_item)

# 큐에 데이터 추가
queue.append(4)
queue.append(5)

# 큐의 맨 앞 데이터 제거
first_item = queue.pop(0)
print(first_item)

2) 덱을 활용하는 방식

• DEQ(Double Ended Queue)
• 양 끝에서 삽입이나 삭제할 수 있는 큐를 구현한 것

from collections import deque

queue = deque()

# 큐에 데이터 추가
queue.append(1)
queue.append(2)
queue.append(3)

# 큐의 맨 앞 데이터 제거
first_item = queue.popleft()
print(first_item)

# 큐에 데이터 추가
queue.append(4)
queue.append(5)

# 큐의 맨 앞 데이터 제거
first_item = queue.popleft()
print(first_item)

※ 참고 자료 ※

https://wikidocs.net/221191

https://school.programmers.co.kr/learn/courses/30/lessons/42584

문제

문제 설명

초 단위로 기록된 주식가격이 담긴 배열 prices가 매개변수로 주어질 때, 가격이 떨어지지 않은 기간은 몇 초인지를 return 하도록 solution 함수를 완성하세요.

제한 사항

• prices의 각 가격은 1 이상 10,000 이하인 자연수입니다.
• prices의 길이는 2 이상 100,000 이하입니다.

입출력 예

소스 코드

# 1
def solution(prices):
    n = len(prices)
    answer = []

    for i in range(n):
        idx = 0
        for j in range(i+1,n):
            if prices[j] < prices[i]:   # 현재 주식가격보다 떨어진 경우
                idx = j                 # 떨어진 시점을 idx에 저장하고 종료
                break

        if idx==0:                      # 현재 주식가격에서 떨어지지 않은 경우
            answer.append(n-i-1)        # 전체 길이에서 현재 인덱스를 뺀 값
        else:
            answer.append(idx-i)        # 떨어진 시점에서 현재 인덱스를 뺸 값

    return(answer)

풀이 # 1

• 현재의 주식가격은 i번째에 있는 값이고 나머지 주식가격은 j번째에 있는 값
• 현재 주식가격과 나머지 주식가격을 비교해서 가격이 떨어지는 시점을 idx에 저장
  • 가격이 떨어졌다면 for문 빠져나오기
• idx가 0이면 가격이 떨어지지 않은 것이므로 전체길이에서 현재 주식가격의 인덱스 빼기
• idx가 0이 아니면 가격이 떨어진 시점이 idx이므로 떨어진 시점에서 현재 인덱스 빼기

# 2
def solution(prices):
    n = len(prices)
    answer = [0] * n     

    for i in range(n):
        for j in range(i+1, n):
            answer[i] += 1
            if prices[i] > prices[j]:   # 가격이 떨어진 경우
                break                   # for문 종료

    return answer

풀이 #2

• 주식가격 길이만큼의 리스트 생성
• 현재 주식가격은 i번째에 있는 값이고 나머지 주식가격은 j번째에 있는 값
• answer 리스트에 1을 더하고 가격이 떨어졌다면 for문을 종료
  • 가격이 떨어지지 않았다면 for문으로 돌면서 +1 연산을 진행

처음에는 문제 이해가 안됐었는데 단순하게 생각해보니 현재 인덱스 값과 나머지 인덱스 값을 비교해서 가격이 떨어지기 전까지 시간을 구하는 문제였다. 정확도와 효율성을 모두 테스트하는 문제라서 어렵게 생각했었는데 필요없는 연산을 지우고 주식가격이 떨어지는 순간까지만 연산을 진행하니 의외로 쉽게 풀 수 있었다.