🤖 옌지니어의 IT 기록 🤖

코드 생성 AI '알파코듐' 화제..."인간의 코딩 능력에 근접" (링크)

기사 내용 요약

벤처비트는 26일(현지시간) 텔아비브에 본사를 둔 스타트업 코듐AI가 코드 생성 AI '알파코듐(AlphaCodium)'을 공개했다고 보도했다.
코듐AI는 논문을 통해 "코드 생성은 일반적인 자연어 문제와 다르다. 자연어 생성에 성공한 많은 최적화 및 트릭이 코드 작업에는 효과적이지 않을 수 있다"라며 "우리는 대형언어모델(LLM)의 코드 생성 능력을 향상하는 '반복 흐름(iterative flow)' 알파코듐을 제안한다"라고 밝혔다.
이에 따르면 알파코듐은 1만여개의 프로그래밍 문제가 포함된 '코드컨테스트' 데이터셋으로 테스트됐다. 'GPT-4'에 알파코듐을 적용한 결과 코딩 정확도는 19%에서 44%로 높아졌다.
코듐AI는 “이 결과는 단순한 수치 개선을 보여주는 것이 아니다"라며 "코드 생성 분야에서 LLM의 기능이 한 단계 더 발전한 증거”라고 강조했다.
 안드레이 카르파티 전 테슬라 AI 이사는 "답을 내는 패러다임에서 답을 반복적으로 구성하는 '플로우(flow)'로 패러다임을 전환했다"라며 이를 통해 코드 생성을 개선할 수 있다고 밝혔다.
플로우는 GAN(적대적생성신경망) 아키텍처 요소를 통해 모델이 생성한 코드를 적대적 모델로 테스트하고 피드백하며 고도화하는 구조를 뜻한다.

핵심 용어

• 생성모델(Generative Model)이란?
  
  • 주어진 데이터를 학습하고 학습 데이터의 분포를 따르는 유사 데이터를 생성하는 모델
  • 학습시킨 데이터들 사이에 정말로 존재할 것 같은 데이터를 만들어내는 것이 목적
• 생성모델의 종류
  • Explicit Density : 학습 데이터의 분포 기반
    • Tractable Density : 모델의 사전 분포를 가정하여 기존값으로부터 데이터 분포를 추정
    • Full Visible Belief Nets (NADE / MADE / PixelRNN / PixelCNN)
    • Approximate Density : 모델의 사전 분포를 근사시켜 데이터 분포를 추정
    • VAE / Markov Chain (Boltzmann Machine)
  • Implicit Density : 데이터의 분포를 모르더라도 생성 
    • 데이터의 확률 분포를 모르는 상태
    • 모델이 명확히 정의되어 있지 않은 경우
    • 샘플링을 반복하여 특정 확률 분포에 수렴하여 추정
    • GAN / Markov Chain (GSN)
• GAN(Generative Adversarial Networks)이란?
  • 실제에 가까운 이미지나 사람이 쓴 것 같은 글 등 여러 가짜 데이터들을 생성하는 모델
  • '적대적 생성 신경망'이라는 이름처럼 서로 다른 두 개의 네트워크를 적대적으로(adversarial) 학습
• GAN 아키텍처
  • CycleGAN : 다양한 스타일의 이미지 간 변환을 학습하는데 주로 사용
  • StyleGAN : 인간의 얼굴에 관한 특징을 외워서 현실에 없는 인간의 얼굴 이미지 생성
  • Text2image : 텍스트의 설명을 임베딩으로 변환하고 노이즈 벡터와 연결해 생성기에 입력

※ Reference ※

https://wikidocs.net/151937 (생성모델 아이디어)

https://www.thedatahunt.com/trend-insight/generative-ai (생성AI의 개념 및 활용)

https://www.thedatahunt.com/trend-insight/gan-algorithm-guide(GAN의 개념 및 활용 사례)

생성형 AI를 만든 것도 개발자고....위협 당하는 것도 개발자인 기묘한 현실...내 자리는 있었으면 좋겠다. 적당히 코딩에 도움을 받을 수 있는 정도만 발전하면 좋을텐데 기술이 너무 발전하고 있는 것 같다.