🤖 옌지니어의 IT 기록 🤖

“모두를 위한 AI 슈퍼컴” 애저 클라우드 AI 데이터센터의 내부 살펴보기 (링크)

기사 내용 요약

 빌드 컨퍼런스에서 마이크로소프트는 추론 가속기, 고대역폭 연결, 효율성과 안정성을 위한 각종 툴을 통해 애저 클라우드가 대규모 AI 워크로드를 어떻게 지원하는지 설명했다.

AI 슈퍼컴퓨터 구축
 AI 플랫폼을 실행하는 데 필요한 시스템의 규모는 엄청나다. 2024년 6월, 마이크로소프트는 전 세계 데이터센터에 30대 이상의 유사한 슈퍼컴퓨터를 보유하고 있다. 일단 모델이 구축되면 이를 사용해야 하는데, 추론에는 슈퍼컴퓨터 수준의 연산 능력이 필요하지 않지만 여전히 많은 컴퓨팅 성능이 필요하다. 이는 애저 클라우드가 많은 데이터를 최대한 빠르게 처리하기 위해 매우 구체적인 특성을 가진 많은 GPU가 필요하다는 것을 의미한다.

트레이닝을 넘어 추론을 위한 설계
 애저 클라우드의 프로젝트 POLCA는 최대 전력 소비에 대응하는 프로비저닝을 통해 여러 추론 작업을 동시에 실행할 수 있으므로 약 20%의 오버헤드를 줄일 수 있다. 이를 통해 서버 주파수와 전력을 조절해 데이터센터에 30% 더 많은 서버를 배치하여 AI 데이터센터의 컴퓨팅, 전력, 열 수요에 대해 보다 효율적이고 지속 가능한 접근 방식이 가능해졌다.
 또한, 마이크로소프트는 데이터를 관리하기 위해 스토리지 가속기라고 부르는 기능을 개발했다. 이 기능은 현재 작업을 방해하지 않으면서 가용 대역폭을 이용해 필요한 데이터를 로컬이나 클라우드에서 사용할지 결정하는 캐시를 통해 클러스터에 데이터를 분산하고 있다. 병렬 읽기를 사용해 데이터를 로드하면 대량의 학습 데이터를 기존 방식보다 거의 두 배 빠르게 로드할 수 있다.

AI에 필요한 고대역폭 네트워크
컴퓨팅과 스토리지도 중요하지만 수백 개의 GPU에서 작동하는 대규모 데이터 병렬 워크로드에서는 네트워킹이 여전히 중요하다. 마이크로소프트는 서버에서 1.2TBps의 내부 연결을 사용해 8개의 GPU를 연결하고 동시에 인피니밴드 기술을 이용해 개별 서버의 개별 GPU 간에 400Gbps를 연결한다.

신뢰할 수 있는 AI를 만드는 프로젝트 포지와 원풀
소프트웨어 스택은 기본 플랫폼 오케스트레이션 및 지원 툴을 제공한다. 이것이 바로 프로젝트 포지(Project Forge)가 등장하는 이유이다. 분산 인프라 전반에서 작업을 예약하는 동시에 필수 리소스 관리를 제공하고 다양한 유형의 AI 컴퓨팅에 부하를 분산하는 방법으로, 쿠버네티스와 같은 것으로 생각할 수 있다. 프로젝트 포지의 스케줄러는 AI 가속기를 가상 GPU 용량의 단일 풀로 취급하며 이를 원풀(One Pool)이라고 부른다. 각 워크로드에는 이런 가상 GPU에 대한 액세스를 제어하는 우선순위를 두어 관리한다. 또한 프로젝트 포지는 장애를 감지하고 작업을 다시 시작해 호스트 플랫폼을 복구하여 탄력적인 서비스를 실행할 수 있다.

일관성 및 보안 : AI 애플리케이션을 위한 준비 완료
애저의 프로젝트 플라이휠(Project Flywheel)은 성능을 보장하는 역할을 하는데, 가상 GPU에서 여러 프롬프트의 작업을 인터리빙해 호스트 물리 GPU에서 일관된 작업을 수행하면서도 일정한 처리량을 제공할 수 있다. 또 다른 기반 최적화로는 사용자 지정 모델을 학습할 때 적용하는 기밀 컴퓨팅 기능이 있는데, 신뢰할 수 있는 실행 환경에서 코드를 실행하고 데이터를 호스트할 수 있다.

핵심 용어

• Azure 데이터센터란?
  • Azure 데이터 네트워크로 연결된 컴퓨터 서버가 보관되어 있는 전 세계에 위치한 물리적 건물
• 슈퍼컴퓨터란?
  • 표준 컴퓨터보다 높은 성능으로 작동하는 컴퓨터
  • 오늘 날의 슈퍼컴퓨터는 초당 수십억 개까지 계산할 수 있는 수만 개의 프로세서로 구성
• 네트워킹(Networking) 이란?
  • 네트워크에 연결된 장비를 연결하고 네트워크를 통해 데이터 패킷을 전송하는데 사용되는 장비

※ Reference ※

https://azure.microsoft.com/ko-kr/explore/global-infrastructure (Azure 인프라 용어 가이드)

https://www.purestorage.com/kr/knowledge/what-is-a-supercomputer.html (슈퍼컴퓨터 관련 내용)

https://www.advancedenergy.com/ko-kr/applications/telecom-and-networking/networking/ (일반적인 네트워킹 관련 내용)

https://learn.microsoft.com/ko-kr/azure/networking/fundamentals/networking-overview (Azure 네트워킹 서비스 관련 내용)

진짜 잘 모르는 인프라 관련 기사도 읽어보기....모르는 용어 너무 많고 어떻게 구성됐는지 사실 잘 모르겠다. 각각의 구성요소에 대해 조금씩 찾아보긴 했는데 이런 내용들이 쌓이다 보면 인프라에 대해서도 어느 정도 알게 되지 않을까 싶다.