업계와 학계의 프로세서 및 시스템 설계자를 위한 딥 테크놀로지 컨퍼런스는 1조 달러 규모의 데이터 센터 컴퓨팅 시장의 주요 포럼이 되었습니다.
다음 주에 열리는 Hot Chips 2024에서 NVIDIA의 수석 엔지니어가 최신 기술을 발표할 예정입니다. 엔비디아 블랙웰 플랫폼과 데이터 센터를 위한 액체 냉각 및 칩 설계를 위한 AI 에이전트에 대한 연구도 진행합니다.
그들은 다음과 같은 방법을 공유할 것입니다.
- NVIDIA Blackwell은 여러 칩, 시스템을 하나로 통합합니다. 엔비디아 쿠다 다양한 사용 사례, 산업 및 국가 차원에서 차세대 AI를 구동하는 소프트웨어입니다.
- 엔비디아 GB200 NVL72 — 72개를 연결하는 다중 노드, 액체 냉각, 랙 스케일 솔루션 블랙웰 GPU 그리고 36 그레이스 CPU — AI 시스템 설계의 기준을 높였습니다.
- NV링크 상호 연결 기술은 모든 GPU 간 통신을 제공하여 생성 AI에 대한 기록적인 높은 처리량과 낮은 지연 시간의 추론을 가능하게 합니다.
- NVIDIA Quasar Quantization System은 물리학의 한계를 넓혀 AI 컴퓨팅을 가속화합니다.
- NVIDIA 연구원들은 AI 프로세서를 구축하는 데 도움이 되는 AI 모델을 구축하고 있습니다.
8월 26일 월요일에 열리는 NVIDIA Blackwell 강연에서는 Blackwell 실리콘에서 실행되는 새로운 아키텍처 세부 사항과 생성 AI 모델의 사례도 집중적으로 다룰 예정입니다.
8월 25일 일요일에 하이브리드 액체 냉각 솔루션이 데이터 센터가 보다 에너지 효율적인 인프라로 전환하는 데 어떻게 도움이 될 수 있는지, 그리고 AI 모델을 포함한 3가지 튜토리얼이 선행됩니다. 대규모 언어 모델 (LLM) 기반 에이전트는 엔지니어가 차세대 프로세서를 설계하는 데 도움을 줄 수 있습니다.
이러한 프레젠테이션에서는 NVIDIA 엔지니어가 데이터 센터 컴퓨팅 및 설계의 모든 분야에서 혁신을 일으켜 전례 없는 성능, 효율성 및 최적화를 제공하는 방법을 보여줍니다.
블랙웰에 대비하세요
NVIDIA Blackwell은 궁극의 풀스택 컴퓨팅 챌린지입니다. 여기에는 Blackwell GPU, Grace CPU를 포함한 여러 NVIDIA 칩이 포함됩니다. 블루필드 데이터 처리 장치, 커넥트엑스 네트워크 인터페이스 카드, NVLink 스위치, 스펙트럼 이더넷 스위치 및 양자 InfiniBand 스위치.
NVIDIA의 아키텍처 디렉터인 아자이 티루말라(Ajay Tirumala)와 레이먼드 웡(Raymond Wong)이 이 플랫폼을 처음으로 공개하고, 이러한 기술이 어떻게 함께 작동하여 AI에 대한 새로운 표준을 제공하고 컴퓨팅 성능을 가속화하는 동시에 에너지 효율성을 향상시키는지 설명합니다.
다중 노드 엔비디아 GB200 NVL72 솔루션은 완벽한 예입니다. LLM 추론에는 저지연, 고처리량 토큰 생성이 필요합니다. GB200 NVL72는 통합 시스템으로 작동하여 LLM 워크로드에 대해 최대 30배 더 빠른 추론을 제공하여 1조 개의 매개변수 모델을 실시간으로 실행할 수 있는 기능을 제공합니다.
Tirumala와 Wong은 또한 알고리즘 혁신, NVIDIA 소프트웨어 라이브러리 및 도구, Blackwell의 2세대 Transformer Engine을 결합한 NVIDIA Quasar Quantization System이 저정밀도 모델에서 높은 정확도를 지원하는 방식에 대해 논의하며 LLM 및 시각적 생성 AI를 사용한 사례를 강조할 것입니다.
데이터 센터를 시원하게 유지
연구자들이 공기와 액체 냉각을 결합한 하이브리드 냉각을 사용하는 보다 효율적이고 지속 가능한 솔루션을 개발함에 따라 공랭식 데이터 센터의 전통적인 윙윙거리는 소리는 과거의 유물이 될 수도 있습니다.
액체 냉각 기술은 공기보다 시스템에서 열을 더 효율적으로 이동시켜 컴퓨팅 시스템이 대량의 작업 부하를 처리하는 동안에도 시원함을 유지하기 쉽게 해줍니다. 액체 냉각 장비는 또한 공기 냉각 시스템보다 공간을 덜 차지하고 전력을 덜 소모하므로 데이터 센터는 시설에 더 많은 서버 랙을 추가할 수 있고, 따라서 더 많은 컴퓨팅 전력을 추가할 수 있습니다.
NVIDIA의 데이터 센터 냉각 및 인프라 부문 책임자인 알리 헤이다리는 하이브리드 냉각 데이터 센터를 위한 여러 가지 설계를 발표할 예정입니다.
일부 설계는 기존 공랭식 데이터 센터를 액체 냉각 장치로 개조하여 기존 랙에 액체 냉각 기능을 추가하는 빠르고 쉬운 솔루션을 제공합니다. 다른 설계는 냉각 분배 장치를 사용하거나 침지 냉각 탱크에 서버를 완전히 담가 직접 칩 액체 냉각을 위한 배관을 설치해야 합니다. 이러한 옵션은 더 큰 사전 투자를 요구하지만 에너지 소비와 운영 비용 모두에서 상당한 절감으로 이어집니다.
Heydari는 또한 그의 팀의 작업을 다음의 일부로 공유할 것입니다. 쿨러칩스고급 데이터 센터 냉각 기술을 개발하기 위한 미국 에너지부 프로그램입니다. 이 프로젝트의 일환으로 팀은 엔비디아 옴니버스 데이터 센터 설계를 최적화하기 위해 에너지 소비와 냉각 효율성을 모델링하는 데 도움이 되는 물리학 기반 디지털 트윈을 만드는 플랫폼입니다.
AI 에이전트, 프로세서 설계에 참여
반도체 설계는 미시적 규모에서 거대한 도전입니다. 최첨단 프로세서를 개발하는 엔지니어는 몇 인치 크기의 실리콘 조각에 최대한 많은 컴퓨팅 파워를 장착하기 위해 노력하며 물리적으로 가능한 것의 한계를 테스트합니다.
AI 모델은 설계 품질과 생산성을 개선하고, 수동 프로세스의 효율성을 높이고, 시간 소모적인 작업을 자동화하여 작업을 지원합니다. 이 모델에는 엔지니어가 설계를 빠르게 분석하고 개선하는 데 도움이 되는 예측 및 최적화 도구와 엔지니어가 질문에 답하고, 코드를 생성하고, 설계 문제를 디버깅하는 데 도움이 되는 LLM이 포함됩니다.
NVIDIA의 설계 자동화 연구 책임자인 Mark Ren은 튜토리얼에서 이러한 모델과 그 용도에 대한 개요를 제공할 것입니다. 두 번째 세션에서는 칩 설계를 위한 에이전트 기반 AI 시스템에 초점을 맞출 것입니다.
LLM으로 구동되는 AI 에이전트는 자율적으로 작업을 완료하도록 지시받을 수 있어 산업 전반에 걸쳐 광범위한 응용 프로그램을 활용할 수 있습니다. 마이크로프로세서 설계에서 NVIDIA 연구자들은 사용자 지정 회로 설계 도구를 사용하여 추론하고 조치를 취하고, 숙련된 설계자와 상호 작용하고, 인간과 에이전트 경험의 데이터베이스에서 학습할 수 있는 에이전트 기반 시스템을 개발하고 있습니다.
NVIDIA 전문가들은 이 기술을 구축하는 데 그치지 않습니다. 그 사람들이 그것을 사용하고 있어요. Ren은 엔지니어가 타이밍 보고서 분석을 위해 AI 에이전트를 어떻게 사용할 수 있는지에 대한 예를 공유할 것입니다. 세포 클러스터 최적화 프로세스 및 코드 생성. 세포 클러스터 최적화 연구는 최근 첫 번째에서 최우수 논문상을 수상했습니다. IEEE 국제 LLM 지원 설계 워크숍.
Hot Chips에 등록하세요8월 25-27일 스탠포드 대학과 온라인에서 진행됩니다.
