뉴스 요약: 가속 컴퓨팅의 새로운 라이브러리는 데이터 처리, 생성 AI, 추천 시스템, AI 데이터 큐레이션, 데이터 처리, 6G 연구, AI 물리학 등에서 수십 배의 속도 향상을 제공하고 에너지 소비와 비용을 줄입니다. 여기에는 다음이 포함됩니다.
- LLM 애플리케이션: 사용자 정의 데이터 세트를 생성하는 NeMo Curator, 이미지 큐레이션 추가, 고품질 합성 데이터 생성을 위한 Nemotron-4 340B
- 데이터 처리: 며칠이 아닌 몇 분 만에 인덱스를 구축하는 벡터 검색용 cuVS 및 오픈 베타 버전의 새로운 Polars GPU 엔진
- 물리적 AI: 물리 시뮬레이션의 경우 Warp는 새로운 TIle API로 계산을 가속화합니다. 무선 네트워크 시뮬레이션의 경우 Aerial은 레이 트레이싱 및 시뮬레이션을 위한 더 많은 맵 형식을 추가합니다. 그리고 링크 수준 무선 시뮬레이션의 경우 Sionna는 실시간 추론을 위한 새로운 툴체인을 추가합니다.
전 세계 기업들은 CPU에서만 실행하던 애플리케이션을 가속화하기 위해 NVIDIA 가속 컴퓨팅으로 전환하고 있습니다. 이를 통해 극한의 속도 향상을 달성하고 엄청난 에너지 절감의 혜택을 누릴 수 있었습니다.
휴스턴에서 CPFD는 산업용 애플리케이션을 위한 계산 유체 역학 시뮬레이션 소프트웨어를 만듭니다. 여기에는 차세대 재활용 시설을 설계하는 데 도움이 되는 Barracuda Virtual Reactor 소프트웨어가 포함됩니다. 플라스틱 재활용 시설은 NVIDIA 가속 컴퓨팅으로 구동되는 클라우드 인스턴스에서 CPFD 소프트웨어를 실행합니다. CUDA GPU 가속 가상 머신을 사용하면 CPU 기반 워크스테이션을 사용하는 것보다 400배 더 빠르고 140배 더 에너지 효율적으로 시뮬레이션을 효율적으로 확장하고 실행할 수 있습니다.
인기 있는 화상 회의 애플리케이션은 시간당 수십만 개의 가상 회의에 자막을 제공합니다. CPU를 사용하여 라이브 자막을 만들 때 앱은 다음을 쿼리할 수 있습니다. 변압기 구동 음성 인식 AI 모델을 초당 3회. 클라우드의 GPU로 마이그레이션한 후, 애플리케이션의 처리량은 초당 200개 쿼리로 증가했습니다. 속도가 66배 빨라지고 에너지 효율성이 25배 향상되었습니다.
전 세계 가정에서 전자상거래 웹사이트는 NVIDIA에서 실행되는 딥 러닝 모델로 구동되는 고급 추천 시스템을 사용하여 매일 수억 명의 쇼핑객을 필요한 제품과 연결합니다. 가속 클라우드 컴퓨팅 시스템클라우드에서 CPU에서 GPU로 전환한 후 33배의 속도 향상과 거의 12배의 지연 시간을 크게 단축했습니다. 에너지 효율성 개선.
데이터가 기하급수적으로 증가함에 따라 클라우드에서 가속화된 컴퓨팅을 통해 훨씬 더 혁신적인 사용 사례가 가능해질 전망입니다.
CUDA GPU에서의 NVIDIA 가속 컴퓨팅은 지속 가능한 컴퓨팅입니다.
NVIDIA는 CPU 서버에서 여전히 실행 중인 모든 AI, HPC 및 데이터 분석 워크로드가 CUDA GPU 가속이라면 데이터 센터에서 연간 40테라와트시의 에너지를 절약할 수 있을 것으로 추정합니다. 이는 연간 500만 가구의 에너지 소비량과 동일합니다.
가속 컴퓨팅은 CUDA GPU의 병렬 처리 기능을 사용하여 CPU보다 훨씬 빠르게 작업을 완료하여 생산성을 크게 향상시킵니다. 비용 및 에너지 소비 감소.
CPU 전용 서버에 GPU를 추가하면 피크 전력이 증가하지만, GPU 가속은 작업을 빠르게 완료한 다음 저전력 상태로 전환합니다. GPU 가속 컴퓨팅으로 소비되는 총 에너지는 범용 CPU보다 훨씬 낮으면서도 뛰어난 성능을 제공합니다.
지난 10년 동안 NVIDIA AI 컴퓨팅은 처리할 때 약 100,000배 더 많은 에너지 효율성을 달성했습니다. 대규모 언어 모델. 이를 좀 더 이해하기 쉽게 설명하자면, 자동차의 효율성이 NVIDIA가 가속 컴퓨팅 플랫폼에서 AI의 효율성을 향상시킨 만큼 향상된다면, 갤런당 50만 마일을 달릴 수 있을 것입니다. 이는 갤런당 1도 안 되는 가솔린으로 달까지 운전하고 돌아올 수 있는 양입니다.
AI 작업 부하에서 효율성이 극적으로 향상되는 것 외에도 GPU 컴퓨팅은 CPU보다 놀라운 속도 향상을 달성할 수 있습니다. 고객은 NVIDIA 가속 컴퓨팅 플랫폼 아래 차트에서 보듯이, 클라우드 서비스 제공업체에서 워크로드를 실행하면 데이터 처리부터 컴퓨터 비전까지 다양한 실제 작업 전반에 걸쳐 속도가 10~180배 향상됩니다.
워크로드가 기하급수적으로 더 많은 컴퓨팅 파워를 요구함에 따라 CPU는 필요한 성능을 제공하는 데 어려움을 겪어 성능 격차가 커지고 “컴퓨팅 인플레이션”이 발생했습니다. 아래 차트는 데이터 증가가 CPU 와트당 컴퓨팅 성능 증가를 훨씬 앞지른 다년간의 추세를 보여줍니다.
GPU 가속을 통해 에너지를 절약하면 낭비될 수도 있었던 비용과 에너지를 확보할 수 있습니다.
막대한 에너지 효율성 절감으로 가속 컴퓨팅이 가능합니다. 지속 가능한 컴퓨팅.
모든 작업에 적합한 도구
GPU는 범용 CPU용으로 작성된 소프트웨어를 가속화할 수 없습니다. 특정 워크로드를 가속화하려면 특수 알고리즘 소프트웨어 라이브러리가 필요합니다. 정비사가 다양한 작업을 위해 드라이버에서 렌치까지 전체 도구 상자를 가지고 있는 것처럼 NVIDIA는 데이터 분석 및 계산 실행과 같은 저수준 기능을 수행하는 다양한 라이브러리 세트를 제공합니다.
각 엔비디아 쿠다 라이브러리는 NVIDIA GPU에 특화된 하드웨어 기능을 활용하도록 최적화되었습니다. 이를 결합하면 NVIDIA 플랫폼의 힘을 포괄합니다.
CUDA 플랫폼 로드맵에는 다양한 사용 사례로 확장되는 새로운 업데이트가 계속 추가됩니다.
LLM 지원서
NeMo 큐레이터 개발자에게 사용자 정의 데이터 세트를 빠르게 생성할 수 있는 유연성을 제공합니다. 대규모 언어 모델 (LLM) 사용 사례. 최근에 우리는 텍스트를 넘어 이미지 큐레이션을 포함한 멀티모달 지원으로 확장할 수 있는 기능을 발표했습니다.
지속가능개발목표 (합성 데이터 생성)는 기존 데이터 세트를 고품질의 합성적으로 생성된 데이터로 증강하여 모델과 LLM 애플리케이션을 사용자 지정하고 미세 조정합니다. 우리는 SDG를 위해 특별히 구축된 새로운 모델 모음인 Nemotron-4 340B를 발표했는데, 이를 통해 기업과 개발자는 모델 출력을 사용하고 사용자 지정 모델을 구축할 수 있습니다.
데이터 처리 응용 프로그램
큐비스 이다 오픈소스 라이브러리 LLM과 의미 검색에서 놀라운 속도와 효율성을 제공하는 GPU 가속 벡터 검색 및 클러스터링을 위해. 최신 cuVS를 사용하면 몇 시간 또는 며칠이 아닌 몇 분 만에 대규모 인덱스를 구축하고 대규모로 검색할 수 있습니다.
극선 는 쿼리 최적화 및 기타 기술을 사용하여 단일 머신에서 수억 개의 데이터 행을 효율적으로 처리하는 오픈 소스 라이브러리입니다. NVIDIA의 cuDF 라이브러리로 구동되는 새로운 Polars GPU 엔진이 오픈 베타로 제공됩니다. CPU에 비해 최대 10배의 성능 향상을 제공하여 가속 컴퓨팅의 에너지 절감 효과를 데이터 실무자와 애플리케이션에 제공합니다.
물리적 AI
경사고성능 GPU 시뮬레이션 및 그래픽을 위한 , 물리 시뮬레이션, 지각, 로봇 및 기하 처리를 위한 미분 가능 프로그램을 더 쉽게 작성하여 공간 컴퓨팅을 가속화하는 데 도움이 됩니다. 다음 릴리스에서는 개발자가 행렬 및 푸리에 계산을 위해 GPU 내부의 텐서 코어를 사용할 수 있도록 하는 새로운 Tile API를 지원합니다.
공중선 는 상업용 애플리케이션과 산업 연구를 위한 무선 네트워크를 설계, 시뮬레이션 및 운영하기 위한 Aerial CUDA-Accelerated RAN 및 Aerial Omniverse Digital Twin을 포함하는 가속 컴퓨팅 플랫폼 모음입니다. 다음 릴리스에는 레이 트레이싱 및 더 높은 정확도의 시뮬레이션을 위한 더 많은 맵 형식이 포함된 Aerial의 새로운 확장이 포함됩니다.
샤나 무선 및 광 통신 시스템의 링크 수준 시뮬레이션을 위한 GPU 가속 오픈 소스 라이브러리입니다. GPU를 사용하여 Sionna는 수십 배 더 빠른 시뮬레이션을 달성하여 이러한 시스템을 대화형으로 탐색하고 차세대 물리 계층 연구의 길을 열었습니다. 다음 릴리스에는 신경망 기반 수신기를 설계, 훈련 및 평가하는 데 필요한 전체 툴체인이 포함되며, 다음을 사용하여 이러한 신경 수신기의 실시간 추론을 지원합니다. 엔비디아 텐서RT.
NVIDIA는 다음을 제공합니다. 400개의 도서관. 어떤 사람들은 CV-쿠다사용자 생성 비디오, 추천 시스템, 매핑 및 화상 회의에서 일반적인 컴퓨터 비전 작업의 사전 및 사후 처리에 능숙합니다. 다른 사람들은 다음과 같습니다. 큐디에프데이터 과학에서 SQL 데이터베이스와 판다스의 핵심인 데이터 프레임과 테이블을 가속화합니다.
이러한 라이브러리 중 다수는 다재다능합니다. 예를 들어 선형 대수 가속을 위한 cuBLAS는 여러 워크로드에 걸쳐 사용할 수 있습니다. 반면 실리콘 계산 리소그래피를 위한 cuLitho처럼 특정 사용 사례에 초점을 맞추도록 고도로 특화된 라이브러리도 있습니다.
NVIDIA CUDA-X 라이브러리를 사용하여 자체 파이프라인을 구축하지 않으려는 연구원의 경우 엔비디아 NIM 여러 라이브러리와 AI 모델을 최적화된 컨테이너에 패키징하여 프로덕션 배포로 가는 간소화된 경로를 제공합니다. 컨테이너화된 마이크로서비스는 즉시 향상된 처리량을 제공합니다.
이러한 라이브러리의 성능을 증강하는 것은 가장 높은 에너지 효율로 속도 향상을 제공하는 하드웨어 기반 가속 기능의 확장된 숫자입니다. NVIDIA Blackwell 플랫폼예를 들어, CPU보다 최대 18배 더 빠르게 압축된 데이터 파일을 인라인으로 압축 해제하는 압축 해제 엔진이 포함되어 있습니다. 이는 SQL, Apache Spark 및 pandas와 같이 저장소에 있는 압축 파일에 자주 액세스하고 런타임 계산을 위해 압축을 해제해야 하는 데이터 처리 애플리케이션을 극적으로 가속화합니다.
NVIDIA의 전문 CUDA GPU 가속 라이브러리를 클라우드 컴퓨팅 플랫폼에 통합하면 광범위한 워크로드에서 놀라운 속도와 에너지 효율성을 제공합니다. 이러한 조합은 기업에 상당한 비용 절감을 가져오고 지속 가능한 컴퓨팅을 발전시키는 데 중요한 역할을 하며, 클라우드 기반 워크로드에 의존하는 수십억 명의 사용자가 보다 지속 가능하고 비용 효율적인 디지털 생태계의 이점을 누릴 수 있도록 돕습니다.
더 알아보기 NVIDIA의 지속 가능한 컴퓨팅 노력과 체크 아웃 에너지 효율 계산기 잠재적인 에너지 절감 및 배출량 절감 방안을 발견합니다.
보다 알아채다 소프트웨어 제품 정보에 관하여.
