세계에서 가장 큰 AI 커뮤니티 중 하나인 Hugging Face 플랫폼의 개발자 400만 명으로 구성된 커뮤니티가 가장 인기 있는 일부 AI 모델에서 NVIDIA 가속 추론 기능에 쉽게 액세스할 수 있게 되었습니다.
새로운 추론 서비스 기능을 통해 개발자는 선도적인 솔루션을 신속하게 배포할 수 있습니다. 대규모 언어 모델 예를 들어 Llama 3 제품군 및 Mistral AI 모델과 같은 최적화 엔비디아 NIM 마이크로서비스가 실행 중 NVIDIA DGX 클라우드.
오늘 발표됨 시그래프 컨퍼런스에서 이 서비스는 개발자가 Hugging Face Hub에 호스팅된 오픈소스 AI 모델을 신속하게 프로토타입화하고 프로덕션에 배포하는 데 도움이 됩니다. Enterprise Hub 사용자는 NVIDIA NIM을 사용하여 서버리스 추론을 활용하여 유연성을 높이고 인프라 오버헤드를 최소화하며 성능을 최적화할 수 있습니다.
추론 서비스는 다음을 보완합니다. DGX Cloud에서 훈련하세요Hugging Face에서 이미 이용 가능한 AI 훈련 서비스입니다.
점점 더 많은 오픈소스 모델에 직면한 개발자는 옵션을 쉽게 비교할 수 있는 허브에서 이점을 얻을 수 있습니다. 이러한 교육 및 추론 도구는 Hugging Face 개발자에게 NVIDIA 가속 인프라에서 최첨단 모델을 실험하고 테스트하고 배포할 수 있는 새로운 방법을 제공합니다. Hugging Face 모델 카드의 “교육” 및 “배포” 드롭다운 메뉴를 사용하여 쉽게 액세스할 수 있으므로 사용자는 몇 번의 클릭만으로 시작할 수 있습니다.
시작하세요 NVIDIA NIM이 제공하는 서비스로서의 추론.
토큰 제스처를 넘어서 – NVIDIA NIM이 큰 이점을 가져다줍니다
엔비디아 NIM NVIDIA AI 기반 모델과 오픈소스 커뮤니티 모델을 포함한 AI 마이크로서비스의 컬렉션으로, 업계 표준 애플리케이션 프로그래밍 인터페이스(API)를 사용하여 추론에 최적화되었습니다.
NIM은 사용자에게 언어 모델에서 사용되고 생성되는 데이터 단위인 토큰을 처리하는 데 더 높은 효율성을 제공합니다. 최적화된 마이크로서비스는 또한 기본 NVIDIA DGX Cloud 인프라의 효율성을 개선하여 중요한 AI 애플리케이션의 속도를 높일 수 있습니다.
이는 개발자가 다른 버전의 모델과 비교했을 때 NIM으로 액세스한 AI 모델에서 더 빠르고 강력한 결과를 볼 수 있음을 의미합니다. 예를 들어, 700억 개의 매개변수를 가진 Llama 3 버전은 기성형 배포와 비교했을 때 NIM으로 액세스했을 때 최대 5배 더 높은 처리량을 제공합니다. NVIDIA H100 Tensor Core GPU 기반 시스템.
DGX 클라우드에 거의 즉시 액세스하여 접근 가능한 AI 가속 제공
NVIDIA DGX Cloud 플랫폼은 다음과 같은 목적으로 제작되었습니다. 생성형 AI개발자가 프로덕션에 바로 사용할 수 있는 애플리케이션을 더 빠르게 시장에 출시할 수 있도록 돕는 안정적인 가속 컴퓨팅 인프라에 쉽게 액세스할 수 있도록 지원합니다.
이 플랫폼은 개발자가 장기적인 AI 인프라에 대한 약정을 맺을 필요 없이 프로토타입부터 생산까지 AI 개발의 모든 단계를 지원하는 확장 가능한 GPU 리소스를 제공합니다.
NIM 마이크로서비스로 구동되는 NVIDIA DGX Cloud의 Hugging Face 추론 서비스는 AI 배포에 최적화된 컴퓨팅 리소스에 쉽게 액세스할 수 있게 해주어 사용자가 엔터프라이즈급 환경에서 최신 AI 모델을 실험할 수 있도록 해줍니다.
SIGGRAPH에서 NVIDIA NIM에 대한 추가 정보
SIGGRAPH에서 NVIDIA는 또한 OpenUSD 프레임워크를 위한 생성 AI 모델 및 NIM 마이크로서비스 AI의 차세대 진화를 위해 고도로 정확한 가상 세계를 구축하는 개발자들의 능력을 가속화합니다.
산업 전반에 걸쳐 100개 이상의 NVIDIA NIM 마이크로서비스를 경험하려면 방문하세요. ai.엔비디아닷컴.