기업은 AI 워크로드를 지원하고 데이터 처리를 가속화하기 위해 점점 더 강력한 컴퓨팅을 찾고 있습니다. 얻은 효율성은 AI 교육 및 미세 조정에 대한 투자에 대한 더 나은 수익과 AI 추론에 대한 향상된 사용자 경험으로 이어질 수 있습니다.
오늘 Oracle CloudWorld 컨퍼런스에서 Oracle Cloud Infrastructure(OCI)는 가속화된 최초의 제타스케일 OCI 슈퍼클러스터를 발표했습니다. 엔비디아 블랙웰 이 플랫폼은 NVIDIA의 최신 세대 GPU 10만 개 이상을 활용해 기업이 차세대 AI 모델을 훈련하고 배포할 수 있도록 지원합니다.
OCI Superclusters를 사용하면 고객이 광범위한 NVIDIA GPU 중에서 선택하여 온프레미스, 퍼블릭 클라우드, 소버린 클라우드 등 어디에나 배포할 수 있습니다. 내년 상반기에 출시될 예정인 Blackwell 기반 시스템은 최대 131,072개의 Blackwell GPU로 확장할 수 있습니다. NVIDIA ConnectX-7 NIC RoCEv2 또는 NVIDIA Quantum-2 InfiniBand 네트워킹을 통해 클라우드에 최대 2.4제타플롭의 놀라운 AI 컴퓨팅을 제공합니다. (읽기 보도 자료 (OCI 초은하단에 대해 자세히 알아보세요.)
이번 행사에서 Oracle은 또한 다음과 같은 내용을 미리 보여주었습니다. 엔비디아 GB200 NVL72 전원을 공급하는 데 도움이 되는 액체 냉각 베어 메탈 인스턴스 생성형 AI 애플리케이션. 인스턴스는 Quantum-2 InfiniBand를 사용한 대규모 교육과 확장된 72-GPU 내에서 1조 개 매개변수 모델의 실시간 추론이 가능합니다. 엔비디아 NV링크 단일 대규모 GPU로 작동할 수 있는 도메인입니다.
올해 OCI는 엔비디아 HGX H200 — 여덟 개를 연결하다 NVIDIA H200 Tensor Core GPU NVLink 및 NVLink Switch를 통한 단일 베어 메탈 인스턴스에서, RoCEv2 클러스터 네트워킹을 통한 NVIDIA ConnectX-7 NIC로 65,536개의 H200 GPU로 확장합니다. 이 인스턴스는 대규모로 실시간 추론을 제공하고 교육 워크로드를 가속화하려는 고객을 위해 주문할 수 있습니다. (읽기 블로그 (NVIDIA B200, GB200 및 H200 GPU를 탑재한 OCI 슈퍼클러스터에 관하여)
OCI는 또한 일반 공급을 발표했습니다. 엔비디아 L40S GPU– 중간 범위 AI 워크로드를 위한 가속화된 인스턴스 엔비디아 옴니버스 및 시각화. (읽기 블로그 (NVIDIA L40S GPU를 탑재한 OCI 슈퍼클러스터에 관하여)
단일 노드에서 다중 랙 솔루션에 이르기까지 Oracle의 엣지 제품은 NVIDIA GPU로 가속화된 엣지에서 확장 가능한 AI를 제공하며, 연결이 끊기고 원격 위치에서도 가능합니다. 예를 들어 Oracle의 Roving Edge Device v2를 사용한 소규모 배포는 이제 최대 3개를 지원합니다. NVIDIA L4 Tensor Core GPU.
기업들은 NVIDIA 기반 OCI 슈퍼클러스터를 사용하여 AI 혁신을 추진하고 있습니다. 예를 들어, Foundation 모델 스타트업 Reka는 클러스터를 사용하여 엔터프라이즈 에이전트를 개발하기 위한 고급 멀티모달 AI 모델을 개발하고 있습니다.
Reka의 공동 창립자 겸 CEO인 다니 요가타마는 “OCI와 NVIDIA 기술로 구축된 Reka의 멀티모달 AI 모델은 읽고, 보고, 듣고, 말할 수 있는 차세대 엔터프라이즈 에이전트를 강화하여 복잡한 세상을 이해할 수 있도록 합니다.”라고 말했습니다. “NVIDIA GPU 가속 인프라를 사용하면 매우 큰 모델과 광범위한 컨텍스트를 쉽게 처리할 수 있으며, 밀도가 높고 희소한 트레이닝을 클러스터 수준에서 효율적으로 확장할 수 있습니다.”
생성 AI Oracle 데이터베이스 워크로드 가속화
Oracle Autonomous Database는 고객이 Oracle Autonomous Database에서 데이터 처리 워크로드를 가속화할 수 있도록 Oracle Machine Learning 노트북에 대한 NVIDIA GPU 지원을 얻게 되었습니다.
Oracle CloudWorld에서 NVIDIA와 Oracle은 NVIDIA 가속 컴퓨팅 플랫폼이 현재 또는 미래에 생성 AI의 핵심 구성 요소를 가속화하는 데 어떻게 사용될 수 있는지 보여주는 세 가지 기능을 시연하기 위해 협력하고 있습니다. 검색 증강 생성 파이프라인.
첫 번째는 NVIDIA GPU를 사용하여 Oracle Autonomous Database Serverless에서 직접 대량 벡터 임베딩을 가속화하여 엔터프라이즈 데이터를 AI에 효율적으로 더 가까이 가져오는 방법을 보여줍니다. 이러한 벡터는 Oracle Database 23ai의 AI 벡터 검색을 사용하여 검색할 수 있습니다.
두 번째 시연에서는 NVIDIA GPU, NVIDIA RAPIDS cuVS 및 Oracle에서 개발한 오프로드 프레임워크를 사용하여 벡터 그래프 인덱스 생성을 가속화하는 개념 증명 프로토타입을 선보입니다. 이를 통해 효율적인 벡터 검색을 위한 인덱스를 구축하는 데 필요한 시간이 크게 줄어듭니다.
세 번째 데모는 다음 방법을 보여줍니다. 엔비디아 NIM사용하기 쉬운 추론 마이크로서비스 세트는 다양한 모델 크기와 동시성 수준에서 텍스트 생성 및 번역 사용 사례에 대한 생성적 AI 성능을 향상시킬 수 있습니다.
이러한 새로운 Oracle Database 기능과 데모는 NVIDIA GPU를 사용하여 기업이 Oracle Database에 저장되거나 관리되는 구조화되고 구조화되지 않은 데이터에 생성적 AI를 도입하는 데 어떻게 도움이 될 수 있는지 보여줍니다.
Sovereign AI Worldwide
NVIDIA와 Oracle은 협력하여 제공합니다. 주권 AI 전 세계적으로 인프라를 구축하여 정부와 기업의 데이터 상주 요구 사항을 해결하는 데 도움이 됩니다.
브라질에 본사를 둔 스타트업 Wide Labs는 브라질 포르투갈어를 위한 최초의 대규모 언어 모델 중 하나인 Amazonia IA를 훈련하고 배포했습니다. NVIDIA H100 Tensor Core GPU 그리고 엔비디아 네모 OCI의 브라질 데이터 센터에는 데이터 주권 보장을 위한 프레임워크가 도입되었습니다.
Wide Labs의 CEO인 넬슨 레오니는 “주권 LLM을 개발하면 고객에게 브라질 국경 내에서 데이터를 처리하는 서비스를 제공할 수 있어 Amazônia에 독특한 시장 지위를 제공합니다.”라고 말했습니다. “NVIDIA NeMo 프레임워크를 사용하여 Amazônia IA를 성공적으로 훈련했습니다.”
일본의 컨설팅 서비스와 시스템 솔루션 분야의 세계적 선도 기업인 노무라 종합연구소는 NVIDIA GPU를 탑재한 OCI의 Alloy 인프라를 활용하여 금융 규정 및 데이터 주권 요구 사항에 따라 운영되는 LLM을 통해 금융 AI 플랫폼을 강화하고 있습니다.
커뮤니케이션 및 협업 기업 Zoom은 현지 데이터 요구 사항 준수를 지원하기 위해 OCI의 사우디아라비아 데이터 센터에서 NVIDIA GPU를 사용할 예정입니다.
공간 모델링 회사 RSS-Hydro는 NVIDIA Omniverse 플랫폼 기반으로 구축되고 OCI의 L40S GPU로 구동되는 홍수 매핑 플랫폼이 디지털 트윈을 사용하여 일본 구마모토 지역의 홍수 영향을 시뮬레이션하고 기후 변화의 영향을 완화하는 데 어떻게 도움이 될 수 있는지 보여주고 있습니다.
이러한 고객은 NVIDIA와 OCI를 기반으로 국내 AI 애플리케이션을 구축하고 배포하는 수많은 국가와 조직 중 하나이며, 국가 AI 인프라를 통해 경제적 회복력을 추진하고 있습니다.
NVIDIA와 Oracle을 통한 엔터프라이즈 지원 AI
기업은 NIM 마이크로 서비스와 같은 NVIDIA 소프트웨어를 배포하여 OCI에서 작업 자동화를 가속화할 수 있습니다. 엔비디아 cuOpt OCI의 확장 가능한 클라우드 솔루션과 함께. 이러한 솔루션을 통해 기업은 생성적 AI를 신속하게 도입하고 코드 생성 및 경로 최적화와 같은 복잡한 작업에 대한 에이전트 워크플로를 구축할 수 있습니다.
NVIDIA cuOpt, NIM, RAPIDS 등이 포함되어 있습니다. NVIDIA AI Enterprise 소프트웨어 플랫폼Oracle Cloud Marketplace에서 사용할 수 있습니다.
Oracle CloudWorld에서 자세히 알아보세요
가입하다 Oracle CloudWorld 2024에서의 NVIDIA 기업의 협업을 통해 AI와 가속화된 데이터 처리가 전 세계 기업에 어떻게 적용되는지 알아보세요.
이벤트에 등록하여 세션을 시청하고 데모를 보고 Oracle과 NVIDIA와 함께 9월 11일 수요일 라스베가스에서 열리는 솔루션 기조연설 “NVIDIA의 가속 컴퓨팅 플랫폼으로 AI 성능 잠금 해제”(SOL3866)에 참여하세요.