공장 바닥의 로봇 및 거리의 자율 주행 차량과 같은 물리 AI 시스템의 개발은 교육을위한 대형 고품질 데이터 세트에 크게 의존합니다. 그러나 실제 데이터를 수집하는 것은 비용이 많이 들고 시간이 많이 걸리며 종종 일부 주요 기술 회사로 제한됩니다. Nvidia의 우주 플랫폼은 고급 물리 시뮬레이션을 사용하여 규모로 현실적인 합성 데이터를 생성함으로써 이러한 과제를 해결합니다. 이를 통해 엔지니어는 실제 데이터 수집과 관련된 비용과 지연없이 AI 모델을 훈련시킬 수 있습니다. 이 기사에서는 Cosmos가 필수 교육 데이터에 대한 액세스를 향상시키고 실제 응용 프로그램을위한 안전하고 신뢰할 수있는 AI의 개발을 가속화하는 방법에 대해 설명합니다.
물리적 ai 이해
물리적 ai 물리적 세계 내에서 인식, 이해 및 행동 할 수있는 인공 지능 시스템을 말합니다. 텍스트 나 이미지를 분석 할 수있는 전통적인 AI와 달리 물리적 AI는 공간 관계, 물리적 힘 및 동적 환경과 같은 실제 복잡성을 처리해야합니다. 예를 들어, 자율 주행 차는 보행자를 인식하고 움직임을 예측하며 날씨 및 도로 조건과 같은 요인을 고려하면서 실시간으로 경로를 조정해야합니다. 마찬가지로, 창고의 로봇은 장애물을 탐색하고 정밀한 물체를 조작해야합니다.
실제 AI 개발은 다양한 실제 시나리오에서 모델을 훈련시키기 위해 방대한 양의 데이터가 필요하기 때문에 어려운 일입니다. 이 데이터를 수집하면 영상을 운전하는 시간 또는 로봇 작업 시연이든 시간이 많이 걸리고 비용이 많이들 수 있습니다. 또한 실수가 사고로 이어질 수 있으므로 실제 세계에서 AI를 테스트하는 것은 위험 할 수 있습니다. NVIDIA COSMOS는 물리 기반 시뮬레이션을 사용하여 현실적인 합성 데이터를 생성함으로써 이러한 과제를 해결합니다. 이 접근법은 물리적 AI 시스템의 개발을 단순화하고 가속화합니다.
세계 재단 모델은 무엇입니까?
의 핵심에서 Nvidia Cosmos World라는 AI 모델 모음입니다 기초 모델 (WFMS). 이 AI 모델은 물리적 세계를 밀접하게 모방하는 가상 환경을 시뮬레이션하도록 특별히 설계되었습니다. 물리 인식 비디오 또는 시나리오를 생성함으로써 WFMS는 공간 관계 및 물리 법칙에 따라 객체가 상호 작용하는 방식을 시뮬레이션합니다. 예를 들어, WFM은 비바람을 통해 운전하는 자동차를 시뮬레이션하여 물이 트랙션에 어떤 영향을 미치는지 또는 전조등이 젖은 표면에서 어떻게 반사되는지를 보여줄 수 있습니다.
WFM은 AI 시스템을 훈련시키고 테스트 할 수있는 안전하고 제어 가능한 공간을 제공하기 때문에 물리 AI에 중요합니다. 개발자는 실제 데이터를 수집하는 대신 WFM을 사용하여 환경과 상호 작용의 실현 시뮬레이션 인 합성 데이터를 생성 할 수 있습니다. 이 접근법은 비용을 줄일뿐만 아니라 개발 프로세스를 가속화하고 실제 테스트와 관련된 위험없이 복잡한 드문 시나리오 (예 : 비정상적인 트래픽 상황)를 테스트 할 수 있습니다. WFM은 번역이나 챗봇과 같은 작업에 적합한 언어 모델과 마찬가지로 특정 응용 프로그램에 대해 미세 조정할 수있는 일반 목적 모델입니다.
Nvidia Cosmos 공개
NVIDIA COSMOS는 개발자가 물리적 AI 응용 프로그램, 특히 자율 주행 차량 (AVS) 및 로봇 공학을 위해 WFM을 구축하고 사용자 정의 할 수 있도록 설계된 플랫폼입니다. Cosmos는 고급 생성 모델, 데이터 처리 도구 및 안전 기능을 통합하여 물리적 세계와 상호 작용하는 AI 시스템을 개발합니다. 이 플랫폼은 오픈 소스이며 허용 라이센스로 모델을 사용할 수 있습니다.
플랫폼의 주요 구성 요소에는 다음이 포함됩니다.
- Generative World Foundation 모델 (WFMS) : 물리적 환경과 상호 작용을 시뮬레이션하는 미리 훈련 된 모델.
- 고급 토큰 화제 : 더 빠른 모델 교육을 위해 데이터를 효율적으로 압축하고 처리하는 도구.
- 가속화 된 데이터 처리 파이프 라인 : NVIDIA의 컴퓨팅 인프라로 구동되는 대형 데이터 세트를 처리하는 시스템.
우주의 주요 참신은 물리적 AI에 대한 추론 모델입니다. 이 모델은 개발자에게 가상 세계를 만들고 수정할 수있는 기능을 제공합니다. 로봇의 객체를 선택하는 능력을 테스트하거나 갑자기 장애물에 대한 AV의 응답을 평가하는 등 특정 요구에 맞게 시뮬레이션을 조정할 수 있습니다.
Nvidia Cosmos의 주요 특징
NVIDIA COSMOS는 물리적 AI 개발의 특정 문제를 해결하기위한 다양한 구성 요소를 제공합니다.
- 우주 전송 WFMS : 이 모델은 세분화 맵, 깊이 맵 또는 lidar 스캔과 같은 구조화 된 비디오 입력을 취하고 제어 가능한 사진 적 비디오 출력을 생성합니다. 이 기능은 AVS가 물체를 식별하거나 로봇이 주변을 인식하는 데 도움이되는 시스템과 같은 인식 AI를 훈련시키기 위해 합성 데이터를 작성하는 데 특히 유용합니다.
- Cosmos는 WFMS를 예측합니다. Cosmos는 모델이 텍스트, 이미지 및 비디오를 포함한 멀티 모달 입력을 기반으로 가상 세계 상태를 생성한다고 예측합니다. 그들은 장면이 시간이 지남에 따라 어떻게 진화 할 수 있는지와 같은 미래 시나리오를 예측하고 복잡한 시퀀스에 대한 멀티 프레임 생성을 지원할 수 있습니다. 개발자는 NVIDIA의 물리적 AI 데이터 세트를 사용하여 이러한 모델을 사용자 정의하여 보행자 운동 또는 로봇 행동 예측과 같은 특정 요구를 충족시킬 수 있습니다.
- 코스모스 이유 WFM : 코스모스 이유 모델은 시공간 인식이있는 완전히 사용자 정의 가능한 WFM입니다. 추론 능력을 통해 공간 관계와 시간이 지남에 따라 변화하는 방식을 모두 이해할 수 있습니다. 이 모델은 생각한 추론을 사용하여 비디오 데이터를 분석하고 사람이 횡단 보도로 들어갈 것인지 상자가 선반에서 떨어질 지 여부와 같은 결과를 예측합니다.
응용 프로그램 및 사용 사례
NVIDIA COSMOS는 이미 업계에 큰 영향을 미치고 있으며, 여러 주요 회사는 물리적 AI 프로젝트를위한 플랫폼을 채택했습니다. 이 얼리 어답터들은 다양한 부문에서 우주의 다양성과 실질적인 영향을 강조합니다.
- 1x: 고급 로봇 공학에 우주를 사용하여 AI 중심 로봇을 개발하는 능력을 향상시킵니다.
- 민첩성 로봇 공학: NVIDIA와의 파트너십을 확장하여 휴머노이드 로봇 시스템에 우주를 활용합니다.
- 그림 AI: Cosmos를 사용하여 복잡한 작업을 수행 할 수있는 AI에 중점을두고 휴머노이드 로봇 공학을 발전시킵니다.
- Foretellix: 자율 차량 시뮬레이션에 우주를 적용하여 광범위한 테스트 시나리오를 생성합니다.
- 스키드 ai: Cosmos를 사용하여 다양한 응용 분야를위한 AI 구동 솔루션을 개발합니다.
- 우버: 자율 주행 시스템에 대한 교육 데이터를 개선하기 위해 우주를 자율 주행 차량 개발에 통합합니다.
- 옥사: 우주를 사용하여 산업 이동성 자동화를 가속화합니다.
- 가상 절개: 건강 관리의 정밀도를 향상시키기 위해 외과 로봇 공학의 우주 탐색.
이러한 사용 사례는 Cosmos가 이러한 물리 AI 시스템을 훈련시키기위한 합성 데이터를 제공함으로써 운송에서 건강 관리에 이르기까지 광범위한 요구를 충족시킬 수있는 방법을 보여줍니다.
미래의 의미
NVIDIA COSMOS의 출시는 물리적 AI 시스템의 개발에 중요합니다. NVIDIA는 강력한 도구 및 모델이있는 오픈 소스 플랫폼을 제공함으로써 더 넓은 범위의 개발자 및 조직에 물리적 AI 개발에 액세스 할 수 있도록하고 있습니다. 이것은 여러 분야에서 상당한 발전으로 이어질 수 있습니다.
자율 교통에서는 교육 데이터와 시뮬레이션이 향상되면 더 안전하고 신뢰할 수있는 자율 주행 차량으로 이어질 수 있습니다. 로봇 공학에서 복잡한 작업을 수행 할 수있는 로봇의 빠른 개발은 제조, 물류 및 건강 관리와 같은 산업을 변화시킬 수 있습니다. 건강 관리에서 가상 절개에 의해 탐구 된 외과 로봇 공학과 같은 기술은 의료 절차의 정확성과 결과를 향상시킬 수 있습니다.
결론
Nvidia Cosmos는 물리적 AI의 발달에 중요한 역할을합니다. 이 플랫폼을 통해 개발자는 현실적인 시뮬레이션을 만들기위한 미리 훈련 된 물리 기반 World Foundation 모델 (WFM)을 제공하여 고품질 합성 데이터를 생성 할 수 있습니다. Open-Source 액세스, 고급 기능 및 윤리적 보호 조치를 통해 Cosmos는 더 빠르고 효율적인 AI 개발을 가능하게합니다. 이 플랫폼은 이미 물리적 세계와 상호 작용하는 지능형 시스템을 구축하기위한 합성 데이터를 제공함으로써 운송, 로봇 및 의료와 같은 산업의 주요 발전을 이미 주도하고 있습니다.
게시물 NVIDIA COSMOS : 시뮬레이션으로 물리적 AI에 권한을 부여합니다 먼저 나타났습니다 Unite.ai.