Gr00T-Dreams Blueprint는 휴머노이드 로봇 추론 및 행동을 훈련시키는 데이터를 생성합니다. 출처 : Nvidia
Nvidia Corp.는 대만 타이페이에서 오늘 Computex에서 휴머노이드 로봇 추론 및 기술을위한 개방적이고 일반화 된 사용자 정의 가능한 기초 모델에 대한 첫 번째 업데이트 인 Isaac GR00T N1.5를 발표했습니다. 캘리포니아 주 산타 클라라 (Santa Clara)에 본사를 둔이 회사는 또한 합성 모션 데이터를 생성하기위한 청사진 인 Isaac GR00T-Dreams와 NVIDIA Blackwell 시스템을 인간화 개발을 가속화하기위한 NVIDIA Blackwell 시스템을 공개했습니다.
Nvidia의 창립자이자 CEO 인 Jensen Huang은“물리 AI와 로봇 공학은 다음 산업 혁명을 가져올 것입니다. “로봇의 AI 뇌에서 시뮬레이션 된 세계에 이르기까지 Training Foundation 모델을위한 AI SuperComputers 또는 AI SuperComputers에서 NVIDIA는 Robotics Development Journey의 모든 단계에 빌딩 블록을 제공합니다.”
휴머노이드 그리고 다른 로봇 공학 개발자 민첩성 로봇, 보스턴 다이나믹스, 푸리에, 폭스 링크, 갤 보트, 멘티 로봇 공학, 뉴라 로봇 공학, 일반 로봇, 스키드 AI 및 Xpeng Robotics가 채택하고 있습니다. Nvidia Isaac 휴머노이드 로봇 개발 및 배포를 발전시키는 플랫폼 기술.
“물리적 AI는 AI의 다음 물결입니다. Omniverse NVIDIA의 시뮬레이션 기술. “물리적 AI는 물리 법칙을 이해하고 센서 입력을 기반으로 행동을 생성 할 수 있습니다. 물리적 AI는 세 가지 주요 유형의 로봇, 공장과 같은 시설 및 대만 파트너의 창고, 교통 로봇을 구현합니다. [industrial] 로봇, 휴머노이드, 조작기 및 AMR [autonomous mobile robots].”
NVIDIA ISAAC GR00T 데이터 생성 청사진은 데이터 격차를 닫습니다
그의 computex에서 기조Huang은 Isaac Gr00t-Dreams가 방대한 양의 합성 모션 데이터를 생성하는 데 도움이 될 수 있다고 말했다. 물리적 ai 개발자는 이러한 신경 궤적을 사용하여 변화하는 환경에 적응하는 방법을 포함하여 로봇에게 새로운 행동을 가르 칠 수 있습니다.
개발자는 먼저 훈련 후 코스모스가 월드 파운데이션 모델을 예측할 수 있습니다.WFMS) 그들의 로봇을 위해. 그런 다음 단일 이미지를 입력으로 사용하여 Gr00T-Dreams는 새로운 환경에서 새로운 작업을 수행하는 로봇의 비디오를 생성합니다.
청사진은 동작을 추출합니다 토큰 – 압축, 소화 가능한 데이터 – 로봇에게 이러한 새로운 작업을 수행하는 방법을 가르치는 데 사용되는 것으로 Nvidia는 말했다. Gr00t-Dreams Blueprint가 보완합니다 Isaac Gr00t-Mimic Blueprint그것은에서 출시되었습니다 GTC 3 월 회의.
Gr00t-Mimic은 NVIDIA를 사용합니다 Omniverse 그리고 코스모스 기존 데이터를 보강하는 플랫폼 인 Gr00t-Dreams는 우주를 사용하여 완전히 새로운 데이터를 생성합니다.
새로운 모델은 휴머노이드 개발을 우선합니다
NVIDIA 연구 Gr00T-Dreams Blueprint를 사용하여 개발할 합성 교육 데이터를 생성했습니다. GR00T N1.5 – GR00T N1에 대한 업데이트 – 단 36 시간 만에. 이에 비해 수동 인간 데이터 수집은 거의 3 개월이 걸렸을 것이라고 말했다.
그만큼 회사 그것을 주장했다 GR00T N1.5 새로운 환경 및 작업 공간 구성에 더 잘 적응할 수있을뿐만 아니라 사용자 지침을 통해 객체를 인식 할 수 있습니다. 이 업데이트는 공통 재료 처리 및 제조 작업에 대한 모델의 성공률을 크게 향상 시킨다고 말했다.
GR00T N1.5는 NVIDIA Jetson Thor Robot Computer에 배치되어 올해 말에 출시 될 수 있습니다.
“GR00T N1.5는 새로운 그룹 Dreams Blueprint에 의해 생성 된 합성 데이터에 대해 교육을 받았습니다. “로봇 개발의 가장 큰 과제는 데이터 간격입니다. LLM의 경우 쉽습니다. [large language model] 개발자는 풍부한 데이터가 있기 때문에 모델을 훈련시킵니다. 그러나 로봇은 실제 데이터에 대해 배워야합니다.이 데이터는 캡처 비용이 많이 들고 시간이 많이 걸립니다.”
“그래서 수동으로 캡처하는 대신 로봇이 꿈을 꾸지 않겠습니까?” 그는 덧붙였다. “Group Dreams는 Nvidia Cosmos를 기반으로 한 합성 데이터 생성 청사진으로, 오픈 월드 파운데이션 모델을 포옹하는 얼굴로 곧 출시 될 예정입니다. 먼저, 개발자는 단일 환경에서 픽 및 장소와 같은 단일 로봇 작업을 위해 캡처 된 원격 점수 데이터를 예측합니다.”
Lebaredian은“연습 후 개발자는 단일 이미지와 새로운 프롬프트를 사용하여 꿈을 생성 할 수 있습니다. “개발자는 여기에서 Apple 또는 여기에서 캔과 같은 다른 항목을 수령 할 수 있습니다. 그러면 꿈은 새로운 물리적 AI 추론 모델 인 Cosmos 이유에 의해 평가되고 필터링되며 조치 및 궤적 데이터로 자동으로 표시됩니다.”
GR00T N 모델의 얼리 어답터에는 Aeirobot, Foxlink, Lightwheel 및 Neura Robotics가 포함됩니다. aeirobot Alice4가 자연어 지침을 이해하고 산업 환경에서 복잡한 픽 앤 플레이스 워크 플로를 실행할 수 있도록 모델을 사용합니다.
FoxLink Group은 산업용 로봇 조작기 유연성 및 효율성을 향상시키기 위해이를 사용하고 있으며 Lightwheel은 유효성을 활용하여 유효성을 활용하고 있습니다. 합성 데이터 더 빨리 휴머노이드 공장의 로봇 배치. 신경 로봇 공학 가계 자동화 시스템의 개발을 가속화하기 위해 모델을 평가하고 있습니다.
시뮬레이션 및 데이터 생성 프레임 워크 속도 로봇 교육
고도로 숙련 된 개발 휴머노이드 로봇 NVIDIA는 막대한 양의 다양한 데이터가 필요하며, 이는 캡처하고 처리하는 데 비용이 많이 든다고 NVIDIA는 지적했다. 물리적 세계에서 로봇을 테스트해야하며 비용과 위험을 제시 할 수 있습니다.
NVIDIA는 데이터 및 테스트 격차를 닫기 위해 다음 시뮬레이션 기술을 공개했습니다.
- NVIDIA COSMOS 이유생각의 체인을 사용하여 정확하고 고품질을 큐 레이션하는 데 도움이되는 새로운 WFM 물리적 AI 모드에 대한 합성 데이터그 훈련은 이제 사용할 수 있습니다 포옹 얼굴.
- 코스모스는 2를 예측합니다GR00T-DREAMS에 사용되는 것은 곧 고품질 세계 세대를위한 성능 향상과 환각 감소를 특징으로하는 포옹 얼굴로 곧 출시 될 예정입니다.
- NVIDIA ISAAC GR00T-MIMIC몇 가지 인간 데모 만 사용하여 로봇 조작을위한 기하 급수적으로 다량의 합성 모션 궤적을 생성하기위한 청사진.
- 오픈 소스 물리 AI 데이터 세트현재 GR00T N 모델을 개발하는 데 사용되는 24,000 개의 고품질 인 Humanoid Robot 모션 궤적이 포함되어 있습니다.
- Nvidia Isaac SIM 5.0시뮬레이션 및 합성 데이터 생성 프레임 워크는 곧 공개적으로 Github에서 사용할 수 있습니다.
- Nvidia Isaac Lab 2.2Open-Source Robot Learning Framework는 개발자가 GR00T N 모델을 테스트 할 수 있도록 새로운 평가 환경을 지원할 것입니다.
Lebaredian은 GR00T N1.5가 개발 속도를 높일 수있는 방법을 선전했습니다.“개발자는 이러한 꿈을 사용하여 교육 데이터를 대량으로 사용하고 모델 성능을 개선하며 20의 계수로 텔레 오퍼레이션 데이터를 수동으로 캡처해야 할 필요성을 줄였습니다. 우리의 연구 팀은 36 시간 내에 생성 된 꿈을 사용하여 GR00T N1.5를 수동으로 캡처하기 위해 3 개월에 걸렸을 것입니다.”
개발자는 RTX Pro 6000, 합성 데이터 생성 및 시뮬레이션을 사용하여 휴머노이드 외에 로봇을 구축 할 수 있습니까?
“본질적으로, 당신이 휴머노이드 로봇이 무엇인지 생각한다면, 그것은 다른 많은 유형의 로봇의 슈퍼 세트입니다.”라고 Lebaredian은 대답했습니다. 로봇 보고서. “그것은 운동이 있습니다. AMR처럼 움직일 수 있습니다. 로봇 조작기처럼 자리에 골라질 수있는 팔이 있습니다.”
“우리가 휴머노이드에 집중하고 싶어하는 이유 중 하나는 휴머노이드 문제를 해결할 수 있다면 로봇 공학의 다른 모든 문제가 자연스럽게 떨어 졌기 때문입니다.” “따라서 우리가 합성 데이터를 생성 한 다음 테스트하는 데 사용하는 것과 동일한 프로세스는 모든 유형의 로봇에 적용됩니다. 우리는 휴머노이드 로봇에 대한 많은 사용 사례와 데이터 부족이 많이 보입니다.”
폭스콘 그리고 폭스 링크 합성 모션 조작 생성을 위해 Gr00T-Mimic Blueprint를 사용하여 로봇 훈련 파이프 라인을 가속화하고 있습니다. 민첩성 로봇 공학, 보스턴 역학, 푸리에, 멘티 로봇 공학, Neura Robotics 및 Xpeng Robotics는 Isaac Sim과 Isaac Lab을 사용하여 인간형을 시뮬레이션하고 훈련시키고 있습니다.
Skild AI는 시뮬레이션 프레임 워크를 사용하여 일반 로봇 인텔리전스를 개발하고 있으며 일반 로봇 공학은이를 로봇 인텔리전스 플랫폼에 통합하고 있습니다.
Foxconn의 공동 간호 로봇은 하나입니다 예 NVIDIA Technologies를 사용하여 개발 된 스마트 병원 응용 프로그램. 출처 : Foxconn
로봇 개발자가 이용할 수있는 NVIDIA BLACKWELL 시스템
글로벌 시스템 제조업체가 구축 중입니다 NVIDIA RTX PRO 6000 워크 스테이션 및 서버. nvidia 말했다 교육, 합성 데이터 생성, 로봇 학습 및 시뮬레이션. 이것은“창조 전략의 일부입니다.AI 공장‘ Foxconn과 같은 파트너와 함께.
Cisco, Dell Technologies, Hewlett-Packard Enterprise, Lenovo 및 Supermicro가 RTX Pro 6000을 발표했습니다. 블랙웰-Quantum Computing Research와 같은 것들에 사용되는 강력한 서버. 한편 Dell Technologies, HPI 및 Lenovo가 발표했습니다 NVIDIA RTX PRO 6000 워크 스테이션.
대규모 교육 또는 데이터 생성 워크로드를 실행하기 위해 더 많은 컴퓨팅이 필요한 경우 개발자는 GB200 NVL72와 같은 Blackwell 시스템을 활용할 수 있습니다. nvidia dgx 클라우드 주요 클라우드 제공 업체 및 Nvidia Cloud 파트너 – 데이터 처리에 대한 최대 18 배의 성능을 달성하기 위해 Nvidia는 말했다. 개발자는 NVIDIA Jetson AGX Thor에 모델을 배포하여 곧 로봇의 추론 및 런타임을 가속화 할 수 있습니다.
개발자는 로봇 파운데이션 모델을 Jetson Thor 플랫폼에 배포 할 수 있습니다. 이 회사는 또한 로봇의 추론과 런타임 성능을 높이기 위해 곧 출시 될 것이라고 밝혔다.
Nvidia는 다음을 발표했습니다.
- 아시스 ABCI-Q일본의 연구 슈퍼 컴퓨터. 연구 그리고 조작 협업 대만에서
- 그만큼 DGX Cloud Lepton 일체 포함 플랫폼 컴퓨팅 시장과 함께
- 그만큼 DGX “AI-First”개인용 컴퓨팅 시스템
- 그만큼 GTACE CPU C1 전력 효율적인 에지, 통신 및 스토리지 배포를위한 단일 소켓 CPI
- 그만큼 비디오 검색 및 요약을위한 AI 청사진 (VSS), Nvidia Metropolis 이제 일반적으로 사용할 수 있습니다
- nvlink 퓨전산업이 인기를 사용하여 파트너 생태계와 반면 AI 인프라를 구축 할 수 있도록하는 새로운 실리콘 nvidia nvlink 컴퓨팅 패브릭
RTX Pro 서버는 새로운 NVIDIA Enterprise AI Factory Validated Design을 사용하여 IT 인프라 구축을위한 AI, 설계, 엔지니어링 및 비즈니스 애플리케이션에 대한 가속도를 제공합니다. 출처 : Nvidia
게시물 Nvidia는 물리적 AI, 휴머노이드 개발을위한 클라우드-로봇 컴퓨팅 플랫폼을 출시합니다. 나타나다 첫 번째 로봇 보고서.
