새로운 Project GR00T 워크플로와 AI 세계 모델 도구는 로봇의 민첩성, 제어, 조작 및 이동성 개발자를 돕기 위한 것입니다. 출처: 엔비디아
엔비디아(NVIDIA Corp.)는 오늘 휴머노이드를 포함한 로봇 개발을 가속화하기 위한 새로운 인공 지능 및 시뮬레이션 도구를 발표했습니다. 또한 로봇 학습 컨퍼런스에서 Hugging Face Inc.와 NVIDIA는 연구 개발을 가속화하기 위해 오픈 소스 AI와 로봇 공학 노력을 결합할 것이라고 밝혔습니다.
도구에는 일반적으로 사용 가능한 NVIDIA가 포함됩니다. 아이작랩 로봇 학습 프레임워크와 6개의 새로운 로봇 학습 워크플로 프로젝트 GR00T 가속화하기 위한 이니셔티브 휴머노이드 개발. 또한 NVIDIA를 포함하여 비디오 데이터 큐레이션 및 처리를 위한 새로운 세계 모델 개발 도구도 포함되어 있습니다. 코스모스 토크나이저 그리고 엔비디아 니모 큐레이터 비디오 처리를 위해.
허깅페이스(Hugging Face)는 자사의 르로봇(LeRobot) 개방형 AI 플랫폼이 엔비디아 AI, 옴니버스 그리고 이삭 로봇공학 기술은 다음을 포함한 산업 전반에 걸쳐 발전을 가능하게 할 것입니다. 조작, 건강 관리그리고 기호 논리학.
휴머노이드 훈련을 돕는 NVIDIA Isaac Lab
아이작랩 오픈 소스입니다 로봇 학습 NVIDIA 기반 프레임워크 옴니버스개발을 위한 플랫폼 USD 열기 산업 디지털화를 위한 애플리케이션과 물리적 AI 시뮬레이션. 개발자 사용할 수 있다 Isaac Lab은 모든 유형의 로봇 이동에 대한 대규모 정책을 교육합니다. 협동로봇 그리고 네 발 달린 동물 엔비디아는 휴머노이드에게 말했다.
회사는 전 세계 주요 연구기관, 로봇 제조업체, 애플리케이션 개발자들이 아이작랩(Isaac Lab)을 사용하고 있다고 밝혔다. 여기에는 다음이 포함됩니다 1X, 민첩성 로봇공학, AI 연구소, 버클리 휴머노이드, 보스턴 다이내믹스, 필드 AI, 푸리에, 갈봇, 멘티로보틱스, 스킬드 AI, 스위스마일, 유니트리 로보틱스그리고 XPENG 로봇 공학.
에이 마이그레이션 가이드 Isaac Gym의 제품은 온라인으로 이용 가능하며 NVIDIA Isaac Lab 1은 사용 가능 지금 GitHub에서.
프로젝트 GR00T는 범용 로봇에 대한 청사진을 제공합니다
발표일: 3월에 열리는 그래픽 처리 장치 기술 컨퍼런스(GTC)에서 프로젝트 GR00T는 휴머노이드 로봇을 위한 글로벌 개발자 생태계를 돕기 위해 라이브러리, 기반 모델 및 데이터 파이프라인을 개발하는 것을 목표로 합니다. 엔비디아가 추가했습니다 6개의 새로운 워크플로우 로봇이 사람과 주변 환경을 인식하고, 이동하고, 상호 작용할 수 있도록 곧 출시될 예정입니다.
- 생성적 AI 기반 OpenUSD 기반 3D 환경 구축을 위한 GR00T-Gen
- 로봇 모션 및 궤적 생성을 위한 GR00T-모방
- 로봇의 능숙한 조작을 위한 GR00T-Dexterity
- 전신 제어를 위한 GR00T-Control
- 로봇 이동 및 내비게이션을 위한 GR00T-이동성
- 다중 모드 감지를 위한 GR00T-인식
엔비디아의 구현 AI 수석 연구 매니저인 짐 팬(Jim Fan)은 “휴머노이드 로봇은 구현 AI의 차세대 물결입니다. “NVIDIA 연구 및 엔지니어링 팀은 글로벌 휴머노이드 로봇 개발자의 발전과 발전을 돕기 위해 프로젝트 GR00T를 구축하기 위해 회사와 개발자 생태계 전반에 걸쳐 협력하고 있습니다.”
프로젝트 GR00T에는 이제 휴머노이드 개발을 가속화하기 위한 6개의 새로운 워크플로우가 포함되어 있습니다. 출처: 엔비디아
Cosmos 토크나이저는 왜곡을 최소화합니다.
개발자가 세계 모델, 즉 물체와 환경이 로봇의 동작에 어떻게 반응하는지에 대한 AI 표현을 구축하려면 수천 시간의 실제 이미지 또는 비디오 데이터가 필요합니다. NVIDIA는 자사의 Cosmos 토크나이저가 고품질 인코딩 및 디코딩을 제공하여 왜곡과 시간적 불안정성을 최소화하면서 이러한 세계 모델의 개발을 단순화한다고 밝혔습니다.
회사는 오픈 소스 Cosmos 토크나이저가 현재 토크나이저보다 최대 12배 더 빠르게 실행된다고 밝혔습니다. 지금 이용 가능합니다 GitHub에서 그리고 포옹하는 얼굴. XPENG Robotics, Hillbot 및 1X Technologies가 토크나이저를 사용하고 있습니다.
1X World Model 데이터세트를 업데이트한 1X Technologies의 AI 담당 부사장인 Eric Zhang은 “NVIDIA Cosmos 토크나이저는 시각적 충실도를 유지하면서 데이터의 시공간적 압축을 매우 높게 달성합니다.”라고 말했습니다. “이를 통해 우리는 훨씬 더 계산 효율적인 방식으로 긴 지평선 비디오 생성을 통해 세계 모델을 훈련할 수 있습니다.”
NeMo 큐레이터가 비디오 데이터를 처리합니다.
비디오 데이터를 큐레이팅하는 것은 엄청난 크기로 인해 문제를 야기하며, GPU 전반에 걸친 로드 밸런싱을 위한 확장 가능한 파이프라인과 효율적인 오케스트레이션이 필요합니다. 또한 처리량을 최대화하려면 필터링, 캡션 및 임베딩을 위한 모델을 최적화해야 한다고 NVIDIA는 말했습니다.
NeMo Curator는 자동 파이프라인 조정을 통해 데이터 큐레이션을 간소화하여 비디오 처리 시간을 단축합니다. 회사는 이 파이프라인을 말했다. 가능하게 한다 로봇 개발자는 대규모 텍스트, 이미지 및 비디오 데이터를 처리하여 세계 모델 정확도를 향상시킵니다.
이 시스템은 다중 노드, 다중 GPU 시스템 전반에 걸쳐 선형 확장을 지원하여 100페타바이트 이상의 데이터를 효율적으로 처리합니다. 이를 통해 AI 개발을 단순화하고 비용을 절감하며 출시 기간을 단축할 수 있다고 NVIDIA는 주장했습니다.
비디오 처리를 위한 NeMo 큐레이터는 이달 말부터 제공될 예정입니다.
Hugging Face, 데이터 및 시뮬레이션을 위한 NVIDIA 공유 도구
Hugging Face와 NVIDIA는 로봇 학습 컨퍼런스(Conference for Robotic Learning)에서 발표했습니다.CoRL) 독일 뮌헨에서 LeRobot, NVIDIA Isaac Lab 및 NVIDIA Jetson과 함께 오픈 소스 로봇 연구를 가속화하기 위해 협력하고 있다고 밝혔습니다. 그들은 그들의 오픈 소스 프레임워크가 “시대를 가능하게 할 것”이라고 말했습니다. 물리적 AI,’ 로봇이 자신의 환경을 이해하고 산업을 변화시키다.
500만 명 이상의 기계 학습 연구원이 뉴욕에 본사를 둔 Hugging Face의 AI 플랫폼을 사용합니다. 여기에는 150만 개 이상의 모델, 데이터 세트 및 애플리케이션이 포함된 API가 포함되어 있습니다. LeRobot은 데이터 수집, 모델 교육 및 시뮬레이션 환경을 공유하기 위한 도구는 물론 저렴한 조작기 키트도 제공합니다.
이러한 도구는 이제 Isaac Lab과 함께 작동합니다. 아이작 심시연이나 시행착오를 통해 현실적으로 로봇 훈련이 가능 시뮬레이션. 계획된 협업 워크플로에는 다음을 통해 데이터를 수집하는 작업이 포함됩니다. 원격조종 Isaac Lab에서 시뮬레이션하여 표준 LeRobotDataset 형식으로 저장합니다.
GR00T-Mimic을 사용하여 생성된 데이터는 모방 학습을 통해 로봇 정책을 훈련하는 데 사용되며, 이후 시뮬레이션에서 평가됩니다. 마지막으로 검증된 정책은 실시간 추론을 위해 NVIDIA Jetson을 사용하여 실제 로봇에 배포됩니다.
이 협업의 초기 단계에서는 다음과 같은 물리적 피킹 설정을 보여주었습니다. 르로봇 소프트웨어 NVIDIA Jetson Orin Nano에서 실행되며 배포를 위한 소형 컴퓨팅 플랫폼을 제공합니다.
LeRobot의 수석 연구 과학자인 Remi Cadene은 “Hugging Face 오픈 소스 커뮤니티를 NVIDIA의 하드웨어 및 Isaac Lab 시뮬레이션과 결합하면 로봇 공학용 AI 혁신을 가속화할 수 있는 잠재력이 있습니다.”라고 말했습니다.
또한 CoRL에서 NVIDIA는 23개의 논문을 발표하고 기술 발전과 관련된 9개의 워크숍을 발표했습니다. 로봇 학습. 이 논문은 비전 언어 모델 통합을 다루고 있습니다(VLM) 개선된 환경 이해 및 작업 실행, 시간적 로봇 탐색, 복잡한 다단계 작업을 위한 장기 계획 전략 개발 및 기술 습득을 위한 인간 시연 사용을 위한 것입니다.
휴머노이드 로봇 제어 및 합성 데이터 생성에 관한 논문은 다음과 같습니다. SkillGen인간의 시연을 최소화하면서 로봇 훈련을 위한 합성 데이터 생성 기반 시스템, 호버인간형 운동 및 조작을 제어하기 위한 로봇 기반 모델입니다.
오픈 소스 AI 및 로봇공학 R&D에 협력하고 있는 NVIDIA와 Hugging Face. 출처: 엔비디아
게시물 NVIDIA, 로봇 학습, 휴머노이드 개발을 위한 개방형 AI 및 시뮬레이션 도구 추가 처음 등장한 로봇 보고서.
