VidGen-2는 자율주행차 교육을 위해 다중 카메라 뷰와 최대 30fps의 비디오를 생성할 수 있습니다. 출처: Helm.ai
생성 인공지능(Generative Artificial Intelligence)은 곧 자율주행차의 인식을 도울 수 있을 것입니다. Helm.ai는 오늘 현실적인 주행 비디오 시퀀스를 생성하기 위한 차세대 생성 AI 모델인 VidGen-2를 출시했습니다.
VidGen-2는 이전 버전인 VidGen-1에 비해 두 배의 해상도, 초당 30프레임으로 향상된 현실감, 초당 두 배의 해상도로 다중 카메라 지원을 제공합니다. 카메라. Helm.ai는 이는 자동차 제조업체에 자율 주행 개발 및 검증을 위한 확장 가능하고 비용 효율적인 솔루션을 제공한다고 주장했습니다.
캘리포니아주 레드우드 시티 소재 회사 VidGen-1 출시 7월에. 당시 회사는 자사의 소프트웨어가 첨단 운전자 보조 시스템(ADAS) 개발자에게 도움이 될 수 있다고 밝혔습니다. 자율주행차자율 이동 로봇 (AMR).
VidGen-2는 비디오 해상도를 높입니다.
수천 시간의 다양한 운전 영상에 대한 교육을 받았습니다. 엔비디아 H100 Tensor Core GPU인 VidGen-2는 Helm.ai의 생성적 심층 신경망(DNN) 아키텍처와 비지도 학습 방법인 “Deep Teaching”을 사용합니다. VidGen-1의 두 배인 696 x 696 해상도와 5~30fps의 프레임 속도로 매우 사실적인 비디오 시퀀스를 생성합니다.
또한 이 모델은 30fps에서 비디오 품질을 향상시켜 더욱 부드럽고 상세한 시뮬레이션을 제공합니다. 비디오는 입력 프롬프트 없이 VidGen-2에 의해 생성되거나 단일 이미지 또는 입력 비디오에 의해 프롬프트될 수 있습니다.
VidGen-2는 또한 다중 카메라 보기를 지원하여 각각 640 x 384(VGA) 해상도로 3대의 카메라에서 영상을 생성합니다. 이 모델은 모든 카메라 관점에서 자체 일관성을 보장하여 다양한 센서 구성에 대한 정확한 시뮬레이션을 제공합니다. 회사.
Helm.ai는 새로운 모델이 더 나은 AI 운전으로 이어진다고 말합니다.
Helm.ai에 따르면 VidGen-2는 다양한 지역, 카메라 유형 및 차량 관점에서 운전 장면 비디오를 생성합니다. 이 모델은 매우 사실적인 외관과 시간적으로 일관된 객체 움직임을 생성할 뿐만 아니라 인간과 유사한 운전 행동을 학습하고 재현하여 교통 규칙에 따라 자가 차량과 주변 에이전트의 움직임을 시뮬레이션합니다.
고속도로 및 도시 주행, 다양한 차량 유형, 보행자, 자전거 타는 사람, 교차로, 회전, 기상 조건 및 조명 변화를 포함한 광범위한 시나리오를 생성합니다. 다중 카메라 모드에서는 장면이 모든 관점에서 일관되게 생성됩니다.
Helm.ai는 “VidGen-2는 빠른 자산 생성을 가능하게 하고 시뮬레이션에 에이전트에 정교하고 실제적인 동작을 부여함으로써 기존의 비 AI 시뮬레이터에 비해 자동차 제조업체에 상당한 확장성 이점을 제공합니다.”라고 말했습니다. 회사는 개발 시간과 비용을 줄이는 것 외에도 자사 모델이 “시뮬레이션과 실제”의 격차를 줄여 시뮬레이션 기반 교육 및 검증 범위를 넓힐 수 있는 현실적이고 효율적인 방법을 제공한다고 주장했습니다.
Helm.ai의 공동 창립자이자 CEO인 Vladislav Voroninski는 “VidGen-2의 최신 개선 사항은 자율 주행 기술을 개발하는 자동차 제조업체의 복잡한 요구 사항을 충족하도록 설계되었습니다.”라고 말했습니다.
“이러한 발전을 통해 우리는 매우 현실적인 주행 시나리오를 생성하는 동시에 다양한 자동차 센서 스택과의 호환성을 보장할 수 있습니다.”라고 그는 덧붙였습니다. “VidGen-2의 개선 사항은 다른 기반 모델의 발전도 지원하여 자율 주행 및 로봇 자동화 분야의 향후 개발을 가속화할 것입니다.”
2016년에 설립된 Helm.ai는 “확장 가능한 자율 주행을 현실로 만들기 위해 AI 소프트웨어 개발을 재구상한다”고 말했습니다. 해당 제품에는 고속도로 및 도시 운전을 위한 심층 신경망, 엔드투엔드 자율 시스템, 딥 티칭 및 생성 AI로 구동되는 개발 및 검증 도구가 포함됩니다.
회사는 글로벌 기업과 협력하고 있습니다. 자동차 제조사 생산 관련 프로젝트에 대해.
게시물 Helm.ai, 자율 주행을 위한 향상된 비디오를 위한 VidGen-2 생성 AI 출시 처음 등장한 로봇 보고서.