연구원 인텔 연구소는 학계 및 업계 전문가와 협력하여 희박한 다중 모드 입력에서 현실적이고 지시 가능한 인간 동작을 생성하는 획기적인 기술을 도입했습니다. 그들의 작업이 강조되었습니다. 컴퓨터 비전에 관한 유럽 회의 (ECCV 2024)는 고차원 휴머노이드 캐릭터에서 자연스럽고 물리적 기반의 인간 행동을 생성하는 과제를 극복하는 데 중점을 둡니다. 이 연구는 컴퓨터 비전과 기계 학습을 발전시키기 위한 Intel Labs의 광범위한 이니셔티브의 일부입니다.
인텔 연구소와 파트너가 최근 발표한 내용 ECCV 2024의 최신 논문 6편주최한 최고의 컨퍼런스 유럽 컴퓨터 비전 협회 (ECVA).
종이 다중 모드 입력에서 물리적으로 현실적이고 지시 가능한 인간 동작 생성 프롬프트 기반 레드팀 공격으로부터 텍스트-이미지 모델을 보호하기 위한 새로운 방어 전략과 이러한 모델의 공간적 일관성을 향상하도록 설계된 대규모 데이터 세트 개발을 포함한 혁신을 선보였습니다. 이러한 기여 중에서 이 백서는 생성 모델링을 발전시키는 동시에 우선순위를 정하는 Intel의 헌신을 강조합니다. 책임감 있는 AI 관행.
다중 모드 입력을 사용하여 사실적인 인간 동작 생성
인텔의 MHC(Masked Humanoid Controller)는 시뮬레이션된 물리 환경에서 인간과 유사한 동작을 생성하도록 설계된 획기적인 시스템입니다. 완전히 상세한 모션 캡처 데이터에 크게 의존하는 기존 방법과 달리 MHC는 다양한 소스의 희박하고 불완전하거나 부분적인 입력 데이터를 처리하도록 제작되었습니다. 이러한 소스에는 손이나 머리의 움직임만 추적할 수 있는 VR 컨트롤러가 포함될 수 있습니다. 높은 수준의 탐색 명령만 제공하는 조이스틱 입력; 특정 신체 부위가 가려질 수 있는 비디오 추적 또는 텍스트 프롬프트에서 파생된 추상 지침도 있습니다.
기술의 혁신은 데이터가 누락되거나 불완전한 격차를 해석하고 채우는 능력에 있습니다. 이는 Intel이 말하는 것을 통해 이를 달성합니다. 따라잡기, 결합, 완성(CCC) 기능:
- 케첩: 이 기능을 사용하면 추락한 인간형 캐릭터처럼 시스템이 실패한 상태에서 시작되는 등 중단이 발생할 때 MHC가 모션을 복구하고 재동기화할 수 있습니다. 시스템은 재교육이나 수동 조정 없이 빠르게 움직임을 수정하고 자연스러운 움직임을 재개할 수 있습니다.
- 결합하다: MHC는 한 동작(예: 손 흔들기)의 상체 움직임과 다른 동작(예: 걷기)의 하체 동작을 병합하는 등 다양한 모션 시퀀스를 함께 혼합할 수 있습니다. 이러한 유연성을 통해 기존 모션 데이터에서 완전히 새로운 동작을 생성할 수 있습니다.
- 완벽한: 부분적인 신체 움직임 데이터나 모호한 상위 수준 지시어와 같은 희박한 입력이 주어지면 MHC는 모션의 누락된 부분을 지능적으로 추론하고 생성할 수 있습니다. 예를 들어, 팔 움직임만 지정된 경우 MHC는 신체적 균형과 현실감을 유지하기 위해 해당 다리 모션을 자동으로 생성할 수 있습니다.
그 결과, 불완전하거나 지정되지 않은 지시가 있어도 부드럽고 현실적이며 물리적으로 정확한 움직임을 생성할 수 있는 적응력이 뛰어난 모션 생성 시스템이 탄생했습니다. 이로 인해 MHC는 게임, 로봇 공학, 가상 현실 및 고품질의 인간과 유사한 모션이 필요하지만 입력 데이터가 제한되는 모든 시나리오의 애플리케이션에 이상적입니다.
생성 모션 모델에 대한 MHC의 영향
MHC(마스크드 휴머노이드 컨트롤러)는 텍스트를 이미지로 변환하는 모델을 포함하여 생성 모델을 책임감 있게 구축하려는 인텔 연구소와 협력업체의 광범위한 노력의 일부입니다. 3D 생성 작업. ECCV 2024에서 논의된 것처럼 이 접근 방식은 현실적인 인간 동작 생성이 중요한 로봇 공학, 가상 현실, 게임, 시뮬레이션과 같은 산업에 중요한 영향을 미칩니다. 다중 모드 입력을 통합하고 컨트롤러가 동작 간을 원활하게 전환할 수 있도록 함으로써 MHC는 센서 데이터에 잡음이 많거나 불완전할 수 있는 실제 조건을 처리할 수 있습니다.
Intel Labs의 이 연구는 텍스트-이미지 모델에 대한 새로운 방어, 이미지 생성의 공간적 일관성을 향상시키는 기술 개발 등 ECCV 2024에서 발표된 다른 고급 연구와 나란히 있습니다. 이러한 발전은 안전하고 확장 가능하며 책임감 있는 AI 기술 개발에 중점을 두고 컴퓨터 비전 분야에서 인텔의 리더십을 보여줍니다.
결론
인텔 연구소와 학술 협력자들이 개발한 MHC(마스크드 휴머노이드 컨트롤러)는 인간 모션 생성 분야에서 중요한 진전을 나타냅니다. MHC는 다중 모드 입력에서 사실적인 움직임을 생성하는 복잡한 제어 문제를 해결함으로써 VR, 게임, 로봇 공학 및 시뮬레이션 분야의 새로운 애플리케이션을 위한 길을 열어줍니다. ECCV 2024에서 소개된 이 연구는 책임 있는 AI 및 생성 모델링을 발전시켜 다양한 영역에 걸쳐 보다 안전하고 적응력이 뛰어난 기술에 기여하려는 인텔의 노력을 보여줍니다.
게시물 인텔의 마스크 휴머노이드 컨트롤러: 물리적으로 현실적이고 지시 가능한 인간 모션 생성에 대한 새로운 접근 방식 처음 등장한 Unite.AI.
