MIT CSAIL의 새로운 비전 시스템은 로봇이 자신의 신체를 이해하도록 도와줍니다.

“이 작업은 프로그래밍 로봇에서 로봇 교육으로 전환하는 것을 지적합니다. MIT CSAIL의 학생. “오늘날 많은 로봇 공학 작업에는 광범위한 엔지니어링 및 코딩이 필요합니다. 앞으로는 로봇을 보여주는 작업을 보여주고 목표를 자율적으로 달성하는 방법을 배우게합니다.”

MIT는 로봇을보다 유연하고 저렴하게 만들려고합니다

과학자들은 그들의 동기 부여가 간단한 재구성에서 비롯된 것이라고 말했다. 저렴하고 유연한 로봇 공학의 주요 장벽은 하드웨어가 아니며, 능력을 제어하는 ​​것은 여러 가지 방식으로 달성 될 수있다. 전통적인 로봇은 단단하고 감지기-Rich, 제어에 사용되는 정확한 수학적 복제품 인 디지털 트윈을보다 쉽게 ​​구성 할 수 있습니다.

그러나 로봇이 부드럽거나 변형 가능하거나 불규칙적 인 형태 인 경우 이러한 가정은 분리됩니다. NJF는 로봇이 일부 모델과 일치하도록 강요하는 대신 자신의 내부 모델을 관찰하여 자신의 내부 모델을 배울 수있는 능력을 제공함으로써 스크립트를 뒤집습니다.

이 모델링 및 하드웨어 설계의 디퍼링은 로봇 공학의 설계 공간을 크게 확장 할 수 있습니다. 부드럽고 바이오에서 영감을 얻은 로봇에서 디자이너는 종종 모델링을 실현하기 위해 센서를 포함 시키거나 구조물의 일부를 강화합니다.

MIT CSAIL 팀은 NJF가 그 제약을 해제한다고 말했다. 시스템은 제어를 가능하게하기 위해 온보드 센서 나 설계 조정이 필요하지 않습니다. 디자이너들은 나중에 모델을 모델링 할 수 있는지 걱정하지 않고 독창적이고 제한되지 않은 형태를 탐구하는 것이 더 자유 롭다고 주장했다.

Li는“손가락을 제어하는 ​​법을 배우는 방법에 대해 생각해보십시오 : 당신은 흔들리고, 관찰하고, 적응합니다. “그것이 우리 시스템이하는 일입니다. 그것은 임의의 행동으로 실험하고 어떤 제어가 로봇의 어떤 부분을 움직이는 지 알아냅니다.”

이 시스템은 다양한 로봇 유형에서 강력한 것으로 입증되었습니다. 팀은 공압에서 NJF를 테스트했습니다 부드러운 로봇 손을 꼬집고 파악할 수있는 로봇 손, 단단한 알리그로 손, 3D 프린트 로봇 암, 심지어 내장 센서가없는 회전 플랫폼까지. 모든 경우에 시스템은 로봇의 모양과 제어 신호에 어떻게 반응했는지를 모두 배웠습니다. 비전 그리고 임의의 움직임.

초기 새 할인으로 지금 저장하십시오

NJF에는 잠재적 인 실제 응용 프로그램이 있습니다

MIT CSAIL 연구원들은 그들의 접근 방식이 실험실을 훨씬 뛰어 넘는 잠재력을 가지고 있다고 말했다. NJF가 장착 된 로봇은 언젠가는 공연 할 수 있습니다 농업 센티미터 수준의 현지화 정확도가있는 작업이 작동합니다 건설 정교한 센서 어레이가없는 사이트 또는 전통적인 방법이 분해되는 동적 환경을 탐색합니다.

NJF의 핵심에는 로봇 실시 예의 두 가지 얽힌 측면을 포착하는 신경망이 있습니다 : 3 차원 기하학과 제어 입력에 대한 민감도. 이 시스템은 공간 좌표를 색상 및 밀도 값으로 매핑하여 이미지에서 3D 장면을 재구성하는 기술인 NERF (Neural Radiance Fields)를 기반으로합니다. NJF는 로봇의 모양뿐만 아니라 야만식 필드를 학습 함으로써이 접근법을 연장합니다.

모델을 훈련시키기 위해 로봇은 임의의 동작을 수행하는 반면 여러 카메라가 결과를 기록합니다. 로봇 구조에 대한 인간의 감독 또는 사전 지식이 필요하지 않습니다. 시스템은 단순히 시청을 통해 제어 신호와 움직임 사이의 관계를 유추합니다.

훈련이 완료되면 로봇은 실시간 폐쇄 루프 제어를위한 단일 단안 카메라 만 필요하며 약 12 ​​Hertz에서 실행됩니다. 이를 통해 스스로를 지속적으로 관찰하고, 계획하고, 반응 적으로 행동 할 수 있습니다. 이러한 속도로 인해 NJF는 소프트 로봇의 많은 물리 기반 시뮬레이터보다 더 실용적으로 만들어지며, 이는 종종 실시간 사용에 비해 계산 집약적입니다.

일찍 시뮬레이션간단한 2D 손가락과 슬라이더조차도 몇 가지 예제를 사용 하여이 매핑을 배울 수 있다고 과학자들은 지적했습니다. NJF는 조치에 대한 응답으로 특정 포인트가 어떻게 변형되거나 이동하는지 모델링함으로써 조밀 한 제어 가능성 맵을 구축합니다. 이 내부 모델을 사용하면 데이터가 시끄럽거나 불완전한 경우에도 로봇 본문의 움직임을 일반화 할 수 있습니다.

Li는“정말 흥미로운 점은 시스템이 어떤 모터가 로봇의 어떤 부분을 제어하는지 자체적으로 파악한다는 것입니다. “이것은 프로그래밍되지 않습니다. 새로운 장치에서 버튼을 발견하는 사람과 마찬가지로 학습을 통해 자연스럽게 나타납니다.”

Csail은 로봇 공학의 미래는 부드럽다 고 말했다

수십 년 동안 로봇 공학은 산업 무기는 공장에서 발견되었습니다 – 그들의 특성은 제어를 단순화하기 때문에. 그러나이 분야는 실제 세계에 더 유동적으로 적응할 수있는 부드럽고 바이오에서 영감을 얻은 로봇으로 이동하고 있습니다. 트레이드 오프? MIT CSAIL에 따르면이 로봇은 모델링하기가 더 어렵다고합니다.

수석 저자이자 MIT 조교수 인 Vincent Sitzmann은“오늘날 로봇 공학은 비용이 많이 드는 센서와 복잡한 프로그래밍으로 인해 종종 손이 닿지 않는 느낌이 듭니다. “신경 자코비아 필드의 우리의 목표는 장벽을 낮추어 로봇 공학을 저렴하고 적응 가능하며 더 많은 사람들이 접근 할 수 있도록하는 것입니다.”

“Vision은 탄력적이고 신뢰할 수있는 센서입니다.”라고 Sitzmann은 장면 대표 그룹을 이끌고 있습니다. “비싼 인프라없이 농장에서 건설 현장에 이르기까지 지저분하고 구조화되지 않은 환경에서 작동 할 수있는 로봇의 문을 열어줍니다.”

Erna Viterbi 전기 공학 교수 및 MIT CSAIL의 Erna Viterbi 교수 인 Daniela Rus는“비전만으로도 현지화 및 제어에 필요한 신호를 제공 할 수 있습니다.

“이것은 구조화되지 않은 환경에서 강력하고 적응적인 행동의 문을 열어줍니다. 드론 지도없이 실내 또는 지하 탐색 모바일 조작기 어수선한 집에서 일하거나 창고심지어도 다리 로봇 그녀는 고르지 않은 지형을 가로 지르며 시각적 피드백을 통해 이러한 시스템은 자체 운동과 역학의 내부 모델을 개발하여 전통적인 현지화 방법이 실패 할 수있는 유연하고 자체 감독 된 운영을 가능하게합니다. “

NJF 교육에는 현재 여러 카메라가 필요하며 각 로봇마다 다시 작성해야하지만 연구원은 이미 더 접근하기 쉬운 버전을 고려했습니다. 앞으로 애호가들은 운전하기 전에 렌터카의 비디오를 찍는 것처럼 휴대 전화로 로봇의 무작위 움직임을 녹음 할 수 있었고,이 영상을 사용하여 사전 지식이나 특수 장비가 필요하지 않은 제어 모델을 만들었습니다.

MIT 팀은 시스템의 한계에 대해 작업합니다

NJF 시스템은 아직 다른 로봇에 걸쳐 일반화되지 않으며 힘이 부족하거나 촉각 연락처가 풍부한 작업에 대한 효과를 감지합니다. 그러나 팀은 일반화 개선, 폐색 취급, 더 긴 공간 및 시간적 지평에 대한 모델의 추론 능력을 확장하는 등 이러한 제한 사항을 해결하는 새로운 방법을 모색하고 있습니다.

Li는“인간이 자신의 신체가 어떻게 움직이고 명령에 반응하는지에 대한 직관적 인 이해를 발전시키는 것처럼 NJF는 로봇에게 비전만으로도 자신의 인식을 구현 한 자기 인식을 제공합니다. “이 이해는 실제 환경에서 유연한 조작 및 제어를위한 기초입니다. 우리의 작업은 본질적으로 로봇 공학의 광범위한 추세를 반영합니다. 관찰과 상호 작용을 통해 로봇을 가르치는 세부 모델을 수동으로 프로그래밍하는 것을 멀리하십시오.”

이 논문은 교장 조사관 Sitzmann의 실험실과 Rus의 실험실의 소프트 로봇에 대한 전문 지식의 컴퓨터 비전 및 자체 감독 학습 작업을 수집했습니다. Li, Sitzmann 및 Rus는 CSAIL Ph.D와 함께 논문을 공동 저술했습니다. 학생들은 Annan Zhang SM ’22와 Boyuan Chen, 학부 연구원 Hanna Matusik 및 Postdoc Chao Liu.

이 연구는 MIT의 연구 지원위원회, MIT 대통령 친교, 국립 과학 재단 및 방주 과학 기술 연구소를 통해 솔로몬 부크 바움 연구 기금의 지원을 받았습니다. 그들의 결과 출판되었습니다 자연 이번 달.