3D 인쇄 로봇 암은 임의의 움직임과 단일 카메라를 사용하여 훈련 할 때 연필을 보유하고 있습니다. 신경 자코비아 필드 (NJF)라는 새로운 제어 시스템의 일부입니다. NJF는 센서 나 수작업 모델에 의존하지 않고 로봇은 시각적 관찰에서 순전히 모터 명령에 반응하여 신체가 어떻게 움직이는지를 배울 수 있도록하여보다 유연하고 저렴하며 자체적으로 인식적인 로봇으로가는 경로를 제공합니다. | 크레딧 : MIT
MIT의 컴퓨터 과학 및 인공 지능 실험실 (CSAIL)의 사무실에서 부드러운 로봇 손은 손가락을 조심스럽게 말려 작은 물건을 잡습니다. 흥미로운 부분은 기계식 설계 또는 내장 센서가 아닙니다. 실제로 손에는 아무것도 포함되어 있습니다. 대신 전체 시스템은 로봇의 움직임을보고 해당 시각적 데이터를 사용하여 제어하는 단일 카메라에 의존합니다.
이 기능은 새로운 시스템에서 비롯됩니다 CSAIL 과학자들은 로봇 제어에 대한 다른 관점을 제공하여 개발했습니다. 손으로 디자인 된 모델 또는 복잡한 센서 어레이를 사용하는 대신 로봇은 시력을 통해서만 신체가 제어 명령에 어떻게 반응하는지 배울 수 있습니다. NJF (Neural Jacobian Fields)라고 불리는이 접근법은 로봇에게 일종의 신체적 자기 인식을 제공합니다. 작품에 대한 공개 액세스 논문이 발표되었습니다 자연 6 월 25 일.
“이 작업은 프로그래밍 로봇에서 로봇 교육으로 전환하는 것을 지적합니다. 작업에 대한 리드 연구원. “오늘날 많은 로봇 공학 작업에는 광범위한 엔지니어링 및 코딩이 필요합니다. 앞으로는 로봇을 보여주는 작업을 보여주고 목표를 자율적으로 달성하는 방법을 배우게합니다.”
동기는 단순하지만 강력한 재구성에서 비롯됩니다. 저렴하고 유연한 로봇 공학의 주요 장벽은 하드웨어가 아니며 여러 가지 방식으로 달성 할 수있는 기능을 제어합니다. 전통적인 로봇은 단단하고 센서가 풍부하도록 제작되어 제어에 사용되는 정확한 수학적 복제품 인 디지털 트윈을보다 쉽게 구성 할 수 있습니다. 그러나 로봇이 부드럽거나 변형 가능하거나 불규칙적 인 형태 인 경우 이러한 가정은 분리됩니다. 로봇이 모델과 일치하도록 강요하는 대신 NJF는 스크립트를 뒤집어 로봇에게 자신의 내부 모델을 관찰하여 자신의 내부 모델을 배울 수있는 기능을 제공합니다.
보고 배우십시오
이 모델링 및 하드웨어 설계의 디퍼링은 로봇 공학의 설계 공간을 크게 확장 할 수 있습니다. 부드럽고 바이오에서 영감을 얻은 로봇에서 디자이너는 종종 모델링을 실현하기 위해 센서를 포함 시키거나 구조물의 일부를 강화합니다. NJF는 그 구속 조건을 들어 올립니다. 시스템은 제어를 가능하게하기 위해 온보드 센서 나 설계 조정이 필요하지 않습니다. 디자이너들은 나중에 모델을 모델링 할 수 있는지 걱정하지 않고 전통적이고 제한되지 않은 형태를 탐색하는 것이 더 자유 롭습니다.
Li는“손가락을 제어하는 법을 배우는 방법에 대해 생각해보십시오 : 당신은 흔들리고, 관찰하고, 적응합니다. “그것이 우리 시스템이하는 일입니다. 그것은 임의의 행동으로 실험하고 어떤 제어가 로봇의 어떤 부분을 움직이는 지 알아냅니다.”
이 시스템은 다양한 로봇 유형에서 강력한 것으로 입증되었습니다. 이 팀은 압축 및 파악할 수있는 공압 소프트 로봇 손으로 NJF를 테스트했습니다. 모든 경우에, 시스템은 로봇의 모양과 시력과 임의의 움직임으로 제어 신호에 어떻게 반응했는지를 모두 배웠습니다.
연구원들은 실험실을 훨씬 뛰어 넘는 잠재력을 본다. NJF가 장착 된 로봇은 언젠가는 공연 할 수 있습니다 농업 과제 센티미터 수준의 현지화 정확도를 사용하여 정교한 센서 어레이없이 건설 현장에서 작동하거나 전통적인 방법이 분해되는 동적 환경을 탐색합니다.
초기 새 할인으로 지금 저장하십시오
NJF의 핵심에는 로봇 실시 예의 두 가지 얽힌 측면을 포착하는 신경망이 있습니다 : 3 차원 기하학과 제어 입력에 대한 민감도. 이 시스템은 공간 좌표를 색상 및 밀도 값으로 매핑하여 이미지에서 3D 장면을 재구성하는 기술인 NERF (Neural Radiance Fields)를 기반으로합니다. NJF는 로봇의 모양뿐만 아니라 야만식 필드를 학습 함으로써이 접근법을 연장합니다.
모델을 훈련시키기 위해 로봇은 임의의 동작을 수행하는 반면 여러 카메라가 결과를 기록합니다. 로봇 구조에 대한 인간의 감독 또는 사전 지식이 필요하지 않습니다. 시스템은 단순히 시청을 통해 제어 신호와 움직임 사이의 관계를 유추합니다.
훈련이 완료되면 로봇은 실시간 폐쇄 루프 제어를위한 단일 단안 카메라 만 필요하며 약 12 Hertz에서 실행됩니다. 이를 통해 스스로를 지속적으로 관찰하고, 계획하고, 반응 적으로 행동 할 수 있습니다. 이러한 속도로 인해 NJF는 소프트 로봇의 많은 물리 기반 시뮬레이터보다 더 실용적으로 만들어지며, 이는 종종 실시간 사용에 비해 계산 집약적입니다.
초기 시뮬레이션에서는 간단한 2D 손가락과 슬라이더조차도 몇 가지 예제를 사용 하여이 매핑을 배울 수있었습니다. NJF는 조치에 대한 응답으로 특정 포인트가 어떻게 변형되거나 이동하는지 모델링함으로써 조밀 한 제어 가능성 맵을 구축합니다. 이 내부 모델을 사용하면 데이터가 시끄럽거나 불완전한 경우에도 로봇 본문의 움직임을 일반화 할 수 있습니다.
Li는“정말 흥미로운 점은 시스템이 어떤 모터가 로봇의 어떤 부분을 제어하는지 자체적으로 파악한다는 것입니다. “이것은 프로그래밍되지 않습니다. 새로운 장치의 버튼을 발견하는 사람과 마찬가지로 학습을 통해 자연스럽게 나타납니다.”
미래는 부드럽습니다
로봇 공학은 수십 년 동안 공장에서 발견되는 산업용 무기와 같이 단단하고 쉽게 모델링 된 기계를 선호해 왔습니다. 그러나이 분야는 실제 세계에 더 유동적으로 적응할 수있는 부드럽고 바이오에서 영감을 얻은 로봇으로 이동하고 있습니다. 트레이드 오프? 이 로봇은 모델링하기가 더 어렵습니다.
“로봇 공학은 비용이 많이 드는 센서와 복잡한 프로그래밍으로 인해 종종 도달 할 수없는 느낌이 듭니다. 신경 자코비아 필드의 우리의 목표는 장벽을 낮추고 로봇 공학을 저렴하고 적응력이 풍부하며 더 많은 사람들이 접근 할 수 있도록하는 것입니다. 비전은 탄력적이고 신뢰할 수있는 센서입니다. “비싼 인프라없이 농장에서 건설 현장에 이르기까지 지저분하고 구조화되지 않은 환경에서 작동 할 수있는 로봇의 문을 열어줍니다.”
“비전만으로도 현지화 및 제어에 필요한 신호를 제공 할 수 있습니다. GP, 외부 추적 시스템 또는 복잡한 온보드 센서의 필요성을 제거합니다. 이로 인해 구조화되지 않은 환경에서 구조화되지 않은 환경에서 강력하고 적응력있는 행동의 문을 열어 실내 또는 지하의 모바일 조작기를 탐색하지 않고 모바일 조작물을 탐색하지 않고 통합 된 로봇을 통한 로봇을 통한 로봇을 사용하지 않습니다.” RUS, 전기 공학 및 컴퓨터 과학의 MIT 교수 및 CSAIL 책임자. “시각적 피드백을 통해 이러한 시스템은 자체 운동과 역학의 내부 모델을 개발하여 전통적인 현지화 방법이 실패 할 수있는 유연하고 자체 감독 된 작업을 가능하게합니다.”
NJF 교육에는 현재 여러 카메라가 필요하며 각 로봇마다 다시 작성해야하지만 연구원들은 이미 더 접근하기 쉬운 버전을 상상하고 있습니다. 앞으로 애호가들은 운전하기 전에 렌터카의 비디오를 찍는 것처럼 휴대 전화로 로봇의 무작위 움직임을 녹음 할 수 있었고,이 영상을 사용하여 사전 지식이나 특수 장비가 필요하지 않은 제어 모델을 만들었습니다.
이 시스템은 아직 다른 로봇에 걸쳐 일반화되지 않으며 힘이나 촉각 감지가 부족하여 접촉이 풍부한 작업에 대한 효과를 제한합니다. 그러나 팀은 일반화 개선, 폐색 처리 및 더 긴 공간 및 시간적 지평을 통해 모델의 추론 능력을 확장하는 이러한 제한 사항을 해결하는 새로운 방법을 모색하고 있습니다.
Li는“인간이 자신의 신체가 어떻게 움직이고 명령에 반응하는지에 대한 직관적 인 이해를 발전시키는 것처럼 NJF는 로봇에게 비전만으로도 자신의 인식을 구현 한 자기 인식을 제공합니다. “이 이해는 실제 환경에서 유연한 조작 및 제어를위한 기초입니다. 우리의 작업은 본질적으로 로봇 공학의 광범위한 추세를 반영합니다. 관찰과 상호 작용을 통해 로봇을 가르치는 세부 모델을 수동으로 프로그래밍하는 것을 멀리하십시오.”
편집자 주 : 이 기사는 MIT News에서 재 게시되었습니다.
게시물 MIT Vision System은 로봇에게 신체를 이해하도록 가르칩니다 먼저 나타났습니다 로봇 보고서.