로봇이 전에 본 적이 없는 환경에서 일을 하도록 하는 것은 까다롭습니다. 일반적으로 연구자들은 로봇이 마주치는 모든 새로운 장소에 대한 새로운 데이터로 로봇을 훈련해야 하며, 이는 매우 시간이 많이 걸리고 비용이 많이 들 수 있습니다.
이제 연구자들은 로봇이 추가 훈련이나 미세 조정 없이 새로운 환경에서 기본 작업을 완료하도록 가르치는 일련의 AI 모델을 개발했습니다. 로봇 유틸리티 모델(럼), 기계가 문과 서랍을 열고, 티슈, 가방, 원통형 물체를 집어 올리는 등 5가지 개별 작업을 익숙하지 않은 환경에서 90%의 성공률로 완료할 수 있도록 합니다.
뉴욕 대학교, Meta, 로봇 회사 Hello Robot의 연구자들로 구성된 이 팀은 그들의 발견이 로봇에게 새로운 기술을 가르치는 것을 더 빠르고 쉽게 만들고 이전에 보지 못했던 영역에서 로봇이 기능하도록 도울 수 있기를 바라고 있습니다. 이 접근 방식은 우리 집에 로봇을 배치하는 것을 더 쉽고 저렴하게 만들 수 있습니다.
“과거에 사람들은 ‘로봇이 모든 것을 하도록 하려면 어떻게 해야 할까?’라는 문제에 집중했지만, ‘로봇이 어디에서나 할 수 있는 일을 하도록 하려면 어떻게 해야 할까?’라는 질문은 실제로 하지 않았습니다.” 이 프로젝트에 참여한 뉴욕 대학교 박사과정 학생 마히 샤피울라의 말입니다. “우리는 ‘로봇에게 모든 문을 어디에서나 여는 법을 가르치는 방법은 무엇일까?’를 살펴보았습니다.”
로봇에게 새로운 기술을 가르치려면 일반적으로 다음이 필요합니다. 많은 데이터이는 얻기 꽤 어렵습니다. 로봇 훈련 데이터는 물리적으로 수집해야 하기 때문에(시간이 많이 걸리고 비용이 많이 드는 작업) 로봇을 위한 훈련 데이터베이스를 구축하고 확장하는 것은 인터넷에서 스크래핑한 정보로 훈련되는 대규모 언어 모델과 같은 유형의 AI보다 훨씬 어렵습니다.
로봇에게 새로운 기술을 가르치는 데 필수적인 데이터를 더 빨리 수집하기 위해 연구원들은 이전에 사용했던 도구의 새로운 버전을 개발했습니다. 이전 연구: 쓰레기를 줍는 데 주로 사용하는 값싼 리치 그래버 스틱에 부착된 아이폰.
이 팀은 이 설정을 사용하여 뉴욕시와 저지시티의 주택을 포함한 40개의 서로 다른 환경에서 5가지 과제 각각에 대해 약 1,000개의 시범을 녹화했습니다. 이 중 일부는 이전 연구의 일부로 수집되었습니다. 그런 다음 5개의 데이터 세트에서 학습 알고리즘을 훈련하여 5개의 RUM 모델을 만들었습니다.
이 모델은 바퀴 달린 장치, 높은 기둥, iPhone을 든 접이식 팔로 구성된 로봇인 Stretch에 배치되어 추가 조정 없이 새로운 환경에서 작업을 얼마나 성공적으로 수행할 수 있는지 테스트했습니다. 완료율은 74.4%였지만 연구자들은 iPhone과 로봇의 헤드 마운트 카메라에서 이미지를 촬영하여 OpenAI의 최근 GPT-4o LLM 모델에 제공하고 작업이 성공적으로 완료되었는지 물었을 때 성공률을 90%로 높일 수 있었습니다. GPT-4o가 아니라고 말하면 로봇을 재설정하고 다시 시도했습니다.
로봇공학자들이 직면한 큰 과제는 실험실 환경에서 모델을 훈련하고 테스트하는 것이 현실 세계에서 일어날 수 있는 일을 대표할 수 없다는 점입니다. 즉, 새로운 환경에서 기계가 더 안정적으로 작동하도록 돕는 연구가 매우 환영받는다고 로봇 조작을 전문으로 하는 연구 과학자인 모히트 쉬리다르는 말합니다. 그는 이 연구에 참여하지 않았습니다.
“이렇게 다양한 가정과 주방에서 로봇이 평가받는 것을 보는 건 기쁜 일입니다. 무작위의 집에서 로봇이 실제로 일할 수 있게 한다면, 그것이 로봇 공학의 진정한 목표이니까요.”라고 그는 말합니다.
샤피울라는 이 프로젝트가 다른 작업을 위한 다른 유틸리티 로봇 모델을 구축하기 위한 일반적인 레시피로 활용될 수 있으며, 최소한의 추가 작업으로 로봇에 새로운 기술을 가르치고 로봇 기술자가 아닌 사람들도 나중에 집에서 로봇을 배치하기 쉽게 만들 수 있다고 말합니다.
“저희가 이루고자 하는 꿈은 제가 무언가를 훈련시키고 인터넷에 올리면 사람들이 집에 있는 로봇에서 그것을 다운로드하여 실행할 수 있다는 것입니다.”라고 그는 말합니다.