자율 주행차(AV)가 널리 채택될 가능성이 높아지면서, 인간 승객과 로봇 운전기사 간의 의사소통 격차를 메우는 중요한 과제가 남았습니다. AV는 복잡한 도로 환경을 탐색하는 데 있어 놀라운 진전을 이루었지만, 인간 운전자에게 매우 쉽게 전달되는 섬세하고 자연스러운 언어 명령을 해석하는 데 어려움을 겪는 경우가 많습니다.
입력하세요 혁신적인 연구 퍼듀 대학교의 Lyles School of Civil and Construction Engineering에서. Ziran Wang 조교수가 이끄는 엔지니어 팀은 인공 지능을 사용하여 AV-인간 상호 작용을 향상시키는 혁신적인 접근 방식을 개척했습니다. 그들의 솔루션은 ChatGPT와 같은 대규모 언어 모델(LLM)을 자율 주행 시스템에 통합하는 것입니다.’
AV에서 자연어의 힘
LLM은 AI가 인간과 유사한 텍스트를 이해하고 생성하는 능력에서 큰 진전을 이룹니다. 이러한 정교한 AI 시스템은 방대한 양의 텍스트 데이터로 훈련되어 기존의 프로그래밍된 응답으로는 파악할 수 없는 방식으로 맥락, 뉘앙스, 암시된 의미를 파악할 수 있습니다.
자율 주행차의 맥락에서 LLM은 혁신적인 기능을 제공합니다. 특정 음성 명령이나 버튼 입력에 의존하는 기존 AV 인터페이스와 달리 LLM은 광범위한 자연어 지침을 해석할 수 있습니다. 즉, 승객은 인간 운전자와 거의 같은 방식으로 차량과 소통할 수 있습니다.
AV 통신 기능의 향상은 상당합니다. 자동차에 “늦어가고 있어”라고 말하고 가장 효율적인 경로를 자동으로 계산하고 주행 스타일을 조정하여 이동 시간을 안전하게 최소화하는 것을 상상해 보세요. 또는 “약간 멀미가 난다”고 말하여 차량이 더 부드러운 주행을 위해 모션 프로필을 조정하도록 하는 기능을 고려해 보세요. 인간 운전자가 직관적으로 이해하는 이러한 미묘한 상호 작용은 LLM을 통합하여 AV에서 가능해집니다.
퍼듀 대학교 조교수 지란 왕이 그와 그의 학생들이 승객의 명령을 ChatGPT나 다른 대규모 언어 모델을 사용하여 해석하도록 장비한 테스트 자율 주행차 옆에 서 있습니다. (퍼듀 대학교 사진/존 언더우드)
퍼듀 연구: 방법론 및 결과
자율 주행차에서 LLM의 잠재력을 테스트하기 위해 퍼듀팀은 SAE International에서 정의한 완전 자율 주행에서 단 한 단계 떨어진 레벨 4 자율 주행차를 사용하여 일련의 실험을 수행했습니다.
연구자들은 ChatGPT가 “더 빨리 운전해 주세요”와 같은 직접적인 지시부터 “지금 멀미가 좀 나요”와 같은 간접적인 요청에 이르기까지 다양한 명령에 응답하도록 훈련하는 것으로 시작했습니다. 그런 다음 이 훈련된 모델을 차량의 기존 시스템과 통합하여 명령을 해석할 때 교통 규칙, 도로 상황, 날씨, 센서 데이터와 같은 요소를 고려할 수 있도록 했습니다.
실험 설정은 엄격했습니다. 대부분의 테스트는 인디애나주 콜럼버스의 시험장에서 수행되었습니다. 이곳은 안전한 고속 테스트를 가능하게 한 전 공항 활주로였습니다. 추가 주차 테스트는 퍼듀의 로스-에이드 경기장 부지에서 수행되었습니다. 실험 내내 LLM 지원 AV는 승객의 사전 학습 명령과 새로운 명령에 모두 반응했습니다.
결과는 유망했습니다. 참가자들은 LLM 지원 없이 레벨 4 AV에서 일반적인 경험과 비교했을 때 상당히 낮은 불편함 비율을 보고했습니다. 차량은 명확하게 훈련되지 않은 명령에 응답할 때에도 기준 안전 및 편안함 지표를 지속적으로 능가했습니다.
아마도 가장 인상적인 점은 이 시스템이 주행 중에 개별 승객의 선호도를 학습하고 적응할 수 있는 능력을 보여주어 진정으로 개인화된 자율 주행 운송의 잠재력을 보여주었다는 것입니다.
퍼듀 박사과정 학생인 캔 쿠이가 시험용 자율 주행차에 앉아 있습니다. 콘솔의 마이크가 그의 명령을 수집하고, 클라우드의 대규모 언어 모델이 이를 해석합니다. 차량은 대규모 언어 모델에서 생성된 지침에 따라 주행합니다. (퍼듀 대학교 사진/존 언더우드)
교통의 미래에 대한 의미
사용자에게는 여러 가지 이점이 있습니다. AV와 자연스럽게 소통할 수 있는 능력은 새로운 기술과 관련된 학습 곡선을 줄여 복잡한 인터페이스에 겁을 먹을 수 있는 사람들을 포함하여 더 광범위한 사람들이 자율 주행차에 더 쉽게 접근할 수 있게 합니다. 게다가 Purdue 연구에서 입증된 개인화 기능은 AV가 개별 선호도에 적응하여 각 승객에게 맞춤형 경험을 제공할 수 있는 미래를 시사합니다.
이러한 개선된 상호작용은 안전성도 향상시킬 수 있습니다. 승객의 의도와 상태를 더 잘 이해함으로써(예: 누군가가 서두르거나 기분이 좋지 않을 때를 인식하는 것) AV는 운전 행동을 그에 따라 조정하여 오해나 승객의 불편함으로 인한 사고를 줄일 수 있습니다.
산업 관점에서 이 기술은 경쟁적인 AV 시장에서 핵심 차별화 요소가 될 수 있습니다. 보다 직관적이고 반응성이 뛰어난 사용자 경험을 제공할 수 있는 제조업체는 상당한 우위를 얻을 수 있습니다.
도전과 미래 방향
유망한 결과에도 불구하고 LLM 통합 AV가 공공 도로에서 현실이 되기까지는 몇 가지 과제가 남아 있습니다. 핵심 문제 중 하나는 처리 시간입니다. 현재 시스템은 명령을 해석하고 응답하는 데 평균 1.6초가 걸립니다. 중요하지 않은 시나리오에서는 수용 가능하지만 빠른 대응이 필요한 상황에서는 잠재적으로 문제가 될 수 있습니다.
또 다른 중요한 우려 사항은 LLM이 명령을 “환각”하거나 오해할 가능성입니다. 이 연구에서는 이러한 위험을 완화하기 위한 안전 메커니즘을 통합했지만, 이 문제를 포괄적으로 다루는 것은 실제 구현에 매우 중요합니다.
앞으로 Wang의 팀은 추가 연구를 위한 여러 가지 방안을 모색하고 있습니다. 그들은 Google의 Gemini와 Meta의 Llama AI 조수를 포함한 다른 LLM을 평가하여 성능을 비교하고 있습니다. 예비 결과에 따르면 ChatGPT는 현재 안전성과 효율성 지표에서 다른 LLM보다 우수한 것으로 나타났지만, 곧 공개된 결과가 나올 예정입니다.
흥미로운 미래 방향은 LLM을 사용한 차량 간 통신의 잠재력입니다. 이를 통해 AV가 교차로에서 통행권을 협상하는 것과 같이 보다 정교한 교통 관리가 가능해질 수 있습니다.
또한, 이 팀은 중서부에서 흔한 극한의 겨울 날씨 조건을 AV가 탐색할 수 있도록 돕기 위해 텍스트가 아닌 이미지로 훈련된 AI 시스템인 대형 비전 모델을 연구하는 프로젝트에 착수하고 있습니다. Center for Connected and Automated Transportation의 지원을 받은 이 연구는 자율 주행차의 적응성과 안전성을 더욱 향상시킬 수 있습니다.
결론
퍼듀 대학의 대규모 언어 모델을 자율 주행차와 통합하는 획기적인 연구는 교통 기술의 중요한 순간을 나타냅니다. 이 혁신은 보다 직관적이고 반응성이 뛰어난 인간-AV 상호 작용을 가능하게 함으로써 AV 도입의 중요한 과제를 해결합니다. 처리 속도 및 잠재적 오해와 같은 장애물이 남아 있지만, 이 연구의 유망한 결과는 차량과의 통신이 인간 운전자와 대화하는 것처럼 자연스러울 수 있는 미래를 위한 길을 열어줍니다. 이 기술이 발전함에 따라 우리가 여행하는 방식뿐만 아니라 일상 생활에서 인공 지능을 인식하고 상호 작용하는 방식에도 혁명을 일으킬 잠재력이 있습니다.
게시물 LLM 자동차: 인간-AV 커뮤니케이션의 획기적인 진전 처음 등장 유나이트.AI.
