자율 주행 차량에는 카메라, 리다, 레이더 등 눈이 있습니다. 하지만 귀? 그것이 Fraunhofer Institute for Digital Media Technology의 연구원 청각, 연설 및 오디오 기술을위한 Oldenburg 지점 독일에서는 청각 차. 이 아이디어는 외부 마이크와 AI가있는 차량을 복장하는 것입니다. 현재로서는 이는 응급 차량에 접근하는 것을 의미하며 결국 보행자, 구멍이 뚫린 타이어 또는 브레이크가 실패하는 것을 의미합니다.
“차에 또 다른 의미를 부여하는 것이므로 주변의 음향 세계를 이해할 수 있습니다.”라고 말합니다. 모리츠 브랜드청각 차량의 프로젝트 관리자.
2025 년 3 월, Fraunhofer IDMT 연구원들은 Oldenburg에서 1,500km의 프로토 타입 청각 차량을 스웨덴 북부의 증명서로 운전했습니다. 브랜드는이 여행이 흙, 눈, 슬러시, 도로 소금 및 동결 온도에서 시스템을 테스트했다고 밝혔다.
듣는 자동차를 건설하는 방법
팀은 대답해야 할 몇 가지 주요 질문이있었습니다. 마이크 하우징이 더러워 지거나 서리로 옮겨지면 어떻게 될까요? 그것이 현지화와 분류에 어떤 영향을 미칩니 까? 테스트 결과 모듈이 청소되고 건조되면 성능 저하가 예상보다 저하 된 것으로 나타났습니다. 팀은 또한 마이크가 세차장에서 살아남을 수 있음을 확인했습니다.
각 외부 마이크 모듈 (EMM)에는 15 센티미터의 패키지에 3 개의 마이크가 포함되어 있습니다. 자동차 후면에 장착 된 바람 소음이 가장 낮습니다. 사운드를 캡처하고 디지털화하고 스펙트로 그램으로 변환하여 전달합니다. 지역 기반 컨볼 루션 신경 네트워크 (RCNN) 오디오 이벤트 감지 훈련.
RCNN이 오디오 신호를 사이렌으로 분류하는 경우 결과는 차량 카메라와 교차 점검됩니다. 파란색 번쩍이는 빛이 있습니까? 이와 같은“감각”을 결합하면 잘못된 양성의 확률을 낮추어 차량의 신뢰성이 향상됩니다. 오디오 신호는 현지화됩니다 빔 포밍그러나 Fraunhofer는이 기술에 대한 세부 사항을 제공하지 않았지만 거부했습니다.
모든 처리는 대기 시간을 최소화하기 위해 선상으로 이루어집니다. 또한“인터넷 연결이 열악하거나 많은 간섭이있는 영역에서 일어날 일에 대한 우려를 제거합니다. [radio-frequency] 브랜즈는 말합니다. 워크로드는 덧붙입니다. 라즈베리 파이.
Brandes에 따르면, 청각 차량 시스템의 초기 벤치 마크에는 조용한 저속 조건에서 최대 400 미터 떨어진 사이렌을 감지하는 것이 포함됩니다. 그는이 수치가 바람과 도로 소음으로 인해 고속도로 속도에서 100 미터 미만으로 줄어 듭니다. 경고는 약 2 초 안에 트리거됩니다. 드라이버 또는 자율 시스템이 반응하는 데 시간이 걸립니다.
듣는 자동차의 역사
청각 차의 뿌리는 10 년 이상 뻗어 있습니다. Brandes는“우리는 2014 년부터 자동차를 듣는 작업을 해왔습니다. 초기 실험은 겸손했습니다. 포장 도로의 리듬 탭핑 또는 음성 명령을 통해 트렁크를 열어 타이어에서 손톱을 감지하는 것.
몇 년 후, Tier 1 공급 업체 (전송, 제동 시스템, 배터리 또는 ADASS (Advanced Driver Assistance Systems)와 같은 주요 시스템 또는 자동차 제조업체에 직접 제공하는 회사)의 지원 이 작업을 자동차 등급 개발에 밀어 넣었고 곧 주요 자동차 제조업체와 합류했습니다. EV 채택이 증가함에 따라 자동차 제조업체는 왜 귀가 눈만큼 중요한지 알기 시작했습니다.
“인간은 사이렌을 듣고 소리가 어디에서 나오는지보기 전에 반응합니다. 자율 주행 차는 우리와 안전하게 공존하려면 똑같이해야합니다.” —Eoin King, University of Galway Sound Lab
Brandes는 하나의 말을 회상합니다. 테스트 트랙에 앉아 전기 자동차 내부에 앉아 있습니다. 도로 소음에 대해 절연그는 차량이 거의있을 때까지 비상 사이렌을 듣지 못했습니다. “그건 큰 ‘아하!’ 청각 차량이 EV 채택이 증가함에 따라 얼마나 중요한지를 보여주는 순간”이라고 그는 말합니다.
에인 킹기계 공학 교수 골웨이 대학교 아일랜드에서는 물리학에서 AI 로의 도약을 변형 적으로 본다.
“우리 팀은 매우 물리학 기반 접근 방식을 취했습니다.” 2020이 연구 분야에서 작동합니다 에서 하트 포드 대학교 코네티컷에서. “우리는 도착 방향을 보았습니다. 마이크 사이의 지연이 소리가있는 곳으로 삼각적으로 지연되었습니다. 가능성을 보여주었습니다. 그러나 오늘날, 오늘, 일체 포함 이것을 훨씬 더 가져갈 수 있습니다. 기계 청취는 실제로 게임 체인저입니다.”
물리학은 여전히 중요하다고 덧붙였다.“이것은 물리 정보가 포함 된 AI와 거의 같다. 전통적인 접근법은 가능한 것이 무엇인지 보여줍니다. 이제 기계 학습 시스템은 환경에서 훨씬 더 잘 일반화 할 수 있습니다.”
자율 주행 차량의 오디오의 미래
진보에도 불구하고, 왕은 골웨이 사운드 랩음향, 소음 및 진동에 대한 연구는 신중합니다.
“5 년 만에 나는 그것이 틈새 시장 인 것을 본다”고 말했다. “기술이 표준이 되려면 시간이 걸립니다. 차선-파티어 경고 한 번도 틈새 였지만 지금은 어디에나 있습니다. 청력 기술은 그곳에 도착하지만 단계별로 도착할 것입니다.” 단기 배치는 프리미엄 차량 또는 자율 차량에 나타날 가능성이 높으며 대량 채택은 더욱 해제됩니다.
King은 오디오 인식이 중요한 이유에 대한 말을 마무리하지 않습니다. 자율 주행 차는 인간과 공존해야합니다. “사람은 사이렌을 듣고 반응합니다. 심지어 소리가 어디에서 나오는지보기 전에 반응합니다. 자율 주행 차는 우리와 안전하게 공존하려면 똑같이해야합니다.”
King ‘s Vision은 다중 감각 인식을 가진 차량입니다. 카메라와 LIDAR의 시야, 청력을위한 마이크, 아마도 진동 센서까지 도로 표면 모니터링. “냄새”라고 그는 농담을합니다.
Fraunhofer의 스웨덴 도로 검사에 따르면 내구성은 큰 장애물이 아님을 보여주었습니다. King은 다른 관심 분야를 가리 킵니다 : 잘못된 경보.
“누군가가 ‘도움을 줄 수있는 소리를들을 때 차를 훈련 시키면’아이들이 장난으로 할 때 어떻게됩니까?” 그는 묻습니다. “우리는이 시스템을 도로에 올려 놓기 전에 철저히 테스트해야합니다. 이것은 소비자 전자 장치가 아닙니다. chatgpt가 당신에게 잘못된 답을 제공한다면당신은 단지 질문을 다시 표현할 수 있습니다. 사람들의 삶은 위험에 처해 있습니다.”
비용은 문제가되지 않습니다. 마이크는 저렴하고 견고합니다. 진정한 과제는 알고리즘이 뿔, 쓰레기 트럭 및 건축으로 채워진 시끄러운 도시 사운드 스케이프를 이해할 수 있도록하는 것입니다.
Fraunhofer는 이제 미국, 독일 및 덴마크의 사이렌을 포함하여 더 넓은 데이터 세트를 갖춘 알고리즘을 정제하고 있습니다. 한편, King ‘s Lab은 실내 상황에서 건전한 탐지를 개선하고 있으며, 이는 자동차를 용도에 포함시킬 수 있습니다.
청각 차량과 같은 일부 시나리오는 눈에 띄기 전에 빨간색 라이트 러너의 엔진을 감지하는 것과 같은 일부 시나리오는 몇 년이 걸리지 만 King 은이 원칙을 주장합니다.“올바른 데이터를 사용하면 이론적으로 가능합니다. 도전은 데이터와 훈련을받는 것입니다.”
브랜드와 킹은 한 감각으로는 충분하지 않다는 데 동의하지 않습니다. 카메라, 레이더, LIDAR 및 이제 마이크는 함께 작동합니다. King은“시력에만 의존하는 자율 주행 차량은 시야로 제한됩니다. “음향을 추가하면 또 다른 정도의 안전이 추가됩니다.”