검색 세대 (rag) 언어 모델과 외부 지식 소스를 결합한 AI 시스템을 구축하는 방법입니다. 간단히 말해서 AI는 먼저 사용자 쿼리와 관련된 관련 문서 (기사 또는 웹 페이지와 같은)를 검색 한 다음 해당 문서를 사용하여보다 정확한 답변을 생성합니다. 이 방법은 도움으로 축하되었습니다 대형 언어 모델 (LLMS) 실제 데이터에 대한 응답을 기반으로 사실을 유지하고 환각을 줄입니다.
직관적으로, AI가 검색되는 문서가 많을수록 답변을 더 잘 알 수 있다고 생각할 수도 있습니다. 그러나 최근의 연구에 따르면 AI에 정보를 공급할 때 때로는 더 적은 정보가 더 많습니다.
더 적은 문서, 더 나은 답변
에이 새로운 연구 예루살렘 히브리 대학교의 연구원들은 숫자 래그 시스템에 제공된 문서의 성능에 영향을 미칩니다. 결정적으로, 그들은 총 텍스트의 총량을 일정하게 유지했습니다. 즉, 문서가 더 적은 경우 해당 문서가 많은 문서와 동일한 길이를 채우도록 약간 확장되었습니다. 이런 식으로, 성능 차이는 단순히 입력이 짧지 않고 문서의 수량에 기인 할 수 있습니다.
연구원들은 퀴즈 질문이있는 질문 응답 데이터 세트 (Musique)를 사용했는데, 각각은 원래 20 개의 Wikipedia 단락과 짝을 이루었습니다 (그 중 일부는 실제로 답을 포함하고 나머지는 산만 자입니다). 문서의 수를 20에서 2–4로 진정으로 관련성있는 문서로 다듬고 일관된 길이를 유지하기 위해 약간의 추가 컨텍스트를 가진 사람들을 패딩함으로써 AI가 고려해야 할 자료가 적지 만 여전히 읽을 수있는 총 단어가있는 시나리오를 만들었습니다.
결과는 눈에 띄었다. 대부분의 경우 AI 모델은 전체 세트보다는 문서가 적었을 때 더 정확하게 답변했습니다. 시스템이 대규모 컬렉션 대신 소수의 지원 문서 만 사용했을 때 성능이 크게 향상되었습니다. 이 반 직관적 인 부스트는 Meta의 LLAMA 및 기타 변형을 포함하여 여러 가지 다른 오픈 소스 언어 모델에서 관찰되었으며, 이는 현상이 단일 AI 모델과 관련이 없음을 나타냅니다.
하나의 모델 (Qwen-2)은 점수가 떨어지지 않고 여러 문서를 처리 한 주목할만한 예외 였지만 거의 모든 테스트 된 모델이 전반적으로 적은 문서로 더 잘 수행되었습니다. 다시 말해, 주요 관련 작품을 넘어서 더 많은 참조 자료를 추가하면 실제로 도움이 된 것보다 성능이 더 자주 해 롭습니다.
출처 : Levy et al.
이것이 왜 그렇게 놀라운가요? 일반적으로 RAG 시스템은 더 넓은 정보를 검색하는 것이 AI에만 도움이 될 수 있다는 가정하에 설계되었습니다. 결국 답이 처음 몇 문서에 있지 않으면 10 번째 또는 20 일에있을 수 있습니다.
이 연구는 그 대본을 뒤집어 추가 문서에 무차별 적으로 쌓이면 역효과를 낳을 수 있음을 보여줍니다. 총 텍스트 길이가 일정하게 유지 되더라도, 많은 다른 문서 (각각 고유 한 맥락과 단점을 가진)의 존재만으로도 AI에 대한 질문 응답 과제가 더 어려워졌습니다. 특정 지점을 넘어서, 각 추가 문서는 신호보다 더 많은 노이즈를 도입하여 모델을 혼란스럽게하고 정답을 추출하는 능력을 손상시키는 것으로 보입니다.
헝겊에 더 적은 이유가 더 적을 수 있습니다
AI 언어 모델이 정보를 처리하는 방법을 고려하면이 “더 적은 점이 더 많습니다”결과는 의미가 있습니다. AI에 가장 관련성이 높은 문서 만 주어지면, 그것이 보는 맥락은 공부할 올바른 페이지를 건네 준 학생과 마찬가지로 집중하고 산만 함이 없습니다.
이 연구에서, 모델은 지원 문서 만 제공 할 때 관련이없는 자료가 제거 될 때 상당히 더 잘 수행되었습니다. 나머지 컨텍스트는 더 짧을뿐만 아니라 더 깨끗한 일이었습니다. 그것은 답을 직접 지적한 사실과 다른 것도 포함되어있었습니다. 저글링에 대한 문서가 적어서이 모델은 적절한 정보에 전적으로주의를 기울여서 혼란스러워 지거나 혼란 스러울 가능성이 줄어 듭니다.
반면에, 많은 문서가 검색되었을 때 AI는 관련성 있고 관련이없는 콘텐츠를 혼합하여 체로 체결해야했습니다. 종종이 추가 문서는 “유사하지만 관련이 없지만” – 주제 나 키워드를 쿼리와 공유 할 수 있지만 실제로는 답이 포함되어 있지 않습니다. 이러한 내용은 모델을 오도 할 수 있습니다. AI는 실제로 정답으로 이어지지 않는 문서의 점들을 연결하려는 노력을 낭비하거나 여러 소스의 정보를 잘못 병합 할 수 있습니다. 이로 인해 환각의 위험이 증가합니다. AI가 그럴듯하게 들리지만 단일 소스에 근거하지 않는 답을 생성하는 경우입니다.
본질적으로, 너무 많은 문서를 모델에 공급하면 유용한 정보를 희석하고 상충되는 세부 사항을 소개 할 수있어 AI가 사실을 결정하기가 더 어려워집니다.
흥미롭게도, 연구원들은 추가 문서가 분명히 관련이 없다면 (예 : 무작위 관련 관련이없는 텍스트) 모델이이를 무시하는 것이 더 좋다는 것을 발견했습니다. 진정한 문제는 관련성이있는 것처럼 보이는 데이터를 산만하게하는 데 비롯됩니다. 검색된 모든 텍스트가 비슷한 주제에있을 때 AI는 모든 것을 사용해야한다고 가정하고 실제로 어떤 세부 사항이 실제로 중요한지 알려주는 데 어려움을 겪을 수 있습니다. 이것은 연구의 관찰과 일치합니다 임의의 산만자는 현실적인 산만 자보다 혼란이 덜 발생했습니다 입력에서. AI는 뻔뻔스런 말도 안되는 말을 걸 수 있지만 미묘하게 주제를 벗어난 정보는 매끄러운 함정입니다. 관련성의 모습으로 몰래 들어가서 답을 탈선시킵니다. 우리는 진정으로 필요한 문서로만 줄임으로써 이러한 트랩을 처음부터 설정하지 않습니다.
실질적인 이점도 있습니다. 문서를 더 적게 검색하고 처리하면 Rag 시스템의 계산 간접비가 낮아집니다. 당기는 모든 문서는 시간과 컴퓨팅 리소스를 사용하는 분석 (모델이 포함하고 읽고 읽고 참석)을 분석해야합니다. 불필요한 문서를 제거하면 시스템이 더 효율적으로 가능합니다. 더 빠르고 저렴한 비용으로 답변을 찾을 수 있습니다. 더 적은 소스에 중점을 두어 정확도가 향상되는 시나리오에서는 상생 : 더 나은 답변과 더 맛있고 효율적인 프로세스를 얻습니다.
출처 : Levy et al.
재고하는 걸레 : 미래 방향
품질이 종종 검색에서 수량을 능가한다는이 새로운 증거는 외부 지식에 의존하는 AI 시스템의 미래에 중요한 영향을 미칩니다. RAG 시스템의 설계자는 스마트 필터링 및 문서 순위를 우선 순위에 맞아야합니다. 100 개의 가능한 구절을 가져오고 그 답이 어딘가에 묻히기를 바라고있는 대신, 몇 가지 상위 몇 안되는 고도로 관련된 것만을 가져 오는 것이 더 현명 할 수 있습니다.
이 연구의 저자는 모델에 제공하는 정보의“관련성과 다양성 사이의 균형을 맞추기위한 검색 방법의 필요성을 강조합니다. 다시 말해, 우리는이 주제에 대한 충분한 적용 범위를 제공하여 질문에 답변하고 싶지만 핵심 사실이 외부 텍스트의 바다에서 익사하는 것은 아닙니다.
앞으로 연구원들은 AI 모델이 여러 문서를보다 우아하게 처리하는 데 도움이되는 기술을 탐색 할 것입니다. 한 가지 방법은 더 나은 리트리버 시스템 또는 재 랭커를 개발하여 어떤 문서가 진정으로 가치를 추가하고 어떤 문서가 충돌을 도입하는 지 식별 할 수있는 것입니다. 또 다른 각도는 언어 모델 자체를 향상시키는 것입니다. 한 모델 (Qwen-2와 같은 모델)이 정확성을 잃지 않고 많은 문서에 대처하는 경우 훈련 또는 구조화 된 방법을 조사하면 다른 모델을 더 강력하게 만들기위한 단서를 제공 할 수 있습니다. 아마도 미래의 대형 언어 모델은 두 소스가 같은 말을 할 때 (또는 서로 모순되는), 그에 따라 집중할 때 인식하는 메커니즘을 통합 할 것입니다. 목표는 모델이 혼란에 빠지지 않고 풍부한 다양한 소스를 활용할 수 있도록하는 것입니다.
또한 주목할 가치가 있습니다 AI 시스템은 더 큰 컨텍스트 Windows를 얻습니다 (한 번에 더 많은 텍스트를 읽는 기능), 더 많은 데이터를 프롬프트에 버리는 것은은 총알이 아닙니다. 더 큰 맥락은 자동으로 더 나은 이해를 의미하지는 않습니다. 이 연구는 AI가 기술적으로 한 번에 50 페이지를 읽을 수 있더라도 50 페이지의 혼합 품질 정보를 제공하면 좋은 결과를 얻지 못할 수 있습니다. 이 모델은 여전히 무차별적인 덤프가 아닌 관련 컨텐츠를 선별하고 관련된 컨텐츠를 유지하는 데 도움이됩니다. 실제로, 지능적인 검색은 거대한 맥락 창문의 시대에 더욱 중요해질 수 있습니다. 추가 용량이 소음보다는 귀중한 지식에 사용되도록합니다.
결과 “더 많은 문서, 같은 길이” (적절한 제목의 논문) AI 연구에서 우리의 가정을 재검토하도록 장려합니다. 때때로, 우리가 가진 모든 데이터를 AI에 공급하는 것은 우리가 생각하는 것만 큼 효과적이지 않습니다. 가장 관련성이 높은 정보에 중점을 두어 AI 생성 답변의 정확성을 향상시킬뿐만 아니라 시스템을보다 효율적이고 신뢰할 수있게합니다. 반 직관적 인 교훈이지만 흥미 진진한 영향을 미치는 교훈입니다. 미래의 걸레 시스템은 검색 할 더 적고 더 나은 문서를 신중하게 선택함으로써 더 똑똑하고 얇을 수 있습니다.
게시물 더 적은 점 : 문서를 적게 검색하면 AI 답변이 향상 될 수있는 이유 먼저 나타났습니다 Unite.ai.
