대화형 검색 엔진의 등장은 전통적인 키워드 검색에서 보다 자연스러운 대화형 상호작용으로 전환하면서 온라인에서 정보를 검색하는 방식을 재정의하고 있습니다. 대규모 언어 모델(LLM)과 실시간 웹 데이터를 결합함으로써 이러한 새로운 시스템은 오래된 LLM과 표준 검색 엔진에서 발견되는 주요 문제를 해결합니다. 이 글에서는 LLM과 키워드 기반 검색이 직면한 과제를 살펴보고 대화형 검색 엔진이 어떻게 유망한 솔루션을 제공하는지 살펴보겠습니다.
LLM에서의 오래된 지식과 신뢰성 문제
대규모 언어 모델 (LLM)은 정보에 접근하고 해석하는 방법을 크게 발전시켰지만, 실시간 업데이트를 제공할 수 없다는 주요 한계에 직면해 있습니다. 이러한 모델은 책, 기사 및 웹사이트의 텍스트를 포함하는 광범위한 데이터 세트에서 학습됩니다. 그러나 이 학습 데이터는 수집된 시점까지의 지식만 반영하므로 LLM은 새 정보로 자동으로 업데이트할 수 없습니다. 이를 해결하기 위해 LLM은 재학습을 거쳐야 하는데, 이는 리소스 집약적이고 비용이 많이 드는 프로세스입니다. 여기에는 새로운 데이터 세트를 수집하고 큐레이팅하고, 모델을 재학습하고, 성능을 검증하는 것이 포함됩니다. 각 반복에는 상당한 컴퓨팅 파워, 에너지 및 재정 투자가 필요하여 상당한 탄소 배출로 인한 환경 영향에 대한 우려가 제기됩니다.
LLM의 정적 특성은 종종 응답에 부정확성을 초래합니다. 최근 이벤트나 개발에 대한 질의에 직면했을 때 이러한 모델은 오래되었거나 불완전한 정보를 기반으로 응답을 생성할 수 있습니다. 이로 인해 “환각모델이 잘못된 사실이나 조작된 사실을 생산하여 제공된 정보의 신뢰성을 떨어뜨립니다. 게다가 방대한 교육 데이터에도 불구하고 LLM은 현재 이벤트나 새로운 트렌드의 전체 맥락을 이해하는 데 어려움을 겪어 관련성과 효과가 제한됩니다.
LLM의 또 다른 중요한 단점은 인용 또는 출처 투명성이 부족하다는 것입니다. 원래 출처에 대한 링크를 제공하는 기존 검색 엔진과 달리 LLM은 출처를 지정하지 않고 집계된 정보를 기반으로 응답을 생성합니다. 이러한 출처의 부재는 사용자가 정보의 정확성을 검증하는 능력을 방해할 뿐만 아니라 콘텐츠의 추적 가능성을 제한하여 제공된 답변의 신뢰성을 분별하기 어렵게 만듭니다. 결과적으로 사용자는 정보를 검증하거나 콘텐츠의 원래 출처를 탐색하는 데 어려움을 겪을 수 있습니다.
기존 웹 검색 엔진의 컨텍스트 및 정보 과부하 과제
전통적인 웹 검색 엔진은 광범위한 정보에 접근하는 데 여전히 필수적이지만, 검색 결과의 품질과 관련성에 영향을 미치는 여러 가지 과제에 직면합니다. 이 웹 검색의 주요 과제는 맥락을 이해하는 데 어려움이 있다는 것입니다. 검색 엔진은 키워드 매칭에 크게 의존하는데, 이는 종종 맥락적으로 관련성이 없는 결과로 이어집니다. 즉, 사용자는 특정 쿼리를 직접 다루지 않는 정보의 홍수를 받게 되어 걸러내고 가장 적절한 답변을 찾기가 어렵습니다. 검색 엔진은 알고리즘을 사용하여 결과를 순위를 매기지만, 종종 개인의 고유한 요구 사항이나 선호도에 따라 개인화된 답변을 제공하지 못합니다. 이러한 개인화 부족으로 인해 일반적인 결과가 사용자의 특정 맥락이나 의도와 일치하지 않을 수 있습니다. 게다가 검색 엔진은 SEO 스패밍과 링크 팜을 통한 조작에 취약합니다. 이러한 관행은 결과를 왜곡하여 관련성이 낮거나 품질이 낮은 콘텐츠를 검색 순위 상단에 올릴 수 있습니다. 그 결과 사용자는 오해의 소지가 있거나 편향된 정보에 노출될 수 있습니다.
대화형 검색 엔진의 등장
대화형 검색 엔진은 온라인에서 정보를 상호 작용하고 검색하는 방식에 패러다임 전환을 나타냅니다. 키워드 매칭과 알고리즘 순위에 의존하여 결과를 제공하는 기존 검색 엔진과 달리 대화형 검색 엔진은 고급 언어 모델을 활용하여 자연스럽고 인간적인 방식으로 사용자 쿼리를 이해하고 응답합니다. 이 접근 방식은 링크 목록을 제시하는 대신 사용자를 대화에 참여시켜 정보를 찾는 보다 직관적이고 효율적인 방법을 제공하는 것을 목표로 합니다.
대화형 검색 엔진은 대규모 언어 모델(LLM)의 힘을 활용하여 쿼리의 맥락을 처리하고 해석하여 보다 정확하고 관련성 있는 응답을 제공합니다. 이러한 엔진은 사용자와 동적으로 상호 작용하도록 설계되어 후속 질문을 통해 검색을 구체화하고 필요에 따라 추가 정보를 제공합니다. 이런 방식으로 사용자 경험을 향상시킬 뿐만 아니라 검색된 정보의 품질을 크게 개선합니다.
대화형 검색 엔진의 주요 장점 중 하나는 실시간 업데이트와 맥락적 이해를 제공하는 능력입니다. 정보 검색 기능을 생성 모델과 통합함으로써 이러한 엔진은 웹에서 최신 데이터를 가져와 통합하여 응답이 최신이고 정확하도록 할 수 있습니다. 이는 종종 오래된 교육 데이터에 의존하는 기존 LLM의 주요 한계 중 하나를 해결합니다.
더욱이 대화형 검색 엔진은 기존 검색 엔진이 제공하지 못하는 수준의 투명성을 제공합니다. 대화형 검색 엔진은 사용자를 신뢰할 수 있는 출처와 직접 연결하여 명확한 인용문과 관련 콘텐츠에 대한 링크를 제공합니다. 이러한 투명성은 신뢰를 촉진하고 사용자가 수신한 정보를 확인할 수 있게 하여 정보 소비에 대한 보다 정보에 입각하고 비판적인 접근 방식을 촉진합니다.
대화형 검색 엔진 대 검색 증강 생성(RAG)
오늘날 일반적으로 사용되는 AI 기반 정보 검색 시스템 중 하나는 RAG로 알려져 있습니다. 대화형 검색 엔진은 다음과 유사점을 공유하지만 누더기두 시스템은 주요 차이점이 있는데, 특히 목표에 있어서 그렇습니다. 두 시스템 모두 정보 검색과 생성 언어 모델을 결합하여 정확하고 맥락적으로 관련성 있는 답변을 제공합니다. 외부 소스에서 실시간 데이터를 추출하여 생성 프로세스에 통합하여 생성된 답변이 최신이고 포괄적인지 확인합니다.
그러나 RAG 시스템은 다음과 같습니다. 빙검색된 데이터를 생성 출력과 병합하여 정확한 정보를 제공하는 데 중점을 둡니다. 사용자가 검색을 체계적으로 세분화할 수 있는 후속 기능이 없습니다. 이와 대조적으로 OpenAI의 대화형 검색 엔진과 같은 검색GPT사용자를 대화에 참여시킵니다. 그들은 고급 언어 모델을 활용하여 자연스럽게 질의를 이해하고 응답하며, 후속 질문과 추가 정보를 제공하여 검색을 구체화합니다.
실제 세계의 예
대화형 검색 엔진의 두 가지 실제 사례는 다음과 같습니다.
- 당황: 당황 사용자가 온라인 정보와 자연스럽고 상황에 맞게 상호 작용할 수 있는 대화형 검색 엔진입니다. 검색 범위를 특정 플랫폼으로 좁히는 “포커스” 옵션과 후속 질문을 제안하는 “관련” 기능과 같은 기능을 제공합니다. Perplexity는 프리미엄 모델로 운영되며, 기본 버전은 독립형 LLM 기능을 제공하고 유료 Perplexity Pro는 GPT-4 및 Claude 3.5와 같은 고급 모델과 향상된 쿼리 정제 및 파일 업로드를 제공합니다.
- 검색GPT: OpenAI는 최근 대규모 언어 모델(LLM)의 대화 능력을 실시간 웹 업데이트와 결합한 도구인 SearchGPT를 출시했습니다. 이를 통해 사용자는 관련 정보에 보다 직관적이고 간단하게 액세스할 수 있습니다. 압도적이고 비인격적일 수 있는 기존 검색 엔진과 달리 SearchGPT는 간결한 답변을 제공하고 사용자를 대화형으로 참여시킵니다. 필요에 따라 후속 질문을 하고 추가 정보를 제공하여 검색 경험을 보다 상호 작용적이고 사용자 친화적으로 만들 수 있습니다. SearchGPT의 주요 기능은 투명성입니다. 사용자를 신뢰할 수 있는 출처와 직접 연결하여 명확한 인용문과 관련 콘텐츠에 대한 링크를 제공합니다. 이를 통해 사용자는 정보를 확인하고 주제를 보다 철저히 탐색할 수 있습니다.
결론
대화형 검색 엔진은 온라인에서 정보를 찾는 방식을 바꾸고 있습니다. 실시간 웹 데이터와 고급 언어 모델을 결합함으로써 이러한 새로운 시스템은 오래된 대규모 언어 모델(LLM)과 기존 키워드 기반 검색의 많은 단점을 해결합니다. 이들은 보다 최신의 정확한 정보를 제공하고 신뢰할 수 있는 출처에 직접 연결하여 투명성을 개선합니다. SearchGPT 및 Perplexity.ai와 같은 대화형 검색 엔진이 발전함에 따라, 이들은 이전 방법의 한계를 넘어서는 보다 직관적이고 신뢰할 수 있는 검색 접근 방식을 제공합니다.
게시물 검색 재정의: 새로운 대화형 엔진이 구식 LLM과 문맥 없는 기존 검색 엔진을 극복하는 방법 처음 등장 유나이트.AI.
