생성형 AI 정확성이 없다면 애플리케이션은 거의 가치가 없거나 때로는 부정적인 가치를 갖습니다. 정확성은 데이터에 기반합니다.
개발자들이 AI 애플리케이션에 대한 지식이 풍부한 응답을 생성하기 위해 최상의 독점 데이터를 효율적으로 가져올 수 있도록 돕기 위해 NVIDIA는 오늘 4가지 새로운 기능을 발표했습니다. NVIDIA NeMo 리트리버 NIM 추론 마이크로서비스.
와 결합 Llama 3.1용 NVIDIA NIM 추론 마이크로서비스 모델 컬렉션도 오늘 발표됐다. NeMo Retriever NIM 마이크로서비스 기업이 확장할 수 있도록 지원 에이전트 AI 워크플로 — 최소한의 개입이나 감독으로 AI 애플리케이션이 정확하게 작동하고 가장 높은 정확도의 검색 증강 생성을 제공하는 경우 또는 조각.
NeMo Retriever를 사용하면 조직에서 사용자 정의 모델을 다양한 비즈니스 데이터에 원활하게 연결하고 RAG를 사용하여 AI 애플리케이션에 대한 매우 정확한 응답을 제공할 수 있습니다. 본질적으로 프로덕션에 적합한 마이크로서비스는 매우 정확한 AI 애플리케이션을 구축하기 위한 매우 정확한 정보 검색을 가능하게 합니다.
예를 들어, NeMo Retriever는 AI 에이전트와 고객 서비스 챗봇을 만들고, 보안 취약성을 분석하거나 복잡한 공급망 정보에서 통찰력을 추출하는 개발자의 모델 정확도와 처리량을 높일 수 있습니다.
NIM 추론 마이크로서비스는 고성능, 사용하기 쉬운 엔터프라이즈급 추론을 가능하게 합니다. 그리고 NeMo Retriever NIM 마이크로서비스를 통해 개발자는 이 모든 것의 이점을 누릴 수 있습니다. 이는 데이터로 더욱 강력해집니다.
새로운 NeMo Retriever 임베딩 그리고 NIM 마이크로서비스의 재순위가 이제 일반적으로 사용 가능합니다.
- NV-EmbedQA-E5-v5는 텍스트 질의응답 검색에 최적화된 인기 있는 커뮤니티 기반 임베딩 모델입니다.
- NV-EmbedQA-Mistral7B-v2는 고정확도 질의응답을 위한 텍스트 임베딩을 위해 미세 조정된 인기 있는 다국어 커뮤니티 기반 모델입니다.
- 최적화된 커뮤니티 모델인 Snowflake-Arctic-Embed-L 및
- NV-RerankQA-Mistral4B-v3는 고정확도의 질의응답을 위한 텍스트 재순위 지정에 맞춰 미세 조정된 인기 있는 커뮤니티 기반 모델입니다.
NIM 마이크로서비스 컬렉션에 쉽게 액세스할 수 있습니다. NVIDIA API 카탈로그.
임베딩 및 재랭킹 모델
NeMo Retriever NIM 마이크로서비스는 임베딩과 재순위 지정의 두 가지 모델 유형으로 구성되며, 투명성과 안정성을 보장하는 개방형 및 상용 제품을 제공합니다.
안 임베딩 모델 텍스트, 이미지, 차트, 비디오와 같은 다양한 데이터를 숫자 벡터로 변환하여 벡터 데이터베이스에 저장하고, 그 의미와 뉘앙스를 포착합니다. 임베딩 모델은 기존의 대규모 언어 모델 또는 LLM보다 빠르고 계산 비용이 저렴합니다.
리랭킹 모델은 데이터와 쿼리를 수집한 다음 쿼리와의 관련성에 따라 데이터를 평가합니다. 이러한 모델은 임베딩 모델보다 계산이 복잡하고 느리지만 상당한 정확도 개선을 제공합니다.
NeMo Retriever는 두 세계의 장점을 모두 제공합니다. 임베딩 NIM으로 검색할 광범위한 데이터 그물을 캐스팅한 다음, 재랭킹 NIM을 사용하여 관련성을 위해 결과를 다듬으면 NeMo Retriever를 활용하는 개발자는 기업에 가장 유용하고 정확한 결과를 보장하는 파이프라인을 구축할 수 있습니다.
NeMo Retriever를 사용하면 개발자는 텍스트 Q&A 검색 파이프라인을 구축하기 위한 최첨단 개방형 상용 모델에 액세스하여 가장 높은 정확도를 제공합니다. 대체 모델과 비교했을 때 NeMo Retriever NIM 마이크로서비스는 엔터프라이즈 질의 응답에 대한 부정확한 답변을 30% 더 적게 제공했습니다.
주요 사용 사례
RAG 및 AI 에이전트 솔루션부터 데이터 기반 분석까지 NeMo Retriever는 광범위한 AI 애플리케이션을 지원합니다.
마이크로서비스를 사용하여 다음을 빌드할 수 있습니다. 지능형 챗봇 정확하고 상황에 맞는 응답을 제공합니다. 방대한 양의 데이터를 분석하는 데 도움이 될 수 있습니다. 보안 취약점을 식별하다. 그들은 복잡한 것에서 통찰력을 추출하는 데 도움을 줄 수 있습니다. 공급망 정보. 그리고 그들은 AI를 활성화할 수 있습니다. 소매 쇼핑 고문 특히 자연스럽고 개인화된 쇼핑 경험을 제공하는 작업입니다.
NVIDIA AI 워크플로 이러한 사용 사례는 생성적 AI 기반 기술을 개발하기 위한 쉽고 지원되는 시작점을 제공합니다.
수십 개의 NVIDIA 데이터 플랫폼 파트너가 NeMo Retriever NIM 마이크로서비스와 협력하여 AI 모델의 정확도와 처리량을 높이고 있습니다.
데이터스택스 Astra DB와 Hyper-Converged 플랫폼에 NeMo Retriever를 내장하여 NIM 마이크로서비스를 구현함으로써 회사는 더 빠른 출시 시간으로 고객에게 정확하고 생성적인 AI 강화 RAG 기능을 제공할 수 있게 되었습니다.
Cohesity는 NVIDIA NeMo Retriever 마이크로서비스를 자사의 AI 제품인 Cohesity Gaia와 통합하여 고객이 RAG를 통해 데이터를 활용하여 통찰력 있고 혁신적인 생성 AI 애플리케이션을 구축할 수 있도록 지원할 것입니다.
Kinetica는 NVIDIA NeMo Retriever를 사용하여 자연어로 복잡한 네트워크와 상호 작용하여 중단이나 침해에 더 신속하게 대응할 수 있는 LLM 에이전트를 개발하고, 통찰력을 즉각적인 조치로 전환합니다.
NetApp은 NVIDIA와 협력하여 NeMo Retriever 마이크로서비스를 지능형 데이터 인프라의 엑사바이트 규모 데이터에 연결합니다. 모든 NetApp ONTAP 고객은 데이터의 보안이나 프라이버시를 손상시키지 않고도 독점적인 비즈니스 통찰력에 액세스하기 위해 원활하게 “데이터와 소통”할 수 있습니다.
Accenture, Deloitte, Infosys, LTTS, Tata Consultancy Services, Tech Mahindra, Wipro를 비롯한 NVIDIA 글로벌 시스템 통합 파트너와 Data Monsters, EXLService(Ireland) Limited, Latentview, Quantiphi, Slalom, SoftServe, Tredence와 같은 서비스 제공 파트너는 기업이 NeMo Retriever NIM 마이크로서비스를 AI 파이프라인에 추가할 수 있도록 돕는 서비스를 개발하고 있습니다.
다른 NIM 마이크로 서비스와 함께 사용
NeMo Retriever NIM 마이크로서비스는 NVIDIA Riva NIM 마이크로서비스와 함께 사용할 수 있습니다. 음성 AI 산업 전반에 걸친 응용 프로그램 – 고객 서비스 향상 및 디지털 인간 활성화.
Riva NIM 마이크로서비스로 곧 출시될 새로운 모델에는 FastPitch 및 HiFi-GAN이 포함됩니다. 텍스트 음성 변환 응용 프로그램; 다국어 신경망 기계 번역을 위한 Megatron; 그리고 기록을 깨는 엔비디아 파라킷 모델 패밀리 자동 음성 인식.
NVIDIA NIM 마이크로서비스는 모두 함께 또는 개별적으로 사용할 수 있어 개발자에게 AI 애플리케이션을 구축하는 모듈식 접근 방식을 제공합니다. 또한 마이크로서비스는 커뮤니티 모델, NVIDIA 모델 또는 사용자의 사용자 정의 모델과 통합될 수 있습니다. 클라우드, 온프레미스 또는 하이브리드 환경에서 개발자에게 더 많은 유연성을 제공합니다.
NVIDIA NIM 마이크로서비스는 다음에서 사용 가능합니다. ai.엔비디아닷컴. 기업은 NIM을 통해 프로덕션에 AI 애플리케이션을 배포할 수 있습니다. 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼.
NIM 마이크로서비스는 Amazon Web Services, Google Cloud, Microsoft Azure 및 Oracle Cloud Infrastructure의 클라우드 인스턴스를 포함하여 고객이 선호하는 가속화된 인프라에서 실행될 수 있습니다. NVIDIA 인증 시스템 Cisco, Dell Technologies, Hewlett Packard Enterprise, Lenovo, Supermicro를 비롯한 글로벌 서버 제조 파트너와 협력합니다.
NVIDIA 개발자 프로그램 회원들은 이제 자신들이 선호하는 인프라에서 연구, 개발 및 테스트를 위해 NIM에 무료로 접속할 수 있게 됩니다.
생성 AI 및 가속 컴퓨팅의 최신 소식을 자세히 알아보려면 가입하세요. SIGGRAPH에서의 NVIDIA최고의 컴퓨터 그래픽스 컨퍼런스가 7월 28일부터 8월 1일까지 덴버에서 개최됩니다.
보다 알아채다 소프트웨어 제품 정보에 관하여.