세계 각국이 추구하고 있습니다 주권 AI 자체 컴퓨팅 인프라, 데이터, 인력 및 비즈니스 네트워크를 활용해 인공지능을 개발하고, 인공지능 시스템이 현지의 가치, 법률 및 이익에 부합하도록 보장합니다.
이러한 노력을 지원하기 위해 NVIDIA는 오늘 4개의 새로운 제품을 출시한다고 발표했습니다. NVIDIA NIM 마이크로서비스 개발자가 고성능 생성 AI 애플리케이션을 보다 쉽게 빌드하고 배포할 수 있도록 지원합니다.
마이크로서비스는 지역적 요구에 맞게 조정된 인기 있는 커뮤니티 모델을 지원합니다. 지역 언어와 문화 유산을 기반으로 정확한 이해와 향상된 응답을 통해 사용자 상호 작용을 향상시킵니다.
아시아 태평양 지역에서만 생성 AI 소프트웨어 수익이 올해 50억 달러에서 2030년까지 480억 달러에 도달할 것으로 예상됩니다. ABI 리서치.
일본어 데이터를 기반으로 학습된 Llama-3-Swallow-70B와 중국어 데이터를 기반으로 학습된 Llama-3-Taiwan-70B는 현지 법률, 규정 및 기타 관습에 대한 더 깊은 이해를 제공하는 지역 언어 모델입니다.
Mistral-7B를 기반으로 구축된 RakutenAI 7B 모델 패밀리는 영어 및 일본어 데이터 세트에서 학습되었으며 Chat 및 Instruct를 위한 두 가지 다른 NIM 마이크로서비스로 제공됩니다. Rakuten의 foundation 및 instruction 모델은 개방형 일본어 대규모 언어 모델 중에서 선두 점수를 달성하여 최고 평균 점수 2024년 1월부터 3월까지 실시된 LM 평가 하네스 벤치마크에서.
훈련하다 대규모 언어 모델 (LLM) 지역 언어학은 보다 정확하고 섬세한 의사소통을 보장하고 문화적, 언어적 미묘함을 더 잘 이해하고 반영함으로써 결과물의 효과를 높입니다.
이 모델은 기본 LLM(예: Llama 3)과 비교했을 때 일본어와 중국어 이해, 지역 법률 업무, 질의 응답, 언어 번역 및 요약 분야에서 가장 뛰어난 성능을 제공합니다.
전 세계 국가 – 싱가포르그 아랍에미리트한국, 스웨덴부터 프랑스, 이탈리아, 인도까지 국가 차원의 AI 인프라에 투자하고 있습니다.
새로운 NIM 마이크로서비스를 사용하면 기업, 정부 기관 및 대학이 자체 환경에서 기본 LLM을 호스팅하여 개발자가 고급 코파일럿, 챗봇 및 AI 보조원을 구축할 수 있습니다.
Sovereign AI NIM 마이크로 서비스를 사용한 애플리케이션 개발
개발자는 NIM 마이크로서비스로 패키징된 주권형 AI 모델을 프로덕션에 쉽게 배포하여 성능을 개선할 수 있습니다.
다음과 함께 사용 가능한 마이크로서비스 엔비디아 AI 엔터프라이즈추론을 위해 최적화되었습니다. 엔비디아 텐서RT-LLM 오픈소스 라이브러리.
Llama 3 70B용 NIM 마이크로서비스는 새로운 Llama-3-Swallow-70B 및 Llama-3-Taiwan-70B NIM 마이크로서비스의 기본 모델로 사용되었으며, 최대 5배 더 높은 처리량을 제공할 수 있습니다. 이를 통해 프로덕션에서 모델을 실행하는 총 비용이 낮아지고 지연 시간이 감소하여 더 나은 사용자 경험이 제공됩니다.
새로운 NIM 마이크로서비스는 오늘부터 호스팅 애플리케이션 프로그래밍 인터페이스(API)로 제공됩니다.
더 빠르고 정확한 생성 AI 결과를 위한 NVIDIA NIM 활용
NIM 마이크로서비스는 배포를 가속화하고, 전반적인 성능을 향상시키며, 의료, 금융, 제조, 교육, 법률 등 전 세계 산업 분야의 조직에 필요한 보안을 제공합니다.
도쿄공업대학은 일본어 데이터를 사용하여 라마-3-스왈로우 70B를 미세 조정했습니다.
“LLM은 모든 사람에게 동일한 혜택을 제공하는 기계적 도구가 아닙니다. 오히려 인간의 문화와 창의성과 상호 작용하는 지적 도구입니다. LLM의 영향은 상호적입니다. 즉, 우리가 훈련하는 데이터의 영향을 받는 모델뿐만 아니라 우리의 문화와 우리가 생성하는 데이터도 LLM의 영향을 받습니다.” 도쿄 공대의 글로벌 과학 정보 및 컴퓨팅 센터의 리오 요코타 교수가 말했습니다. “따라서 우리의 문화적 규범을 준수하는 주권적 AI 모델을 개발하는 것이 가장 중요합니다. NVIDIA NIM 마이크로서비스로 제공되는 Llama-3-Swallow를 통해 개발자는 다양한 산업에서 일본 애플리케이션에 대한 모델에 쉽게 액세스하고 배포할 수 있습니다.”
예를 들어, 일본의 AI 회사인 Preferred Networks는 이 모델을 사용하여 Llama3-Preferred-MedSwallow-70B라는 고유한 일본 의료 데이터 코퍼스를 기반으로 훈련된 의료 전문 모델을 개발했는데, 이 모델은 일본 의사 국가 시험에서 최고의 점수를 받았습니다.
대만의 주요 병원 중 하나인 창궁 기념 병원(CGMH)은 병원 시스템 내의 모든 LLM 애플리케이션을 중앙 집중화하기 위해 맞춤형 AI 추론 서비스(AIIS)를 구축하고 있습니다. Llama 3-Taiwan 70B를 사용하여 환자가 이해할 수 있는 보다 섬세한 의학 용어로 일선 의료진의 효율성을 개선하고 있습니다.
CGMH Linko Branch의 Center for Artificial Intelligence in Medicine의 책임자인 Changfu Kuo 박사는 “즉각적이고 상황에 맞는 지침을 제공함으로써 현지 언어 LLM으로 구축된 AI 애플리케이션은 워크플로를 간소화하고 직원 개발을 지원하고 환자 치료의 질을 개선하는 지속적인 학습 도구 역할을 합니다.”라고 말했습니다. “NVIDIA NIM은 이러한 애플리케이션의 개발을 간소화하여 최소한의 엔지니어링 전문 지식으로 지역 언어로 훈련된 모델에 쉽게 액세스하고 배포할 수 있도록 합니다.”
전자 기기 제조업체인 대만의 페가트론은 내부 및 외부용 애플리케이션에 Llama 3-Taiwan 70B NIM 마이크로서비스를 도입할 예정입니다. 이를 PEGAAi Agentic AI System과 통합하여 프로세스를 자동화하고 제조 및 운영의 효율성을 높였습니다.
Llama-3-Taiwan 70B NIM은 또한 글로벌 석유화학 제조업체인 Chang Chun Group, 세계적 인쇄 회로 기판 회사인 Unimicron, 기술 중심 미디어 회사인 TechOrange, 온라인 계약 서비스 회사인 LegalSign.ai, 생성적 AI 스타트업인 APMIC에서도 사용되고 있습니다. 이러한 회사도 오픈 모델에 협력하고 있습니다.
NVIDIA AI Foundry로 맞춤형 엔터프라이즈 모델 만들기
지역별 AI 모델은 문화적으로 미묘하고 지역화된 대응을 제공할 수 있지만, 기업은 여전히 자사의 비즈니스 프로세스와 도메인 전문 지식에 맞게 모델을 미세하게 조정해야 합니다.
엔비디아 AI 파운드리 인기 있는 기초 모델을 포함하는 플랫폼 및 서비스입니다. 엔비디아 네모 미세 조정 및 전용 용량을 위해 NVIDIA DGX 클라우드 개발자에게 NIM 마이크로서비스로 패키징된 맞춤형 기반 모델을 만드는 데 필요한 풀스택 솔루션을 제공합니다.
또한 NVIDIA AI Foundry를 사용하는 개발자는 다음에 액세스할 수 있습니다. 엔비디아 AI 엔터프라이즈 프로덕션 배포에 대한 보안, 안정성 및 지원을 제공하는 소프트웨어 플랫폼입니다.
NVIDIA AI Foundry는 개발자에게 AI 애플리케이션을 구동하는 맞춤형 지역 언어 NIM 마이크로서비스를 보다 빠르고 쉽게 구축하고 배포하는 데 필요한 도구를 제공하여 사용자에게 문화적, 언어적으로 적합한 결과를 보장합니다.