Mistral AI와 NVIDIA는 오늘 최첨단 언어 모델을 새롭게 출시했습니다. 미스트랄 네모 12B는 개발자가 채팅봇, 다국어 작업, 코딩 및 요약을 지원하는 엔터프라이즈 애플리케이션에 쉽게 사용자 지정하고 배포할 수 있는 도구입니다.
Mistral AI의 학습 데이터 전문성과 NVIDIA의 최적화된 하드웨어 및 소프트웨어 생태계를 결합한 Mistral NeMo 모델은 다양한 애플리케이션에서 높은 성능을 제공합니다.
Mistral AI의 공동 창립자이자 수석 과학자인 기욤 램플은 “NVIDIA 팀과 협력하여 최고 수준의 하드웨어와 소프트웨어를 활용하게 되어 다행입니다.”라고 말했습니다. “우리는 NVIDIA AI Enterprise 배포 덕분에 전례 없는 정확성, 유연성, 고효율성, 엔터프라이즈급 지원 및 보안을 갖춘 모델을 함께 개발했습니다.”
Mistral NeMo는 다음에서 훈련을 받았습니다. NVIDIA DGX 클라우드 최신 NVIDIA 아키텍처에 대한 전용적이고 확장 가능한 액세스를 제공하는 AI 플랫폼입니다.
엔비디아 텐서RT-LLM 대규모 언어 모델에 대한 가속화된 추론 성능과 엔비디아 네모 맞춤형 생성 AI 모델을 구축하기 위한 개발 플랫폼도 프로세스를 발전시키고 최적화하는 데 사용되었습니다.
이번 협력은 모델 빌더 생태계를 지원하려는 NVIDIA의 노력을 강조합니다.
전례 없는 정확성, 유연성 및 효율성 제공
여러 차례 대화, 수학, 상식적 추론, 세계적 지식 및 코딩 분야에서 뛰어난 성과를 보이는 이 엔터프라이즈급 AI 모델은 다양한 작업에서 정확하고 신뢰할 수 있는 성능을 제공합니다.
Mistral NeMo는 128K 컨텍스트 길이를 통해 광범위하고 복잡한 정보를 보다 일관되고 정확하게 처리하여 컨텍스트에 맞는 출력을 보장합니다.
혁신을 촉진하고 더 광범위한 AI 커뮤니티를 지원하는 Apache 2.0 라이선스에 따라 출시된 Mistral NeMo는 120억 개의 매개변수를 가진 모델입니다. 또한 이 모델은 모델 추론을 위해 FP8 데이터 형식을 사용하여 메모리 크기를 줄이고 정확도 저하 없이 배포 속도를 높입니다.
즉, 이 모델은 작업을 더 잘 학습하고 다양한 시나리오를 더욱 효과적으로 처리하므로 기업 사용 사례에 이상적입니다.
Mistral NeMo는 다음과 같이 포장됩니다. 엔비디아 NIM NVIDIA TensorRT-LLM 엔진을 사용하여 성능 최적화된 추론을 제공하는 추론 마이크로서비스입니다.
이러한 컨테이너화된 형식을 사용하면 어디에나 쉽게 배포할 수 있어 다양한 애플리케이션에 대한 유연성이 향상됩니다.
그 결과, 며칠이 아닌 몇 분 만에 어디에나 모델을 배포할 수 있습니다.
NIM은 다음의 일부인 엔터프라이즈급 소프트웨어를 제공합니다. 엔비디아 AI 엔터프라이즈전용 기능 분기, 엄격한 검증 프로세스, 엔터프라이즈급 보안 및 지원을 제공합니다.
여기에는 포괄적인 지원, NVIDIA AI 전문가에게 직접 연락할 수 있는 서비스 수준 계약, 안정적이고 일관된 성능 제공이 포함됩니다.
오픈 모델 라이선스를 통해 기업은 Mistral NeMo를 상용 애플리케이션에 원활하게 통합할 수 있습니다.
단일 NVIDIA L40S, NVIDIA GeForce RTX 4090 또는 NVIDIA RTX 4500 GPU의 메모리에 맞게 설계된 Mistral NeMo NIM은 높은 효율성, 낮은 컴퓨팅 비용, 향상된 보안 및 개인 정보 보호를 제공합니다.
고급 모델 개발 및 사용자 정의
Mistral AI와 NVIDIA 엔지니어의 결합된 전문지식은 Mistral NeMo의 훈련 및 추론을 최적화했습니다.
Mistral AI의 다국어, 코드 및 다중 턴 콘텐츠에 대한 전문 지식으로 훈련된 이 모델은 NVIDIA의 전체 스택에서 가속화된 훈련의 이점을 누리고 있습니다.
Megatron-LM과 함께 효율적인 모델 병렬 처리 기술, 확장성 및 혼합 정밀도를 활용해 최적의 성능을 위해 설계되었습니다.
모델은 다음을 사용하여 학습되었습니다. 메가트론-LMNVIDIA의 일부 네모DGX Cloud에서 3,072개의 H100 80GB Tensor Core GPU를 탑재하고 NVIDIA AI 아키텍처, 가속 컴퓨팅, 네트워크 패브릭, 소프트웨어 등으로 구성되어 학습 효율성을 높입니다.
가용성 및 배포
클라우드, 데이터 센터 또는 RTX 워크스테이션 등 어디에서나 실행할 수 있는 유연성을 갖춘 Mistral NeMo는 다양한 플랫폼에서 AI 애플리케이션을 혁신할 준비가 되었습니다.
오늘 NVIDIA NIM으로 Mistral NeMo를 경험해보세요. ai.엔비디아닷컴곧 다운로드 가능한 NIM이 출시될 예정입니다.
보다 알아채다 소프트웨어 제품 정보에 관하여.
