AI는 모든 산업을 변화시키고 혁신과 성장을 위한 새로운 기회를 창출하고 있습니다. 그러나 대규모로 AI 애플리케이션을 개발하고 배포하려면 현대 기업의 복잡하고 다양한 요구를 처리하고 조직 데이터를 기반으로 솔루션을 만들 수 있는 강력하고 유연한 플랫폼이 필요합니다. 그래서 개발자가 더 큰 선택권과 유연성을 갖춘 맞춤형 AI 솔루션을 신속하게 만들 수 있도록 돕는 여러 업데이트를 발표하게 되어 기쁩니다. 애저 AI 툴체인:
- Phi-3-mini 및 Phi-3-medium 모델을 위한 서버리스 미세 조정 개발자가 컴퓨팅을 준비하지 않고도 클라우드 및 에지 시나리오에 맞게 모델을 빠르고 쉽게 사용자 정의할 수 있도록 해줍니다.
- Phi-3-mini 업데이트 포함 핵심 품질, 지시 수행 및 구조화된 출력의 상당한 개선이를 통해 개발자는 추가 비용 없이 성능이 더 뛰어난 모델을 구축할 수 있습니다.
- 이번 달 초에 최신 모델의 당일 배송이 시작되었습니다. OpenAI(GPT-4o 미니), 메타(라마 3.1 405B), 미스트랄(대형 2) 고객에게 더 많은 선택권과 유연성을 제공하기 위해 Azure AI를 도입했습니다.
모델 혁신 및 맞춤화를 통한 가치 창출
4월에 우리는 소개했습니다 파이-3 패밀리 Microsoft에서 개발한 작고 개방형 모델입니다. Phi-3 모델은 사용 가능한 가장 유능하고 비용 효율적인 소규모 언어 모델(SLM)로, 동일한 크기와 그보다 큰 크기의 모델보다 성능이 뛰어납니다. 개발자가 특정 비즈니스 요구 사항을 충족하고 응답 품질을 개선하기 위해 AI 솔루션을 맞춤화하려고 할 때, 성능을 희생하지 않고도 소규모 모델을 미세 조정하는 것은 훌륭한 대안입니다. 오늘부터 개발자는 Phi-3-mini 및 Phi-3-medium 미세 조정 데이터를 활용해 사용자에게 더욱 관련성이 높고 안전하며 경제적으로 제공되는 AI 경험을 구축합니다.
작은 컴퓨팅 풋프린트, 클라우드 및 에지 호환성을 감안할 때, Phi-3 모델은 새로운 기술이나 작업(예: 튜터링)을 배우거나 응답의 일관성과 품질을 향상시키는 것(예: 채팅/Q&A에서 응답의 톤이나 스타일)을 포함한 다양한 시나리오에서 기본 모델 성능을 개선하기 위한 미세 조정에 적합합니다. 우리는 이미 새로운 사용 사례에 대한 Phi-3의 적용을 보고 있습니다.
Microsoft와 Khan Academy는 전 세계 교사와 학생을 위한 솔루션을 개선하기 위해 협력하고 있습니다. 협업의 일환으로 Khan Academy는 Azure OpenAI 서비스 Khanmigo for Teachers를 구동하기 위해, 44개국의 교육자를 위한 파일럿 AI 기반 교사 조수이며, 수학 튜터링을 개선하기 위해 Phi-3를 실험하고 있습니다. Khan Academy는 최근 튜터링 시나리오에서 수학적 정확성을 평가할 때 다양한 AI 모델이 어떻게 수행되는지 강조하는 연구 논문을 발표했으며, 여기에는 미세 조정된 버전의 Phi-3의 벤치마크도 포함됩니다. 초기 데이터 학생이 수학적 실수를 했을 때, Phi-3는 학생의 실수를 교정하고 식별하는 측면에서 다른 대부분의 선도적인 생성 AI 모델보다 우수한 성과를 보였습니다.
그리고 우리는 또한 장치에 맞게 Phi-3를 미세 조정했습니다. 6월에 우리는 소개했습니다. 파이 실리카 개발자에게 안전하고 보안이 강화된 AI 경험을 제공하는 앱을 구축하기 위한 강력하고 신뢰할 수 있는 모델을 제공합니다. Phi Silica는 Phi 모델 제품군을 기반으로 하며 Copilot+ PC의 NPU를 위해 특별히 설계되었습니다. Microsoft Windows는 신경 처리 장치(NPU) 및 배송 받은 편지함에 맞게 맞춤 제작된 최첨단 소규모 언어 모델(SLM)을 갖춘 최초의 플랫폼입니다.
오늘 Phi-3 모델에 대한 미세 조정을 시도할 수 있습니다. 애저 AI.
또한 Azure AI의 Models-as-a-Service(서버리스 엔드포인트) 기능이 이제 일반적으로 사용 가능하다는 사실을 공유하게 되어 기쁩니다. 또한, Phi-3-small은 이제 서버리스 엔드포인트를 통해 사용할 수 있습니다. 개발자는 기본 인프라를 관리하지 않고도 AI 개발을 빠르고 쉽게 시작할 수 있습니다. Phi-3 제품군의 멀티모달 모델인 Phi-3-vision은 Microsoft Build에서 발표되었으며 Azure AI 모델 카탈로그를 통해 제공됩니다. 곧 서버리스 엔드포인트를 통해서도 제공될 예정입니다. Phi-3-small(7B 매개변수)은 128K와 8K의 두 가지 컨텍스트 길이로 제공되는 반면 Phi-3-vision(4.2B 매개변수)도 차트 및 다이어그램 이해에 최적화되었으며 통찰력을 생성하고 질문에 답하는 데 사용할 수 있습니다.
우리는 Phi-3에 대한 커뮤니티의 엄청난 반응을 보고 있습니다. 우리는 Phi-3-mini에 대한 업데이트 지난달에는 핵심 품질과 지시 수행에 상당한 개선이 있었습니다. 이 모델은 재교육되어 지시 수행과 구조화된 출력에 대한 지원이 상당히 개선되었습니다. 또한 다중 턴 대화 품질을 개선하고 프롬프트 지원을 도입했으며 추론 능력을 크게 개선했습니다.
아래 표는 지시 따르기, 구조화된 출력, 추론 부문에서 개선된 점을 강조합니다.
| 벤치마크 | 파이-3-미니-4K | 파이-3-미니-128k | ||
| 4월 ’24 출시 | 6월 ’24 업데이트 | 4월 ’24 출시 | 6월 ’24 업데이트 | |
| 지시사항 Extra Hard | 5.7 | 6.0 | 5.7 | 5.9 |
| 지시 하드 | 4.9 | 5.1 | 5 | 5.2 |
| JSON 구조 출력 | 11.5 | 52.3 | 1.9 | 60.1 |
| XML 구조 출력 | 14.4 | 49.8 | 47.8 | 52.9 |
| GPQA | 23.7 | 30.6 | 25.9 | 29.7 |
| 한국어: | 68.8 | 70.9 | 68.1 | 69.7 |
| 평균 | 21.7 | 35.8 | 25.7 | 37.6 |
우리는 Phi-3의 안전성도 지속적으로 개선해 나가고 있습니다. 최근 연구 논문 Phi-3 모델의 안전성을 개선하기 위한 Microsoft의 반복적인 “break-fix” 접근 방식을 강조했습니다. 여기에는 여러 차례의 테스트와 개선, 레드팀 구성, 취약성 식별이 포함되었습니다. 이 방법은 유해한 콘텐츠를 75%나 크게 줄이고 책임 있는 AI 벤치마크에서 모델의 성능을 향상시켰습니다.
Azure AI에서 사용 가능한 모델이 1600개가 넘어 모델 선택 범위가 확대되었습니다.
Azure AI를 통해 우리는 고객의 고유한 비용, 대기 시간 및 디자인 요구 사항을 충족하는 데 도움이 되는 가장 포괄적인 개방형 및 프런티어 모델과 최첨단 툴링을 제공하기 위해 최선을 다하고 있습니다. 작년에 우리는 Azure AI 모델 카탈로그를 출시했으며, 이제 AI21, Cohere, Databricks, Hugging Face, Meta, Mistral, Microsoft Research, OpenAI, Snowflake, Stability AI 등을 포함한 공급업체의 1,600개 이상의 모델로 가장 광범위한 모델을 보유하고 있습니다. 이번 달에는 Azure OpenAI Service를 통한 OpenAI의 GPT-4o mini, Meta Llama 3.1 405B, Mistral Large 2를 추가했습니다.
오늘의 기세를 이어가며 Cohere Rerank가 이제 Azure에서 사용 가능하다는 소식을 전해드리게 되어 기쁩니다. Azure AI의 강력한 인프라에서 Cohere의 엔터프라이즈 지원 언어 모델에 액세스하면 기업은 최첨단 의미 검색 기술을 애플리케이션에 원활하고 안정적이며 안전하게 통합할 수 있습니다. 이 통합을 통해 사용자는 Azure의 유연성과 확장성을 Cohere의 고성능 및 효율적인 언어 모델과 결합하여 프로덕션에서 뛰어난 검색 결과를 제공할 수 있습니다.
북미 최대 규모의 은행 중 하나인 TD Bank Group은 최근 Cohere와 계약을 체결하여 Cohere Rerank를 포함한 광범위한 언어 모델(LLM) 제품군을 탐색하기로 했습니다.
TD에서는 고객, 동료 및 커뮤니티에 보다 개인화되고 직관적인 경험을 제공하기 위한 AI의 혁신적인 잠재력을 확인했으며, Cohere와 협력하여 Microsoft Azure에서 언어 모델이 어떻게 수행되는지 알아보고 은행에서의 혁신 여정을 지원하게 되어 기쁩니다.”
커스티 라신, 부사장, AI 기술 책임자, TD.
디지털 워크플레이스 경험 플랫폼이자 오랜 Azure 고객인 Atomicwork는 Cohere Rerank로 IT 서비스 관리 플랫폼을 크게 강화했습니다. Atomicwork는 이 모델을 AI 디지털 어시스턴트인 Atom AI에 통합하여 검색 정확도와 관련성을 개선하고 복잡한 IT 지원 질의에 대한 더 빠르고 정확한 답변을 제공했습니다. 이 통합으로 IT 운영이 간소화되고 기업 전체의 생산성이 향상되었습니다.
Atomicwork의 디지털 워크플레이스 경험 솔루션의 원동력은 Cohere의 Rerank 모델과 Azure AI Studio로, 이를 통해 디지털 어시스턴트인 Atom AI가 실제 결과를 제공하는 데 필요한 정밀성과 성능을 제공합니다. 이 전략적 협업은 기업에 고급, 보안 및 신뢰할 수 있는 엔터프라이즈 AI 기능을 제공하려는 당사의 헌신을 강조합니다.”
Atomicwork의 CEO인 비자이 라야파티(Vijay Rayapati)
Azure AI에서도 사용할 수 있는 Cohere의 플래그십 생성 모델인 Command R+는 Retrieval Augmented Generation(RAG) 시스템 내에서 Cohere Rerank와 잘 작동하도록 특별히 제작되었습니다. 이 둘을 함께 사용하면 프로덕션에서 가장 까다로운 엔터프라이즈 워크로드 중 일부를 처리할 수 있습니다.
이번 주 초에, 우리는 Meta Llama 3.1 405B와 8B 및 70B를 포함한 최신 미세 조정된 Llama 3.1 모델이 이제 Azure AI의 서버리스 엔드포인트를 통해 사용 가능하다고 발표했습니다. Llama 3.1 405B는 고급 합성 데이터 생성 및 증류에 사용할 수 있으며, 405B-Instruct는 교사 모델로, 8B-Instruct/70B-Instruct 모델은 학생 모델로 작동합니다. 이 발표에 대한 자세한 내용은 여기에서 확인하세요..
Mistral Large 2는 이제 Azure에서 사용할 수 있으며, Azure는 이 차세대 모델을 제공하는 최초의 선도적 클라우드 공급업체가 되었습니다. Mistral Large 2는 코딩, 추론 및 에이전트 행동에서 이전 버전을 능가하며 다른 선도적 모델과 동등한 수준을 보입니다. 또한 NVIDIA와 협력하여 개발한 Mistral Nemo는 언어 이해 및 생성의 경계를 넓히는 강력한 12B 모델을 제공합니다. 더 알아보기.
그리고 지난주에, 우리는 GPT-4o mini를 Azure AI에 가져왔습니다. Azure OpenAI 서비스에 대한 다른 업데이트와 함께, 고객은 향상된 안전성 및 데이터 배포 옵션을 통해 더 낮은 비용과 대기 시간으로 AI 애플리케이션 범위를 확장할 수 있습니다. 앞으로 몇 주 안에 GPT-4o mini에 대한 더 많은 기능을 발표할 예정입니다. 또한 새로운 기능을 소개하게 되어 기쁩니다. Azure OpenAI 서비스로 구축된 챗봇 배포 Microsoft Teams로.
AI 혁신을 안전하고 책임감 있게 실현
책임감 있게 AI 솔루션을 구축하는 것은 Microsoft의 AI 개발의 핵심입니다. Microsoft는 조직이 기존 머신 러닝 및 생성 AI 애플리케이션의 AI 개발 라이프사이클 전반에 걸쳐 AI 위험을 측정, 완화 및 관리할 수 있도록 돕는 강력한 기능 세트를 보유하고 있습니다. Azure AI 평가를 통해 개발자는 기본 제공 및 사용자 지정 메트릭을 사용하여 완화를 알리는 모델 및 애플리케이션의 품질과 안전성을 반복적으로 평가할 수 있습니다. 추가 Azure AI 콘텐츠 안전 기능(즉각적인 보호막 및 보호된 자료 감지 포함)이 이제 Azure OpenAI 서비스에서 “기본적으로 켜짐”으로 설정되었습니다. 이러한 기능은 Phi-3, Llama 및 Mistral을 포함하여 모델 카탈로그에 포함된 모든 기초 모델과 함께 콘텐츠 필터로 활용할 수 있습니다. 개발자는 단일 API를 통해 이러한 기능을 애플리케이션에 쉽게 통합할 수도 있습니다. 프로덕션에 들어가면 개발자는 그들의 응용 프로그램을 모니터링합니다 품질과 안전, 적대적인 신속한 공격에 대한 대응, 데이터 무결성을 위해 실시간 알림을 통해 시기적절한 개입을 실시합니다.
Azure AI는 다음을 사용합니다. HiddenLayer 모델 스캐너 사이버 보안 취약성, 맬웨어 및 기타 변조 징후와 같은 새로운 위협에 대해 타사 및 오픈 모델을 스캔한 후 온보딩합니다. Azure AI 모델 카탈로그. 각 모델 카드 내에서 제공되는 Model Scanner의 결과 검증은 개발자 팀이 애플리케이션을 위해 오픈 모델을 선택하고, 미세 조정하고, 배포할 때 더 큰 확신을 가질 수 있게 해줍니다.
우리는 고객에게 최첨단 혁신을 제공하기 위해 Azure AI 스택 전반에 걸쳐 투자를 계속하여 고객이 AI 솔루션을 안전하고 자신 있게 빌드, 배포 및 확장할 수 있도록 합니다. 다음에 무엇을 빌드할지 기대가 큽니다.
Azure AI에 대한 최신 소식을 받아보세요
- 이것을보세요 동영상 Azure AI 모델 카탈로그에 대해 자세히 알아보세요.
- 듣다 Phi-3에 대한 팟캐스트 Microsoft의 수석 연구원인 Sebastien Bubeck와 함께.
게시물 조직이 AI 애플리케이션을 사용자 지정하고 확장할 수 있도록 Phi-3 미세 조정, 새로운 생성 AI 모델 및 기타 Azure AI 업데이트를 발표합니다. 처음 등장 Microsoft AI 블로그.