오늘날 빠르게 발전하는 디지털 환경에서 기업에는 강력한 AI 모델 그 이상이 필요합니다. 적응력이 뛰어나고 안정적이며 확장 가능한 AI 솔루션이 필요합니다. 데이터 영역의 출시 예정과 프로비저닝된 제품에 대한 새로운 개선 사항을 통해 Azure OpenAI 서비스우리는 AI를 광범위하게 사용할 수 있고 기업에서도 사용할 수 있도록 하는 데 큰 진전을 이루고 있습니다. 이러한 기능은 조직이 생성적 AI 모델을 배포, 관리 및 최적화하는 방법의 근본적인 변화를 나타냅니다.
유럽 연합과 미국에서 Azure OpenAI 서비스 데이터 영역이 출시됨에 따라 기업은 이제 지역 데이터 상주 요구 사항을 준수하면서 AI 워크로드를 더욱 쉽게 확장할 수 있습니다. 역사적으로 모델 지역 가용성의 차이로 인해 고객은 여러 리소스를 관리해야 했고, 이로 인해 개발 속도가 느려지고 운영이 복잡해지는 경우가 많았습니다. Azure OpenAI 서비스 데이터 영역은 유연한 다중 지역 데이터 처리를 제공하는 동시에 선택한 데이터 경계 내에서 데이터가 처리되고 저장되도록 하여 이러한 마찰을 제거할 수 있습니다.
이는 또한 기업이 서로 다른 시스템에서 트래픽을 관리하는 복잡성을 탐색할 필요 없이 성능과 안정성을 모두 최적화하여 지역 전반에 걸쳐 AI 운영을 원활하게 확장할 수 있도록 하는 규정 준수의 승리입니다.
법률 전문가를 위한 genAI 플랫폼을 구축하는 기술 스타트업 Leya는 데이터 영역 배포 옵션을 탐색해 왔습니다.
“Azure OpenAI Service Data Zones 배포 옵션은 Leya가 AI 애플리케이션을 수천 명의 변호사에게 안전하게 확장하여 규정 준수와 최고의 성능을 보장할 수 있는 비용 효율적인 방법을 제공합니다. 최신 Azure OpenAI 혁신에 빠르게 액세스하여 더 나은 고객 품질과 제어를 달성하는 데 도움이 됩니다.“—Sigge Labor, CTO, Leah
데이터 영역은 이번 주 2024년 11월 1일부터 표준(PayGo) 및 프로비저닝된 제품 모두에 사용할 수 있습니다.
업계 최고의 성능
기업은 특히 미션 크리티컬 애플리케이션을 배포할 때 예측 가능성에 의존합니다. 이것이 바로 우리가 토큰 생성에 대해 99% 대기 시간 서비스 수준 계약을 도입하는 이유입니다. 이 대기 시간 SLA는 토큰이 특히 대용량에서 더 빠르고 일관된 속도로 생성되도록 보장합니다.
프로비저닝된 제안은 애플리케이션에 예측 가능한 성능을 제공합니다. 전자상거래, 의료, 금융 서비스 분야에서 지연 시간이 짧고 안정성이 높은 AI 인프라에 의존하는 능력은 더 나은 고객 경험과 더 효율적인 운영으로 직접적으로 이어집니다.
시작 비용 절감
더 쉽게 테스트, 확장 및 관리할 수 있도록 2024년 11월 1일부터 프로비저닝된 글로벌 및 프로비저닝된 데이터 영역 배포에 대한 시간당 가격을 인하합니다. 이러한 비용 절감을 통해 고객은 높은 비용 부담 없이 이러한 새로운 기능의 혜택을 누릴 수 있습니다. 경비. 프로비저닝된 제품은 월별 및 연간 약정에 대해 계속해서 할인을 제공합니다.
| 배포 옵션 | 시간별 PTU | PTU당 1개월 예약 | PTU당 1년 예약 |
| 프로비저닝된 글로벌 | 현재: 시간당 $2.00 2024년 11월 1일: 시간당 $1.00 |
월 $260 | 월 $221 |
| 프로비저닝된 데이터 영역새로운 | 2024년 11월 1일: 시간당 $1.10 | 월 $260 | 월 $221 |
또한 프로비저닝된 글로벌 배포를 위한 배포 최소 진입점을 70% 줄이고 증분을 최대 90%까지 확장하여 기업이 개발 수명 주기 초기에 프로비저닝된 제품을 시작하는 장벽을 낮추고 있습니다.
프로비저닝된 제품의 최소 배포 수량 및 증분
| 모델 | 글로벌 | 데이터 존 새로운 | 지역 |
| GPT-4o | 최소: 증가 |
최소: 15 증분 5 |
최소: 50 증분 50 |
| GPT-4o-미니 | 최소: 증가: |
최소: 15 증분 5 |
최소: 25 증분: 25 |
개발자와 IT 팀의 경우 이는 표준 제품에서 프로비저닝 제품으로 전환할 때 배포 시간이 단축되고 마찰이 줄어드는 것을 의미합니다. 기업이 성장함에 따라 이러한 간단한 전환은 AI 애플리케이션을 전 세계적으로 확장하는 동시에 민첩성을 유지하는 데 필수적입니다.
캐싱을 통한 효율성: 대용량 애플리케이션을 위한 획기적인 솔루션
또 다른 새로운 기능은 반복적인 API 요청에 대해 더 저렴하고 빠른 추론을 제공하는 프롬프트 캐싱(Prompt Caching)입니다. 캐시된 토큰은 Standard의 경우 50% 할인됩니다. 동일한 시스템 프롬프트 및 지침을 자주 보내는 응용 프로그램의 경우 이러한 개선 사항은 상당한 비용 및 성능 이점을 제공합니다.
프롬프트를 캐싱함으로써 조직은 동일한 요청을 반복적으로 재처리할 필요 없이 처리량을 극대화하는 동시에 비용을 절감할 수 있습니다. 이는 약간의 성능 향상이라도 실질적인 비즈니스 이익으로 이어질 수 있는 트래픽이 많은 환경에 특히 유용합니다.
모델 유연성과 성능의 새로운 시대
프로비저닝된 제품의 주요 이점 중 하나는 사용 가능한 모든 모델에 적용되는 하나의 간단한 시간별, 월별 및 연간 가격으로 유연하다는 것입니다. 또한 프로비저닝된 배포에서 각 모델에 대해 얻는 분당 토큰(TPM) 수를 이해하기 어렵다는 피드백도 들었습니다. 이제 각 프로비저닝된 배포에 대한 분당 입력 및 출력 토큰 수에 대한 단순화된 보기를 제공합니다. 고객은 더 이상 상세한 변환표나 계산기에 의존할 필요가 없습니다.
우리는 프로비저닝된 제품을 통해 고객이 좋아하는 유연성을 유지하고 있습니다. 월별 및 연간 약정을 사용하면 할인 혜택을 잃지 않고 예약 기간 내에 GPT-4o 및 GPT-4o-mini와 같은 모델과 버전을 변경할 수 있습니다. 이러한 민첩성을 통해 기업은 불필요한 비용을 발생시키거나 인프라를 재구성하지 않고도 AI 배포를 실험, 반복 및 발전시킬 수 있습니다.
실행 중인 엔터프라이즈 준비 상태
Azure OpenAI의 지속적인 혁신은 단지 이론적인 것이 아닙니다. 이미 다양한 산업 분야에서 성과를 내고 있습니다. 예를 들어 다음과 같은 회사는 AT&T, H&R 블록, 메르세데스등 더 많은 사람들이 사용하고 있습니다. Azure OpenAI 서비스 단순한 도구가 아니라 운영 방식과 고객 참여 방식을 바꾸는 혁신적인 자산입니다.
모델을 넘어서: 엔터프라이즈급 약속
AI의 미래는 단순히 최신 모델을 제공하는 것 그 이상이라는 것이 분명합니다. GPT-4o 및 GPT-4o-mini와 같은 강력한 모델이 기반을 제공하지만 Azure OpenAI 서비스를 엔터프라이즈급으로 만드는 것은 프로비저닝된 제품, 데이터 영역 배포 옵션, SLA, 캐싱, 단순화된 배포 흐름과 같은 지원 인프라입니다. .
Microsoft의 비전은 최첨단 AI 모델뿐만 아니라 기업이 이러한 모델을 자신 있고 안전하며 비용 효율적으로 확장할 수 있도록 하는 엔터프라이즈급 도구 및 지원을 제공하는 것입니다. 짧은 대기 시간, 높은 안정성 배포 지원부터 유연하고 단순화된 인프라 제공에 이르기까지 Azure OpenAI 서비스는 기업이 AI 기반 혁신의 미래를 완전히 수용할 수 있도록 지원합니다.
지금 시작하세요
AI 환경이 계속 발전함에 따라 확장 가능하고 유연하며 안정적인 AI 솔루션의 필요성이 기업 성공을 위해 더욱 중요해지고 있습니다. Azure OpenAI 서비스의 최신 개선 사항을 통해 Microsoft는 고객에게 세계적 수준의 AI 모델에 대한 액세스뿐만 아니라 이를 대규모로 운용할 수 있는 도구 및 인프라도 제공함으로써 이러한 약속을 이행하고 있습니다.
이제 기업은 Azure를 통해 생성 AI의 잠재력을 최대한 활용하여 실험을 넘어 측정 가능한 결과를 도출하는 실제 엔터프라이즈급 애플리케이션으로 전환할 때입니다. 가상 비서 확장, 실시간 음성 애플리케이션 개발, AI를 통한 고객 서비스 혁신 등 무엇을 하든 Azure OpenAI 서비스는 혁신과 성장에 필요한 엔터프라이즈급 플랫폼을 제공합니다.
게시물 Azure OpenAI Service Provisioned 제품으로 규모를 가속화하세요. 처음 등장한 Microsoft AI 블로그.