우리는 중요한 업데이트를 발표하게 되어 기쁩니다. Azure OpenAI 서비스현재 가격보다 더 효율적이고 비용 효율적으로 AI 배포를 관리할 수 있도록 60,000명 이상의 고객을 돕도록 설계되었습니다. 셀프 서비스 프로비저닝 배포를 도입하여 할당량 및 배포 프로세스를 더 민첩하게 만들고, 출시를 더 빠르게 하고, 더 경제적으로 만드는 것을 목표로 합니다. 기술적 가치 제안은 변함이 없습니다. 프로비저닝 배포는 지연에 민감하고 처리량이 많은 애플리케이션에 가장 적합한 옵션입니다. 오늘의 발표에는 셀프 서비스 프로비저닝, 서비스 용량 및 가용성에 대한 가시성, 비용 관리 및 절감을 돕기 위한 프로비저닝(PTU) 시간당 가격 책정 및 예약 도입이 포함됩니다.
새로운 소식은?
셀프 서비스 프로비저닝 및 모델 독립 할당량 요청
표준 토큰과 함께 셀프 서비스 프로비저닝을 도입하여 프로비저닝된 처리량 단위(PTU)를 보다 유연하고 효율적으로 요청할 수 있습니다. 이 새로운 기능을 사용하면 계정 팀의 지원에 의존하지 않고도 Azure OpenAI 서비스 쿼터 배포를 독립적으로 관리할 수 있습니다. 특정 모델에서 쿼터 요청을 분리하여 이제 즉각적인 요구 사항에 따라 리소스를 할당하고 요구 사항이 진화함에 따라 조정할 수 있습니다. 이 변경으로 프로세스가 간소화되고 애플리케이션을 배포하고 확장하는 기능이 가속화됩니다.
서비스 용량 및 가용성에 대한 가시성
서비스 용량과 가용성에 대한 더 나은 가시성을 확보하여 배포에 대한 정보에 입각한 결정을 내리는 데 도움이 됩니다. 이 새로운 기능을 사용하면 다양한 지역의 서비스 용량에 대한 실시간 정보에 액세스하여 배포를 보다 효과적으로 계획하고 관리할 수 있습니다. 이러한 투명성을 통해 잠재적인 용량 문제를 피하고 사용 가능한 리소스에 걸쳐 워크로드를 분배하는 것을 최적화하여 애플리케이션의 성능과 안정성을 개선할 수 있습니다.
시간당 가격 책정 및 예약 제공
PTU를 위한 두 가지 새로운 셀프 서비스 구매 옵션을 소개하게 되어 기쁩니다.
- 시간당 무약정 구매
- 이제 단 1시간 동안 Provisioned 배포를 생성할 수 있으며, 단위당 시간당 정액 요금은 2달러입니다. 이 모델에 독립적인 가격 책정으로 필요에 따라 배포를 쉽게 배포하고 해체할 수 있어 최대한의 유연성을 제공합니다. 이는 장기적 약속 없이 시나리오나 전환 기간을 테스트하는 데 이상적입니다.
- 프로비저닝된 배포에 대한 월별 및 연간 Azure 예약
- 꾸준한 요청 볼륨이 있는 프로덕션 환경의 경우 Azure OpenAI Service Provisioned Reservations는 상당한 비용 절감을 제공합니다. 월별 또는 연간 예약을 커밋함으로써, 최대 82% 또는 85%까지 절약할 수 있습니다. 각각 시간당 요금에 따라 다릅니다. 예약은 이제 특정 모델 및 배포에서 분리되어 타의 추종을 불허하는 유연성을 제공합니다. 이 접근 방식을 통해 기업은 모델을 전환하고 필요에 따라 배포를 조정할 수 있는 기능을 유지하면서 비용을 최적화할 수 있습니다. 여기에서 예약에 대한 기술 블로그를 읽어보세요..
의사결정권자를 위한 이점
이러한 업데이트는 유연성, 비용 효율성, 사용 편의성을 제공하도록 설계되어 의사 결정권자가 AI 배포를 더 쉽게 관리할 수 있도록 해줍니다.
- 유연성: 셀프 서비스 프로비저닝과 시간당 가격 책정을 통해 장기적 약정 없이도 즉각적인 요구 사항에 따라 배포 규모를 늘리거나 줄일 수 있습니다.
- 비용 효율성: Azure Reservations은 장기 사용 시 상당한 비용 절감 효과를 제공하여 더 나은 예산 계획 및 비용 관리가 가능합니다.
- 사용의 용이성: 가시성이 향상되고 프로비저닝 프로세스가 간소화되어 관리 부담이 줄어들고, 팀은 운영 세부 사항이 아닌 전략적 이니셔티브에 집중할 수 있습니다.
고객 성공 사례
셀프 서비스를 제공하기 전에 일부 고객만이 이러한 옵션의 이점을 누리기 시작했습니다.
- 바이저 솔루션: Azure OpenAI Service와 함께 Provisioned Throughput Units(PTU)를 활용하여 Visier Solutions는 AI 기반 사람 분석 도구인 Vee를 크게 개선했습니다. Visier는 PTU를 통해 광범위한 고객 기반의 방대한 양의 쿼리를 처리하는 데 중요한 빠르고 일관된 응답 시간을 보장합니다. Visier의 혁신적인 솔루션과 Azure의 강력한 인프라 간의 이 강력한 시너지는 빠르고 정확한 통찰력을 제공하여 고객 만족도를 높일 뿐만 아니라 최첨단 기술을 사용하여 인력 분석에서 획기적인 변화를 추진하려는 Visier의 노력을 강조합니다. Microsoft 사례 연구를 읽어보세요.
- 분석 및 통찰력 회사: 표준 배포에서 GPT-4 Turbo PTU로 전환한 결과, 응답 시간이 10~20초에서 단 2~3초로 크게 단축되었습니다.
- 챗봇 서비스 회사: Azure PTU를 사용하면 안정성이 향상되고 대기 시간이 단축되어 서비스 성능이 향상된다고 보고되었습니다.
- 비주얼 엔터테인먼트 회사: 지연 시간이 12~13초에서 2~3초로 대폭 개선되어 사용자 참여도가 향상되었습니다.
모든 고객이 Azure OpenAI Service를 사용하여 빌드할 수 있도록 지원
이러한 새로운 업데이트는 낮고 예측 가능한 대기 시간을 계속 제공하는 Provisioned 배포의 기술적 우수성을 변경하지 않습니다. 대신, 보다 유연하고 비용 효율적인 조달 모델을 도입하여 Azure OpenAI Service를 그 어느 때보다 더 쉽게 이용할 수 있게 합니다. 셀프 서비스 Provisioned, 모델 독립 단위, 시간당 및 예약 가격 옵션을 통해 진입 장벽이 크게 낮아졌습니다.
클라우드 및 AI 투자의 안정성, 보안 및 성능을 향상시키는 방법에 대해 자세히 알아보려면 아래 추가 리소스를 살펴보세요.
추가 자료
게시물 셀프 서비스 프로비저닝을 포함한 Azure OpenAI 서비스를 위한 새로운 배포 및 비용 관리 솔루션을 통해 AI 배포를 보다 효율적으로 향상시키세요. 처음 등장 Microsoft AI 블로그.