이 블로그의 1부에서 지속 가능성 약속을 향해 우리가 어떻게 진전을 이루고 있는지 자세히 알아보세요. 지속 가능한 설계: AI의 에너지 효율성 혁신, 1부.
우리는 클라우드 및 AI 혁신에 대한 고객의 약속을 계속 이행하면서 지속 가능성을 발전시키겠다는 확고한 약속을 유지하고 있습니다. 2030년까지 탄소 네거티브가 되겠다는 회사 목표를 달성하는 데 중요한 부분은 전력 및 에너지 효율성을 최우선으로 두고 클라우드 및 AI 인프라를 재구상하는 것입니다.
우리는 탄소 감소, 탄소 없는 전기, 탄소 제거라는 세 가지 주요 원칙을 통해 탄소 부정적인 목표를 추구하고 있습니다. 탄소 감소라는 기둥 내에서 전력 효율성과 에너지 효율성은 회사와 업계 전체의 지속 가능성 발전의 기본입니다.
“전력”과 “에너지”라는 용어는 일반적으로 같은 의미로 사용되지만, 전력 효율성은 전력 사용의 최고치를 관리하는 것과 관련이 있는 반면, 에너지 효율성은 시간이 지남에 따라 소비되는 전체 전력량을 줄이는 것과 관련이 있습니다.
이러한 구별은 효율성의 유형 때문에 연구 및 적용의 세부 사항에 중요해집니다. 에너지 효율성의 예를 보려면 다음을 탐색해 보세요. 소규모 언어 모델(SLM) 전체 처리 능력을 덜 사용하여 전화기에서 로컬로 실행할 수 있는 매개변수 수가 더 적습니다. 전력 효율성을 높이려면 다음을 통해 가용 전력 활용도를 높이는 방법을 모색할 수 있습니다. 워크로드 요구 사항 예측.
데이터 센터에서 서버, 실리콘, 코드, 알고리즘, 모델 전반에 걸쳐 하이퍼스케일 클라우드와 AI 인프라 시스템 전반에 걸쳐 효율성을 높이는 것은 시스템의 모든 부분의 효율성과 시스템이 전체적으로 작동하는 방식을 최적화하는 것으로 귀결됩니다. 우리는 대담하고 새로운 아이디어를 탐구하고 글로벌 연구 커뮤니티에 기여하기 위해 노력하면서 지난 수년 동안 우리 연구팀을 통해 효율성 면에서 많은 발전을 이루었습니다. 이 블로그에서는 우리가 어떻게 유망한 효율성 연구를 실험실에서 상업 운영으로 가져오고 있는지에 대한 몇 가지 예를 공유하고 싶습니다.
정확한 실시간 활용 데이터를 위한 실리콘 수준 전력 원격 측정
우리는 전력 원격 측정을 실리콘 수준까지 제공하는 데 획기적인 발전을 이루었고, 전력 관리의 새로운 수준의 정밀도를 제공했습니다. 칩의 전력 원격 측정은 펌웨어를 사용하여 고객 워크로드와 데이터를 기밀로 유지하면서 워크로드의 전력 프로필을 이해하는 데 도움을 줍니다. 이는 데이터 센터 내에서 항공 교통 관제 서비스를 제공하는 관리 소프트웨어에 정보를 제공하여 가장 적절한 서버, 프로세서 및 스토리지 리소스에 작업 부하를 할당하여 효율성을 최적화합니다.
AI 데이터 형식에 대한 업계 표준을 발전시키기 위해 협력
실리콘 내부의 알고리즘은 일부 입력 데이터를 가져와서 정의된 일련의 단계를 통해 해당 데이터를 처리하고 결과를 생성함으로써 문제를 해결하기 위해 노력하고 있습니다. LLM(대형 언어 모델)은 방대한 양의 데이터를 처리하여 언어의 패턴, 관계 및 구조를 학습하는 기계 학습 알고리즘을 사용하여 학습됩니다.
마이크로소프트 부조종사
Microsoft Copilot의 단순화된 예: 아이에게 이야기 쓰기를 가르치는 것을 상상해 보세요. 훈련 알고리즘은 아이에게 주는 교훈과 연습과 같습니다. 모델 아키텍처는 이야기를 이해하고 창조하도록 구성된 어린이의 두뇌입니다. 추론 알고리즘은 아이가 새로운 이야기를 쓸 때의 사고 과정이고, 평가 알고리즘은 아이의 쓰기 능력을 향상시키기 위해 주는 점수나 피드백입니다.1
효율성을 위해 알고리즘을 최적화하는 방법 중 하나는 실수를 효율적으로 처리하는 데 사용되는 특수 수치 표현인 부동 소수점 데이터 형식의 정밀도를 줄이는 것입니다. Open Compute Project를 통해 우리는 다른 업계 리더들과 협력하여 마이크로스케일링 형식(MX) 제휴 AI 훈련 및 추론을 위한 차세대 6비트 및 4비트 데이터 유형을 생성하고 표준화하는 것을 목표로 합니다.
더 좁은 형식을 사용하면 실리콘이 클록 주기당 더 효율적인 AI 계산을 실행할 수 있으므로 모델 훈련 및 추론 시간이 가속화됩니다. 이러한 모델은 공간을 덜 차지하므로 메모리에서 가져오는 데이터가 더 적고 더 나은 성능과 효율성으로 실행될 수 있습니다. 또한 더 적은 비트를 사용하면 상호 연결을 통해 더 적은 양의 데이터가 전송되므로 애플리케이션 성능이 향상되거나 네트워크 비용이 절감될 수 있습니다.
위상 분할을 통한 LLM 추론의 효율성 향상
연구는 또한 다음과 같은 가능성을 보여줍니다. LLM(대형 언어 모델) 추론에 대한 새로운 접근 방식본질적으로 LLM 추론의 두 단계를 각각 특정 단계에 적합한 별도의 시스템으로 분리합니다. 각 단계의 리소스 요구 사항이 다르기 때문에 일부 시스템은 AI 가속기를 언더클럭하거나 이전 세대 가속기를 활용할 수도 있습니다. 현재 설계와 비교하여 이 기술은 동일한 전력 및 비용 예산으로 2.35배 더 많은 처리량을 제공할 수 있습니다.2
AI 효율성에 대해 자세히 알아보고 리소스를 살펴보세요.
우리는 자체 운영을 재구성하는 것 외에도 개발자와 데이터 과학자가 더 적은 리소스를 사용하면서 유사한 결과를 달성할 수 있는 AI 모델을 구축하고 최적화할 수 있도록 지원하기 위해 노력하고 있습니다. 앞서 언급한 것처럼 소규모 언어 모델(SLM)은 다양한 작업에 대한 미세 조정 실험 또는 심지어는 다양한 사용 사례에 대해 대규모 언어 모델(LLM)에 대한 보다 효율적인 대안을 제공할 수 있습니다. 초등학교 수학 문제.
2024년 4월, 우리는 Phi-3를 발표했습니다는 다양한 언어, 추론, 코딩 및 수학 벤치마크에서 동일하고 더 큰 크기의 모델보다 뛰어난 성능을 발휘하는 개방적이고 성능이 뛰어나며 비용 효율적인 SLM 제품군입니다. 이번 릴리스에서는 고객을 위한 고품질 모델 선택 범위가 확대되어 생성 AI 애플리케이션을 구성하고 구축하기 위한 실용적인 선택을 제공합니다. 그런 다음 우리는 소개했습니다. Phi 제품군의 새로운 모델16명의 소규모 전문가를 하나로 결합한 Mixture of Experts 모델인 Phi-3.5-MoE와 Phi-35-mini가 포함됩니다. 이 두 모델은 모두 다국어이며 20개 이상의 언어를 지원합니다.
지속 가능한 디자인 블로그 시리즈를 통해 우리가 지속 가능성을 어떻게 발전시키고 있는지 자세히 알아보세요. 지속 가능한 설계: AI의 지속 가능성 향상.
1Copilot 프롬프트에서 발췌: 알고리즘이 LLM과 어떻게 관련되는지 설명해주세요.
2분할 방식: 위상 분할을 사용한 효율적인 생성 LLM 추론마이크로소프트 리서치.
게시물 지속 가능한 설계: AI의 에너지 효율성 혁신, 2부 처음 등장한 Microsoft AI 블로그.
