빠르게 진화하는 AI 세계에서 더 큰 것이 항상 필요한 것은 아니며, 작은 언어 모델 (SLM). SLM은 개발자가 간단한 작업에 적용할 수 있는 대용량 처리를 위해 설계된 소형 AI 시스템입니다. SLM은 리소스가 제한된 장치나 연결, 메모리, 전기가 제한된 환경에서 효율성과 성능을 제공하도록 최적화되어 있어 장치 내 배포에 이상적인 선택입니다.1
독일 뮌헨에 있는 정보 및 언어 처리 센터의 연구원들은 “… 매개변수 수가 몇 배 더 작다는 점에서 훨씬 ‘친환경’ 언어 모델을 사용하면 GPT-3과 유사한 성능을 얻을 수 있습니다.”라는 사실을 발견했습니다.2 컴퓨팅 복잡성을 최소화하는 동시에 리소스 소비와 성능의 균형을 맞추는 것이 SLM의 핵심 전략입니다. 일반적으로 SLM은 100억 개 미만의 매개변수로 크기가 지정되므로 LLM(대형 언어 모델)보다 5~10배 더 작습니다.
SLM의 3가지 주요 기능 및 이점
소규모 언어 모델에는 많은 이점이 있지만 여기에는 세 가지 주요 기능과 이점이 있습니다.
1. 작업별 미세 조정
SLM이 LLM에 비해 갖는 장점은 제한된 영역에서 관련 작업에 대해 높은 수준의 정확도를 달성하기 위해 반복 샘플링을 통해 더 쉽고 비용 효율적으로 미세 조정할 수 있다는 것입니다. 즉, 필요한 그래픽 처리 장치(GPU)가 적고 시간이 덜 소요됩니다. . 따라서 고객 서비스, 의료 또는 금융과 같은 특정 산업에 맞게 SLM을 미세 조정하면 기업은 효율성과 전문화를 위해 이러한 모델을 선택하는 동시에 계산 절약의 이점을 누릴 수 있습니다.
AI에 대한 전략 계획 수립
혜택: 이 작업별 최적화는 광범위한 일반 지식보다 높은 정확도가 더 중요한 산업별 응용 프로그램이나 시나리오에서 작은 모델을 특히 유용하게 만듭니다. 예를 들어, 제품 리뷰에서 감정 분석을 실행하는 온라인 소매업체를 위해 미세 조정된 소형 모델은 범용 대형 모델을 배포한 경우보다 이 특정 작업에서 더 높은 정확도를 달성할 수 있습니다.
2. 매개변수 개수 감소
SLM은 LLM보다 매개변수 수가 적으며 작업하는 데이터에서 복잡한 패턴을 덜 식별하도록 훈련되었습니다. 매개변수는 모델이 출력에 영향을 미치고 생성하기 전에 정보 입력을 처리하고 해석하는 방법을 정의하는 데 사용되는 가중치 또는 편향의 집합입니다. LLM에는 수십억 또는 심지어 수조 개의 매개변수가 있을 수 있지만 SLM에는 종종 수백만에서 수억 개의 매개변수가 있습니다.
여기에는 여러 가지가 있습니다 주요 이점 감소된 매개변수 수에서 파생됨:
- 이렇게 크기가 크게 줄어들기 때문에 스마트폰, 내장형 시스템과 같은 제한된 메모리 장치 또는 스마트 가전 제품, 의료 모니터 또는 특정 보안 카메라와 같은 사물 인터넷(IoT) 장치에 적합합니다. 크기가 작을수록 비용 효율적입니다. 상당한 저장 공간이나 강력한 서버 하드웨어 없이도 SLM을 애플리케이션에 더 쉽게 통합할 수 있기 때문입니다.
- 대기 시간이 짧을수록 입력과 출력 간의 처리 속도가 빨라지므로 실시간 애플리케이션 및 즉각적인 피드백이 필요한 환경과 같은 시나리오에 이상적입니다. 신속한 응답은 사용자 관심을 유지하는 데 도움이 되며 AI 기반 애플리케이션에 대한 전반적인 경험을 향상시킬 수 있습니다.
- 처리할 매개변수가 적기 때문에 SLM은 더 큰 규모의 SLM보다 훨씬 더 빠르게 응답을 생성할 수 있습니다. 이 속도는 챗봇, 음성 지원 또는 번역 서비스와 같이 실시간 또는 거의 실시간 상호 작용이 필요한 애플리케이션에 매우 중요합니다.
- 대기 시간이 짧다는 것은 쿼리가 거의 즉각적인 응답으로 로컬에서 처리된다는 것을 의미하므로 SLM은 대화형 고객 지원 시스템과 같이 시간에 민감한 애플리케이션에 이상적인 솔루션이 됩니다. 최소한의 기기 내 처리는 데이터 유출 위험을 줄이는 데 도움이 되고, 정보가 조직의 통제하에 유지되도록 하며, 공공 부문에서 흔히 볼 수 있는 엄격한 데이터 보호 규정과 일반 데이터 보호 규정(GDPR)에서 제안한 규정을 잘 준수합니다(GDPR). 또한 에지에서 실행되는 SLM은 특히 인터넷 연결이 제한되거나 신뢰할 수 없는 시나리오에서 더 빠르고 안정적인 성능을 보장하는 데 도움이 됩니다. 그리고 저가형 스마트폰과 같이 배터리 전력이나 처리 능력이 제한된 장치는 효율적으로 작동할 수 있으므로 충전 간 작동 시간이 늘어납니다.
3. Microsoft의 엔터프라이즈급 호스팅 하늘빛
개발 팀이 소스 코드부터 글로벌 고가용성에 이르기까지 생산성을 확장할 수 있도록 지원하는 정적 콘텐츠와 서버리스 API(애플리케이션 프로그래밍 인터페이스) 전반에서 간소화된 전체 스택 개발 및 호스팅을 제공하는 소규모 언어 모델을 찾아보세요.
혜택: 예를 들어, 마이크로소프트 애저 전 세계적으로 배포된 네트워크를 호스팅하면 페이지 로드 속도가 빨라지고 보안이 강화되며 최소한의 구성이나 필요한 많은 코드로 사용자에게 클라우드 콘텐츠를 전 세계적으로 제공할 수 있습니다. 개발 팀이 생태계에 필요한 모든 프로덕션 애플리케이션에 대해 이 기능을 활성화하면 당사는 귀하의 비즈니스에 편리한 시간에 귀하의 실시간 트래픽을 향상된 글로벌 분산 네트워크로 마이그레이션합니다. 가동 중지 시간 없음.
효율적이고 비용 효과적인 AI 솔루션으로서의 SLM의 장점
Azure AI 및 기계 학습 블로그
요약하자면, 클라우드 기반 서비스, 소규모 조직, 리소스가 제한된 환경 또는 대기업 내의 소규모 부서를 위해 SLM을 배포할 때 주요 이점은 다음과 같습니다.
- 간소화된 모니터링 및 유지 관리
- 데이터에 대한 사용자 통제력 향상
- 향상된 데이터 개인 정보 보호 및 보안
- 컴퓨팅 요구 사항 감소
- 데이터 보존 감소
- 낮은 인프라
- 오프라인 기능
위에서 언급한 이러한 기능과 이점은 다음과 같은 작은 언어 모델을 만듭니다. 파이 모델 패밀리 그리고 Azure AI의 GPT-4o 미니 효율적이고 비용 효과적인 AI 솔루션을 찾는 기업을 위한 매력적인 옵션입니다. 이러한 작지만 강력한 도구가 AI 기술을 민주화하는 역할을 하여 소규모 조직이라도 고급 언어 처리 기능을 활용할 수 있다는 점은 주목할 가치가 있습니다.
특정 언어 및 비전 작업을 처리할 때, 더 집중적인 교육이 필요하거나, 여러 응용 프로그램을 관리할 때, 특히 리소스가 제한되어 있거나 광범위한 기능보다 특정 작업 성능이 우선시되는 경우 LLM 대신 SLM을 선택하십시오. 다양한 장점으로 인해 많은 조직에서는 필요에 맞게 SLM과 LLM을 조합하여 사용하는 것이 가장 좋은 솔루션이라고 생각합니다.
책임감 있는 AI를 위한 우리의 약속
업계 전반의 조직에서 활용하고 있습니다. 마이크로소프트 Azure OpenAI 서비스 그리고 Microsoft Copilot 서비스 및 기능 성장을 촉진하고, 생산성을 높이며, 부가 가치 경험을 창출합니다. 의료 혁신의 발전부터 제조 운영 간소화에 이르기까지 고객은 강력한 개인 정보 보호 및 데이터 거버넌스 관행으로 데이터가 보호된다는 것을 신뢰합니다. 고객이 AI 솔루션 사용을 계속 확대함에 따라 오늘날 시장에서 가장 신뢰할 수 있는 클라우드에서 업계 최고의 데이터 거버넌스 및 개인 정보 보호 관행을 통해 귀중한 데이터가 보호된다는 확신을 가질 수 있습니다.
Microsoft는 고객의 정보를 보호하기 위해 오랫동안 노력해 왔습니다. 우리의 접근 방식 책임감 있는 AI 개인 정보 보호를 기반으로 구축되었으며 모든 생성 AI 제품 및 솔루션에서 개인 정보 보호, 보안 및 안전이라는 핵심 가치를 유지하기 위해 최선을 다하고 있습니다.
Azure의 Phi 모델에 대해 자세히 알아보세요.
- 자세히 알아보기 파이 모델 패밀리.
- 어떻게 할 수 있는지 읽어보세요. Azure의 새로운 Phi 모델로 AI를 강화하세요.
- 들어봐 Phi-3의 팟캐스트 수석 Microsoft 연구원 Sebastien Bubeck과 함께
Microsoft의 AI 솔루션에 대해 자세히 알아보기
- 탐구하다 마이크로소프트 AI 솔루션 AI 혁신을 촉진합니다.
- 탐구하다 고객이 Microsoft AI를 업무에 활용하는 방법.
- 이 비디오를 시청하여 다음에 대해 자세히 알아보세요. Azure AI 모델 카탈로그.
1MobileBERT: 리소스가 제한된 장치를 위한 컴팩트한 작업 독립적 BERT코넬 대학교.
2중요한 것은 크기뿐만이 아닙니다. 소규모 언어 모델도 소수의 학습자입니다.독일 뮌헨 정보 및 언어 처리 센터.
게시물 소규모 언어 모델의 3가지 주요 기능 및 이점 처음 등장한 Microsoft AI 블로그.