Microsoft의 최근 출시 Phi-4-reasoning 인공 지능 시스템을 구축 할 때 추론 할 수있는 주요 가정에 도전합니다. 2022 년에 생각한 추론 체인이 도입 된 이래, 연구원들은 고급 추론에는 수백 억 개의 매개 변수가있는 매우 큰 언어 모델이 필요하다고 믿었습니다. 그러나 Microsoft의 새로운 140 억 개의 매개 변수 모델 인 PHI-4-REASSIONING 은이 신념에 의문을 제기합니다. 이 모델은 순수한 계산 능력에 의존하기보다는 데이터 중심 접근 방식을 사용하여 훨씬 더 큰 시스템과 비교할 수있는 성능을 달성합니다. 이 돌파구는 데이터 중심의 접근 방식이 기존의 AI 교육과 마찬가지로 추론 모델을 훈련시키는 데 효과적 일 수 있음을 보여줍니다. AI 개발자가“더 큰 데이터가 더 좋다”에서“더 나은 데이터가 더 좋다”로 이동하는 방식을 변경하여 소규모 AI 모델이 고급 추론을 달성 할 수있는 가능성을 열어줍니다.
전통적인 추론 패러다임
생각의 사슬 추론 인공 지능의 복잡한 문제를 해결하기위한 표준이되었습니다. 이 기술은 단계별 추론을 통해 언어 모델을 안내하여 어려운 문제를 더 작고 관리하기 쉬운 단계로 분류합니다. 그것은 대답을하기 전에 모델을 자연어로“큰 소리로 생각”하여 인간의 사고를 모방합니다.
그러나이 능력에는 중요한 제한이있었습니다. 연구원들은 일관되게 설립하다 언어 모델이 매우 큰 경우에만 그 생각의 사슬이 잘 작동했습니다. 추론 능력은 모델 크기와 직접적으로 연결되어있는 것처럼 보였고, 복잡한 추론 작업에서 더 큰 모델이 더 잘 수행되었습니다. 이 발견은 대규모 언어 모델을 강력한 추론 엔진으로 바꾸는 데 중점을 둔 대규모 추론 모델을 구축하는 데 경쟁을 일으켰습니다.
AI 모델에 추론 능력을 통합한다는 아이디어는 주로 큰 언어 모델이 수행 할 수 있다는 관찰에서 비롯되었습니다. 텍스트 내 학습. 연구원 관찰되었습니다 모델에 문제를 단계별로 해결하는 방법의 예를 보여 주면 새로운 문제에 대한이 패턴을 따르는 법을 배웁니다. 이로 인해 광대 한 데이터에 대한 대규모 모델이 자연스럽게 더 진보 된 추론을 개발한다는 신념이 이루어졌습니다. 모델 크기와 추론 성과 사이의 강력한 연결은 지혜가 받아 들여졌습니다. 팀은 사용을 사용하여 추론 능력을 확장하는 데 큰 자원을 투자했습니다 강화 학습계산력이 진보 된 추론의 열쇠라고 믿는다.
데이터 중심 접근법을 이해합니다
의 상승 데이터 중심 AI 도전“더 큰 것이 더 나은”사고 방식에 도전합니다. 이 접근법은 모델 아키텍처에서 AI 시스템을 훈련시키는 데 사용되는 데이터를 신중하게 엔지니어링하는 것으로 초점을 이동시킵니다. 데이터 중심 방법론은 데이터를 고정 입력으로 처리하는 대신 데이터를 AI 성능을 향상시키기 위해 개선되고 최적화 될 수있는 자료로 데이터를보고 있습니다.
이 분야의 리더 인 Andrew Ng, 홍보 코드 나 스케일링 모델을 조정하는 것이 아니라 데이터 품질을 향상시키기위한 체계적인 엔지니어링 관행을 구축합니다. 이 철학은 데이터 품질과 큐 레이션을 자주 인식합니다 더 중요합니다 모델 크기보다. 이 접근법을 채택하는 회사는 잘 훈련 된 모델이 고품질의 신중하게 준비된 데이터 세트에 대해 교육을 받으면 더 큰 모델을 능가 할 수 있음을 보여줍니다.
데이터 중심의 접근 방식은“어떻게 데이터를 개선 할 수 있습니까?”라는 다른 질문을합니다. “어떻게 모델을 더 크게 만들 수 있습니까?”대신 이는 더 나은 교육 데이터 세트를 만들고 데이터 품질 향상 및 체계적인 데이터 엔지니어링 개발을 의미합니다. 데이터 중심 AI에서, 데이터가 특정 작업에 더 많은 효과를내는 것이 아니라 더 많은 것을 수집하는 것이 아니라 무엇을 이해하는지 이해하는 데 중점을 둡니다.
이 접근법은 작은 데이터 세트와 훨씬 적은 계산을 사용하여 작지만 강력한 AI 모델을 훈련시키는 데 큰 약속을 보여주었습니다. Microsoft의 PHI 모델은 데이터 중심 접근법을 사용하여 작은 언어 모델을 교육하는 좋은 예입니다. 이 모델은 사용하여 훈련됩니다 커리큘럼 학습 이것은 아이들이 점차 더 어려운 사례를 통해 배우는 방식에서 주로 영감을받습니다. 처음에 모델은 쉬운 예제에 대한 교육을 받았으며 점차 어려운 예제로 대체됩니다. Microsoft는 종이에 설명 된 것처럼 교과서에서 데이터 세트를 구축했습니다.교과서 만 있으면됩니다.” 이것은 도움이되었습니다 PHI-3 언어 이해, 일반 지식, 초등학교 수학 문제 및 의료 질문 응답과 같은 작업에서 Google의 Gemma 및 GPT 3.5와 같은 모델보다 성능이 우수합니다.
데이터 중심 접근법의 성공에도 불구하고, 추론은 일반적으로 대규모 AI 모델의 특징으로 남아 있습니다. 추론에는 대규모 모델이 더 쉽게 캡처되도록 복잡한 패턴과 지식이 필요하기 때문입니다. 그러나이 신념은 최근 PHI-4 계급 모델의 발전으로 인해 도전을 받았다.
Phi-4-Reasoning의 획기적인 전략
PHI-4- 계급은 데이터 중심 접근 방식을 사용하여 소규모 추론 모델을 훈련시키는 방법을 보여줍니다. 이 모델은 OpenAI의 O3-MINI로 생성 된 신중하게 선택된 “가르치기 쉬운”프롬프트 및 추론 사례에 대한 기본 PHI-4 모델을 감독 한 미세 조정하여 구축되었습니다. 초점은 데이터 세트 크기보다는 품질과 특이성에 중점을 두었습니다. 이 모델은 수십억 개의 일반적인 프롬프트 대신 약 140 만 개의 고품질 프롬프트를 사용하여 교육을받습니다. 연구원들은 다양한 난이도와 추론 유형을 다루기 위해 사례를 필터링하여 다양성을 보장했습니다. 이 신중한 큐 레이션은 모든 교육 예제를 목적으로 만들었으며, 데이터 볼륨을 높이는 대신 모델 특정 추론 패턴을 가르쳤습니다.
감독 된 미세 조정 에서이 모델은 완전한 사고 과정과 관련된 완전한 추론 시연으로 교육을받습니다. 이 단계별 추론 체인은 모델이 논리적 인 논증을 구축하고 문제를 체계적으로 해결하는 방법을 배우는 데 도움이되었습니다. 모델의 추론 능력을 더욱 향상시키기 위해 검증 된 솔루션으로 약 6,000 개의 고품질 수학 문제에 대한 강화 학습으로 더욱 개선됩니다. 이것은 소량의 집중된 강화 학습조차도 잘 정립 된 데이터에 적용될 때 추론을 크게 향상시킬 수 있음을 보여줍니다.
기대 이상의 성능
결과는이 데이터 중심 접근 방식이 효과가 있음을 증명합니다. Phi-4-reasoning은 훨씬 더 큰 오픈 웨이트 모델과 같은 성능이 뛰어납니다 Deepseek-R1-Distill-Llama-70b 그리고 거의 전체와 일치합니다 Deepseek-R1훨씬 작음에도 불구하고. AIME 2025 테스트 (미국 수학 올림피아드 예선)에서 PHI-4 계급은 6710 억 매개 변수를 보유한 DeepSeek-R1을 이겼습니다.
이러한 이익은 수학을 넘어 과학적 문제 해결, 코딩, 알고리즘, 계획 및 공간 작업에 이릅니다. 신중한 데이터 큐 레이션 전송에서 일반 벤치 마크로 개선 하여이 방법이 작업 별 트릭보다는 기본 추론 기술을 구축한다는 것을 시사합니다.
PHI-4 계통은 고급 추론에 막대한 계산이 필요하다는 아이디어에 도전합니다. 14 억 개의 매개 변수 모델은 신중하게 선별 된 데이터에 대해 훈련을받을 때 수십 번 더 큰 모델의 성능과 일치 할 수 있습니다. 이 효율성은 자원이 제한되는 추론 AI를 배치하는 데 중요한 결과를 가져옵니다.
AI 개발에 대한 시사점
Phi-4-Reasoning의 성공은 AI 추론 모델을 구축 해야하는 방식의 변화를 나타냅니다. 모델 크기 증가에 주로 집중하는 대신 팀은 데이터 품질 및 큐 레이션에 투자함으로써 더 나은 결과를 얻을 수 있습니다. 이로 인해 엄청난 컴퓨팅 예산이없는 조직이 고급 추론을보다 쉽게 이용할 수 있습니다.
데이터 중심 방법은 새로운 연구 경로도 엽니 다. 미래의 작업은 더 나은 교육 프롬프트를 찾고, 더 풍부한 추론 시연을 만들고, 어떤 데이터가 가장 좋은지에 도움이되는지 이해하는 데 중점을 둘 수 있습니다. 이 방향은 더 큰 모델을 구축하는 것보다 생산적 일 수 있습니다.
더 광범위하게, 이것은 AI를 민주화하는 데 도움이 될 수 있습니다. 선별 된 데이터에 대해 훈련 된 소규모 모델이 대형 모델과 일치 할 수 있다면 더 많은 개발자와 조직이 고급 AI를 사용할 수있게됩니다. 또한 매우 큰 모델이 실용적이지 않은 지역에서 AI 채택 및 혁신 속도를 높일 수 있습니다.
추론 모델의 미래
PHI-4-REASSIONING은 추론 모델 개발을위한 새로운 표준을 설정합니다. 향후 AI 시스템은 건축 개선과 신중한 데이터 큐 레이션의 균형을 맞출 것입니다. 이 접근법은 데이터 품질과 모델 설계 문제 모두를 모두 인정하지만 데이터를 개선하면 더 빠르고 비용 효율적인 이익을 얻을 수 있습니다.
이를 통해 도메인 별 데이터에 대해 교육을받은 특수 추론 모델도 가능합니다. 일반 목적 거인 대신 팀은 대상 데이터 큐 레이션을 통해 특정 분야에서 우수한 집중 모델을 구축 할 수 있습니다. 이것은 특정 용도에 대한보다 효율적인 AI를 만듭니다.
AI가 발전함에 따라, PHI-4 계급의 교훈은 추론 모델 교육뿐만 아니라 전반적으로 AI 개발에 영향을 미칩니다. 크기 제한 극복 데이터 큐 레이션의 성공은 미래의 진보가 더 큰 아키텍처를 구축하는 것이 아니라 모델 혁신과 스마트 데이터 엔지니어링과 결합하는 데 있습니다.
결론
Microsoft의 PHI-4- 계급은 AI의 추론이 매우 큰 모델이 필요하다는 일반적인 믿음을 변화시킵니다. 이 모델은 더 큰 크기에 의존하는 대신 고품질의 신중하고 신중하게 선택된 교육 데이터와 함께 데이터 중심 접근 방식을 사용합니다. PHI-4-Reasoning에는 140 억 개의 매개 변수가 있지만 어려운 추론 작업에서 훨씬 더 큰 모델을 수행합니다. 이것은 더 나은 데이터에 초점을 맞추는 것이 모델 크기를 증가시키는 것보다 더 중요하다는 것을 보여줍니다.
이 새로운 교육 방식은 대규모 컴퓨팅 리소스가없는 조직에서 고급 추론 AI를보다 효율적이고 이용할 수있게합니다. PHI-4 계급의 성공은 AI 개발에서 새로운 방향을 가리 킵니다. 모델을 더 크게 만드는 것이 아니라 데이터 품질, 스마트 교육 및 신중한 엔지니어링에 중점을 둡니다.
이 접근 방식은 AI가 더 빠르게 진행되고 비용을 절감하며 더 많은 사람들과 회사가 강력한 AI 도구를 사용할 수 있도록 도와줍니다. 앞으로 AI는 더 나은 모델을 더 나은 데이터와 결합하여 성장할 것입니다.
게시물 Phi-4-reasoning이“더 큰 것이 더 나은”신화에 도전하여 AI 추론을 재정의하는 방법 먼저 나타났습니다 Unite.ai.