기존의 AI 지식은 다음을 제안합니다. 대규모 언어 모델(LLM) 일반적으로 수십억 달러의 투자가 필요합니다. 하지만 DeepSeek중국 AI 스타트업인 는 단 560만 달러에 세계적 수준의 AI 모델을 개발하는 최근 성과로 이러한 패러다임을 깨뜨렸습니다.
DeepSeek의 V3 모델 다음과 같은 업계 거대 기업과 정면 대결을 벌일 수 있습니다. 구글의 쌍둥이 자리 그리고 OpenAI의 최신 제품일반적인 컴퓨팅 리소스의 일부를 사용하면서 이 모든 작업을 수행합니다. 이 성과는 많은 업계 리더들의 관심을 끌었으며, 이를 특히 주목할 만한 점은 회사가 최신 기술에 대한 접근을 제한하는 미국 수출 제한에 직면했음에도 불구하고 이를 달성했다는 것입니다. 엔비디아 칩.
효율적인 AI의 경제학
숫자는 효율성에 대한 설득력 있는 이야기를 말해줍니다. 대부분의 고급 AI 모델은 훈련을 위해 16,000~100,000개의 GPU가 필요한 반면, DeepSeek은 57일 동안 실행되는 단 2,048개의 GPU로 관리했습니다. 모델 훈련은 Nvidia H800 칩에서 278만 GPU 시간을 소비했습니다. 이는 6,710억 개의 매개변수 모델에 비해 상당히 적은 수치입니다.
이를 관점에서 보면 Meta는 훈련을 위해 약 3,080만 GPU 시간(약 11배 더 많은 컴퓨팅 성능)이 필요했습니다. 3 모델 호출실제로는 4,050억 개로 더 적은 매개변수를 갖습니다. DeepSeek의 접근 방식은 제약 조건 하에서 최적화의 마스터 클래스와 유사합니다. Nvidia가 중국 시장을 위해 특별히 설계한 AI 칩인 H800 GPU를 사용하여 기능을 축소한 후 회사는 잠재적인 한계를 혁신으로 전환했습니다. 프로세서 통신을 위해 기성 솔루션을 사용하는 대신 효율성을 극대화하는 맞춤형 솔루션을 개발했습니다.
경쟁업체들은 대규모 투자가 필요하다는 가정하에 계속 운영하고 있지만 DeepSeek은 독창성과 효율적인 자원 활용이 공평한 경쟁의 장을 만들 수 있음을 보여주고 있습니다.
영상: 인공 분석
불가능한 엔지니어링
DeepSeek의 성과는 혁신적인 기술 접근 방식에 있으며, 때로는 가장 영향력 있는 혁신이 문제에 무제한의 리소스를 투입하기보다는 제약 조건 내에서 작업할 때 나온다는 점을 보여줍니다.
이러한 혁신의 중심에는 ‘보조 무손실 로드 밸런싱’이라는 전략이 있습니다. 전통적으로 모든 것이 원활하게 실행되도록 하려면 복잡한 규칙과 처벌이 필요한 대규모 병렬 처리 시스템을 조율하는 것과 같다고 생각하십시오. DeepSeek은 이러한 통념을 뒤집어 전통적인 접근 방식의 오버헤드 없이 자연스럽게 균형을 유지하는 시스템을 개발했습니다.
팀은 또한 한 번에 여러 토큰을 예측하여 모델이 미리 생각할 수 있도록 하는 기술인 “다중 토큰 예측”(MTP)을 개척했습니다. 실제로 이는 다양한 주제에 걸쳐 이러한 예측에 대해 85-90%의 인상적인 수용률을 의미하며 이전 접근 방식보다 1.8배 빠른 처리 속도를 제공합니다.
기술 아키텍처 자체는 효율성의 걸작입니다. DeepSeek의 V3는 총 6,710억 개의 매개변수를 갖춘 전문가 혼합 접근 방식을 사용하지만 여기에 영리한 부분이 있습니다. 각 토큰에 대해 370억 개만 활성화됩니다. 이러한 선택적 활성화는 실질적인 효율성을 유지하면서 대규모 모델의 이점을 얻을 수 있음을 의미합니다.
FP8 혼합 정밀 훈련 프레임워크를 선택한 것은 또 다른 도약입니다. 정밀도 감소라는 기존의 한계를 받아들이는 대신 메모리 및 계산 요구 사항을 크게 줄이면서 정확성을 유지하는 맞춤형 솔루션을 개발했습니다.
AI 생태계의 파급효과
DeepSeek의 성과가 미치는 영향은 단 하나의 성공적인 모델을 훨씬 뛰어넘습니다.
유럽의 AI 개발에 있어 이러한 혁신은 특히 중요합니다. Meta 및 OpenAI와 같은 회사는 EU에 적응할 수 없거나 적응하지 않기 때문에 많은 고급 모델이 EU에 진출하지 못합니다. 나는 행동한다. DeepSeek의 접근 방식은 최첨단 AI를 구축하는 데 항상 대규모 GPU 클러스터가 필요한 것은 아니며 사용 가능한 리소스를 효율적으로 사용하는 것이 더 중요하다는 것을 보여줍니다.
이러한 발전은 또한 수출 제한이 실제로 어떻게 혁신을 주도할 수 있는지 보여줍니다. 고급 하드웨어에 대한 DeepSeek의 제한된 액세스로 인해 다르게 생각하게 되었고, 그 결과 리소스가 풍부한 환경에서는 결코 나타나지 않았을 수도 있는 소프트웨어 최적화가 이루어졌습니다. 이 원칙은 우리가 전 세계적으로 AI 개발에 접근하는 방식을 바꿀 수 있습니다.
민주화의 의미는 심오하다. 업계 거대 기업들이 계속해서 수십억 달러를 투자하는 동안 DeepSeek은 효율적이고 비용 효과적인 AI 개발을 위한 청사진을 만들었습니다. 이는 이전에는 자원 제한으로 인해 경쟁할 수 없었던 소규모 기업과 연구 기관에 문을 열어줄 수 있습니다.
그러나 이것이 대규모 컴퓨팅 인프라가 더 이상 사용되지 않는다는 의미는 아닙니다. 업계에서는 모델이 답변을 생성하는 데 걸리는 시간, 즉 추론 시간 확장에 초점을 맞추고 있습니다. 이러한 추세가 계속됨에 따라 상당한 컴퓨팅 리소스가 여전히 필요할 것이며, 시간이 지나면 더욱 그럴 가능성이 높습니다.
그러나 DeepSeek은 대화를 근본적으로 변화시켰습니다. 장기적인 의미는 분명합니다. 우리는 혁신적인 사고와 효율적인 리소스 사용이 순수한 컴퓨팅 성능보다 더 중요한 시대에 진입하고 있습니다. AI 커뮤니티의 경우 이는 우리가 보유하고 있는 리소스뿐만 아니라 이를 얼마나 창의적이고 효율적으로 사용하는지에 초점을 맞추는 것을 의미합니다.
게시물 DeepSeek가 560만 달러로 비용 장벽을 무너뜨린 방법 처음 등장한 Unite.AI.