최근 몇 년 동안 점점 더 큰 AI 모델을 개발하려는 경쟁이 기술 산업을 사로잡았습니다. 수십억 개의 매개변수를 가진 이러한 모델은 자연어 처리에서 이미지 인식에 이르기까지 다양한 분야에서 획기적인 발전을 약속합니다. 그러나 크기에 대한 이러한 끊임없는 추구는 높은 비용과 상당한 환경적 영향이라는 형태로 상당한 단점을 초래합니다. 소규모 AI는 효율성과 낮은 에너지 사용을 제공하는 유망한 대안을 제공하지만, 이를 구축하는 현재 접근 방식에는 여전히 상당한 리소스가 필요합니다. 우리가 작고 지속 가능한 AI를 추구함에 따라 이러한 한계를 효과적으로 해결하는 새로운 전략을 모색하는 것이 중요합니다.
소규모 AI: 높은 비용과 에너지 수요에 대한 지속 가능한 솔루션
대규모 AI 모델을 개발하고 유지 관리하는 것은 비용이 많이 드는 작업입니다. 추정치 GPT-3를 훈련하는 데 400만 달러가 넘는 비용이 들고, 더욱 발전된 모델은 잠재적으로 수백만 달러에 달할 수 있다고 제안합니다. 필요한 하드웨어, 스토리지, 연산 능력, 인적 자원을 포함한 이러한 비용은 많은 조직, 특히 소규모 기업과 연구 기관에 엄청난 부담입니다. 이러한 재정적 장벽은 불공평한 경쟁 환경을 조성하여 최첨단 AI 기술에 대한 접근성을 제한하고 혁신을 방해합니다.
게다가 대규모 AI 모델을 훈련하는 데 필요한 에너지 수요는 엄청납니다. 예를 들어, GPT-3와 같은 대규모 언어 모델을 훈련하는 것은 추정된 거의 1,300메가와트시(MWh)의 전기를 소비합니다. 이는 130개 미국 가정의 연간 전력 소비량과 같습니다. 이처럼 상당한 교육 비용에도 불구하고 각 ChatGPT 요청은 추론 비용 2.9와트시. IEA는 AI, 데이터 센터, 암호화폐의 집단 에너지 수요가 글로벌 에너지 수요의 약 2%를 차지한다고 추정합니다. 이 수요는 2026년까지 두 배로 증가하여 일본의 총 전기 소비량에 근접할 것으로 예상됩니다. 높은 에너지 소비는 운영 비용을 증가시킬 뿐만 아니라 탄소 발자국에 기여하여 환경 위기를 악화시킵니다. 관점을 바꾸어 말하면, 연구자들은 단일 대형 AI 모델을 훈련하면 626,000파운드의 CO2이는 자동차 5대가 평생 동안 배출하는 양과 같습니다.
이러한 과제 속에서 Small AI는 실용적인 솔루션을 제공합니다. 훨씬 적은 데이터와 계산 능력이 필요하도록 설계되어 더욱 효율적이고 확장 가능하도록 설계되었습니다. 이를 통해 전체 비용이 절감되고 고급 AI 기술을 소규모 조직과 연구팀이 더 쉽게 사용할 수 있습니다. 게다가 Small AI 모델은 에너지 수요가 낮아 운영 비용을 절감하고 환경에 미치는 영향을 줄이는 데 도움이 됩니다. 최적화된 알고리즘과 전이 학습과 같은 방법을 활용함으로써 Small AI는 더 적은 리소스로 높은 성능을 달성할 수 있습니다. 이러한 접근 방식은 AI를 더 저렴하게 만들 뿐만 아니라 에너지 소비와 탄소 배출을 최소화하여 지속 가능성을 지원합니다.
오늘날 소규모 AI 모델이 구축되는 방식
Google, OpenAI, Meta와 같은 주요 기술 회사는 소규모 AI의 장점을 인식하고 점점 더 컴팩트한 모델 개발에 집중하고 있습니다. 이러한 변화로 인해 다음과 같은 모델이 진화하게 되었습니다. 제미니 플래시, GPT-4o 미니그리고 라마 7B. 이러한 작은 모델은 주로 다음과 같은 기술을 사용하여 개발됩니다. 지식의 증류.
본질적으로 증류는 크고 복잡한 모델의 지식을 더 작고 효율적인 버전으로 옮기는 것을 포함합니다. 이 과정에서 “교사” 모델, 즉 대규모 AI 모델은 광범위한 데이터 세트에서 훈련을 받아 복잡한 패턴과 뉘앙스를 학습합니다. 그런 다음 이 모델은 깊은 이해를 캡슐화하는 예측 또는 “소프트 라벨”을 생성합니다.
작은 AI 모델인 “학생” 모델은 이러한 소프트 라벨을 복제하도록 훈련됩니다. 교사의 행동을 모방함으로써 학생 모델은 훨씬 적은 매개변수로 작동하면서 많은 지식과 성과를 포착합니다.
왜 우리는 대규모 AI를 증류하는 것 이상을 해야 하는가
대규모 AI를 작고 관리하기 쉬운 버전으로 분리하는 것이 소규모 AI를 구축하는 인기 있는 접근 방식이 되었지만, 이 접근 방식이 대규모 AI 개발의 모든 과제를 해결하는 해결책이 될 수 없는 데에는 몇 가지 이유가 있습니다.
- 대형 모델에 대한 지속적인 의존성: 증류는 더 작고 효율적인 AI 모델을 만들고 추론 시 계산 및 에너지 효율성을 개선하지만, 여전히 초기에는 대규모 AI 모델을 훈련하는 데 크게 의존합니다. 즉, 소규모 AI 모델을 구축하려면 여전히 상당한 계산 리소스와 에너지가 필요하여 증류가 발생하기 전에도 높은 비용과 환경적 영향이 발생합니다. 증류를 위해 대규모 모델을 반복적으로 훈련해야 하는 필요성은 리소스 부담을 없애는 것이 아니라 오히려 전가합니다. 증류는 AI 모델의 크기와 비용을 줄이는 것을 목표로 하지만 대규모 “교사” 모델을 훈련하는 데 드는 상당한 초기 비용을 없애지는 못합니다. 이러한 사전 비용은 소규모 조직과 연구 그룹에 특히 어려울 수 있습니다. 더욱이 이러한 대규모 모델을 훈련하는 환경적 영향은 초기 훈련 단계의 탄소 발자국이 상당하기 때문에 더 작고 효율적인 모델을 사용하는 것의 이점 중 일부를 무효화할 수 있습니다.
- 제한된 혁신 범위: 증류에 의존하면 새로운 접근 방식을 탐구하는 대신 기존의 대규모 모델을 복제하는 데 집중하여 혁신을 제한할 수 있습니다. 이는 특정 문제에 대한 더 나은 솔루션을 제공할 수 있는 새로운 AI 아키텍처나 방법의 개발을 늦출 수 있습니다. 대규모 AI에 의존하면 소규모 AI 개발이 자원이 풍부한 소수 기업의 손에 제한됩니다. 결과적으로 소규모 AI의 이점이 균등하게 분배되지 않아 더 광범위한 기술 발전을 방해하고 혁신의 기회를 제한할 수 있습니다.
- 일반화 및 적응 과제: 증류를 통해 생성된 소규모 AI 모델은 종종 새롭고 보이지 않는 데이터로 어려움을 겪습니다. 이는 증류 프로세스가 대규모 모델의 일반화 능력을 완전히 포착하지 못할 수 있기 때문입니다. 결과적으로 이러한 소규모 모델은 익숙한 작업에서는 좋은 성과를 낼 수 있지만 새로운 상황에 직면하면 종종 어려움을 겪습니다. 게다가 증류된 모델을 새로운 모달리티나 데이터 세트에 적용하려면 먼저 대규모 모델을 재교육하거나 미세 조정해야 하는 경우가 많습니다. 이러한 반복적 프로세스는 복잡하고 리소스 집약적일 수 있으므로 소규모 AI 모델을 빠르게 진화하는 기술적 요구나 새로운 애플리케이션에 신속하게 적용하기 어렵습니다.
결론
대규모 AI 모델을 소규모 모델로 정제하는 것이 실용적인 해결책처럼 보일 수 있지만, 대규모 모델을 훈련하는 데 드는 높은 비용에 계속 의존하고 있습니다. 소규모 AI에서 진정한 진전을 이루려면 더욱 혁신적이고 지속 가능한 관행을 모색해야 합니다. 즉, 특정 애플리케이션을 위해 설계된 모델을 만들고, 훈련 방법을 개선하여 비용과 에너지 효율성을 높이고, 환경적 지속 가능성에 집중해야 합니다. 이러한 전략을 추구함으로써 산업과 지구에 책임감 있고 유익한 방식으로 AI 개발을 발전시킬 수 있습니다.
게시물 증류된 거인: 왜 우리는 소규모 AI 개발을 재고해야 하는가 처음 등장 유나이트.AI.