AI 산업을 막는 것이 무엇이든 물어보십시오. 그리고 당신이 얻는 대답은 당신이 말하는 사람에 대한 많은 것에 달려 있습니다. 나는 하나를 물었다 블룸버그 전 최고 데이터 랭글러 카르멘 리그리고 그녀의 대답은“가격 투명성”이었습니다.
LI에 따르면, 대부분의 소규모 AI 회사가 모델을 훈련시키기 위해 GPU에서 시간을 임대하는 특권을 위해 얼마나 많은 비용을 지출 해야하는지 예측할 수 없기 때문에 비즈니스를 예측할 수 없게 만들고 AI 회사를 불필요하게 비싸게 만들었습니다. 그녀는 스타트 업을 설립했습니다 실리콘 데이터 솔루션을 만들려면 : GPU의 최초의 전 세계 임대료 지수.
그 임대료 지수는 SDH100RT오늘 시작되었습니다. 매일 매일 전 세계 30 개 이상의 소스에서 350 만 건의 데이터 포인트를 조정하여 Nvidia H100 한 시간 동안 GPU. (“Spot Price”는 지금 배달되는 상품이 지금 당장 판매하는 것입니다.)
Li는“저는 Compute가 향후 몇 년 동안 인류를위한 가장 큰 자원이 될 것이라고 정말로 믿습니다. “내 논문이 옳다면 더 정교한 위험 관리가 필요합니다.”
Li에 따르면, 이러한 지수는 더 저렴한 AI 도구와 더 넓은 플레이어가 AI 업계에 참여할 수있는 더 많은 기회로 이어질 것입니다. 인덱스에서 그 모든 것으로 어떻게 얻습니까? 실리콘 데이터의 기원 이야기는 설명하는 데 도움이됩니다.
US $ 1.04 : 미국 동부 해안의 Nvidia H100 GPU의 임대 가격 우위와 서해안에있는 것들.
작년 초까지 Li는 블룸버그. 그 위치에서 그녀는 AI 연료 데이터 제품을 제공하려는 여러 소규모 회사를 만났고, 그 중 많은 사람들이 같은 문제로 어려움을 겪고있었습니다. 그들은 고정 속도로만 제품을 제공 할 수 있었지만 필요한 GPU 시간의 비용은 예측할 수 없었습니다. 따라서 그들의 이익 마진도 마찬가지였습니다.
에너지와 같은 전형적인 상품을 통해 기업은 역사적 추세를 알고 선물 계약과 같은 금융 상품으로 헤징함으로써 이러한 스윙을 계획 할 수 있습니다. 그러나 그것은 AI의 주요 상품 : GPU의 시간에 존재하지 않았습니다. 따라서 Li는 해당 제품의 기초를 만들기 시작했으며 그 결과 SDH100RT 가격 지수입니다.
그녀는 NVIDIA H100을 가장 널리 배포 한 GPU이기 때문에 NVIDIA H100을 색인으로 선택했으며 새로운 AI 모델을 훈련시키는 데 사용되었습니다. 그러나 많은 추론 과제를 다루는 NVIDIA A100의 가격 지수도 효과가 있습니다. 그리고 그녀는 AMD 그리고 Nvidia의 Blackwell 시리즈.
Carmen Li는 Bloomberg에서 실리콘 데이터를 설립했습니다.실리콘 데이터
데이터, 신생 기업 및 새로운 AI 제품을 구축하는 다른 사람들은 잠재적 인 비용을 더 잘 이해할 수 있으므로 수익성있는 가격으로 서비스를 설정할 수 있습니다. 그리고 새로운 AI 인프라를 구축하면 자체 수익을위한 벤치 마크를 설정할 수 있습니다. 그러나 Li의 견해로는 새로운 자본 원이 AI 공간에 참여할 수 있다는 것입니다.
예를 들어, 은행은 비교적 저렴한 자본 공급 업체입니다. 그러나 엄격한 위험 관리가 있고 GPU 가격 데이터가 충분하지 않았기 때문에 AI 프로젝트에 자금을 지원할 수있는 위치에 있지 않았습니다. Li는 SDH100RT가 은행이 AI 업계의 더 넓은 플레이어에게 빌려주고 이미 그 안에있는 사람들의 위험을 줄이는 금융 상품을 제시 할 수 있기를 희망합니다.
데이터의 통찰력과 이상
오늘 발사되었지만 실리콘 데이터는 몇 달 동안 GPU 임대 가격을 추적하고 있습니다. 예상대로 AI 훈련 가격에 창문을두면 흥미로운 통찰력이 공개되었습니다. 다음은 Li가 발견 한 몇 가지 사항입니다. (그녀는 출판 중입니다 이 분석 지난 9 월 이후 정기적으로.)
동해안 규칙! 웨스트 코스트 침강 : H100 임대료 가격은 미국에서는 매우 안정적이지만 지속적인 동해안의 이점. 3 월에는 동해안의 H100에서 1 시간 동안 5.76 달러를받을 수 있습니다. 그러나 같은 시간은 서해안에서 $ 6.80의 비용이들 것입니다.
hyperscaler 칩 도움말 : 아마존 웹 서비스가 시작되었습니다 자체 칩 디자인 서버에는 있습니다 가격 인하 클라우드 거인의 고객을 위해. 실리콘 데이터에 따르면, 시간당 약 $ 4.80의 AWS Trainium2의 GPU 당 평균 단가는 NVIDIA H100을 사용하는 가격의 절반 미만입니다. 1 세대 칩 추론과 훈련은 둘 다 시간당 $ 1.50 미만으로 제공되며, 이는 오늘날의 추론 주제 인 Nvidia A100의 가격의 절반 미만입니다. 그러나 H100은 최첨단 모델 교육을위한 유일한 옵션으로 생각되므로 성능은 추가 스크래치를 정당화 할 수 있습니다.
DeepSeek의 겸손한 효과 : 1 월의 깊은 충격 거의하지 않았다 스팟 임대료에. 성능을 기억할 수 있습니다 저렴한 교육을보고했습니다 항저우에 기반을 둔 Deepseek의 LLM은 놀랍게도 많은 사람들이 AI 관련 주식을 진주 클러치 패치로 보냈습니다. “Deepseek이 나왔을 때 [stock] Li는 시장은 견해가 없었다”고 말했다.“그러나 현장 가격은 크게 변하지 않았습니다.” DeepSeek의 데뷔에서 H100 가격은 시간당 $ 2.50으로 약간 상승했지만, 시간당 2.60 달러는 몇 달 동안 2 월에 시간당 2.30 달러로 다시 등반하기 시작했습니다.
인텔은 AMD보다 더 포쉬합니다. GPU는 항상 CPU의 제어하에 있으며 일반적으로 4 : 1 비율입니다. 그리고 그 CPU 지점의 시장은 인텔과 AMD 사이에 경쟁합니다. (Nvidia는 또한 자체 CPU를 호출합니다 우아함.) 그러나 고객은 인텔 구동 시스템에 대해 약간의 프리미엄을 기꺼이 지불하는 것 같습니다. NVIDIA A100 시스템의 경우 Intel CPU를 가진 시스템은 AMD 프로세서를 가진 시스템보다 약 40 % 더 높은 가격을 가져 왔습니다. H100의 경우, 그 효과는 관련된 상호 연결 기술에 달려있었습니다. 컴퓨터가 SXM 또는 PCIE를 링크로 사용한 경우 인텔은 더 높은 가격을 가져 왔습니다. 그러나 NVIDIA의 NVLINK InterConnect 체계를 사용하는 사람들의 경우 AMD가 프리미엄을 얻었습니다.
AI의 상품화
AI의 가격을 단일 숫자로 요약 할 수 있습니까? 결국, 컴퓨터의 성능과 특정 고객에 대한 유틸리티와 관련된 많은 요소가 있습니다. 예를 들어, 고객은 법적 이유로 국제 국경을 넘을 수없는 데이터로 교육을받을 수 있습니다. 그렇다면 왜 다른 나라의 가격에 관심을 가져야합니까? 그리고 기계 학습의 주요 벤치 마크 결과를 조사한 사람이라면 누구나 mlperf, 동일한 NVIDIA GPU의 성능은 시스템과 실행중인 소프트웨어에 따라 크게 다를 수 있습니다.
Li에 따르면, 상품 견해는 효과가있을 수 있습니다. Silicon Data의 지수는 이러한 모든 차이점을 정상화하고 데이터 센터가 임대 시장, 위치, 데이터 소스 및 기타 많은 것들에 얼마나 많은 데이터 센터에 참여하는지와 다른 가중치를 부여합니다.
아마도 상품으로서 AI의 아이디어를 가장 큰 승인은 Nvidia CEO Jensen Huang 그 자신. 회사의 큰 개발자 이벤트에서 GTC그는 데이터 센터를 “AI 공장”으로 생각하게했다. “AI 공장”은 LLM이 사용하는 가장 작은 정보 단위 인 토큰 수에서 출력을 측정 할 수있는 것으로 추진했다.
