2024년 10월, 허리케인 밀턴 대서양에서 기록상 가장 빠르게 성장하는 폭풍 중 하나로 변했습니다. 허리케인의 강도가 급격히 증가함에 따라 기상학자들은 방심하게 되었습니다. 영향을 받은 커뮤니티 역시 놀랐다. 폭풍은 결국 15명의 목숨을 앗아갔고 미화 340억 달러의 피해액 플로리다 전역을 찢었습니다.
밀턴의 폭발적인 성장을 예측하기가 왜 그렇게 어려웠나요? 이번 실패는 좋은 날씨 데이터가 부족해서 발생했습니다. 비행을 통해서만 얻을 수 있는 데이터의 종류 적절하게 장비를 갖춘 항공기 곧바로 폭풍이 몰아칩니다. 이러한 유형의 임무에서는 인간 조종사가 목숨을 걸고 석방해야 합니다. 드롭존드—낙하산에 매달려 있는 센서—중요한 대기 측정값을 수집합니다. 기상학자가 제때에 귀중한 데이터를 얻을 수 있다면 종종 이를 사용하여 생명을 구하는 예측을 할 수 있습니다.
WindBorne의 첨단 기상 관측 기구는 몇 주 동안 공중에 떠 있으며, 이는 오늘날의 표준 기상 관측 기구가 대기에서 보내는 시간에 비해 상당히 향상된 것입니다. 윈드본 시스템
그러나 허리케인 사냥꾼이 수행할 수 있는 임무는 한정되어 있으며, 대부분의 폭풍은 항공기가 안전하게 도달할 수 없는 광대한 바다 상공과 같은 장소에서 발생합니다. 따라서 가장 위험한 날씨가 시작되는 정확한 지점에서 엄청난 데이터 격차가 발생합니다.
윈드본 시스템제가 2019년에 공동 설립한 회사는 날씨를 예측하는 더 나은 방법을 개척하고 있습니다. 우리의 접근 방식은 최첨단 날씨 풍선으로 시작하여 독점적인 AI 일기 예보 시스템으로 끝납니다. 작년 허리케인 밀턴의 극적인 출현은 우리에게 그러한 기상 시스템을 직접 관찰하고 폭풍이 진화함에 따라 허리케인의 경로를 예측할 수 있는 첫 번째 기회를 제공했습니다.
캘리포니아주 팔로알토에 본사를 둔 WindBorne에서는 정교한 유형의 장기 기상 관측 기구를 개발했습니다. 우리가 GSB(Global Sounding Balloons)라고 부르는 이 기구는 대기권을 조종하고 바람을 타고 역동적인 비행 경로를 따라갈 수 있습니다. 밀턴에 앞서 우리는 이 풍선 6개를 발사했습니다앨라배마주 모빌에서 안전한 거리에서 드롭존드를 운반합니다. 다음 24시간 이내에 풍선은 허리케인에 들어가서 드롭존드를 방출하여 풍속 및 방향과 함께 온도, 압력, 습도를 측정할 수 있었습니다. 이 정보는 예보관이 허리케인의 행동을 정확하게 결정하는 데 잠재적으로 도움이 될 수 있었습니다.
기상 관측 기구를 이용한 최초의 낙하산 배치는 인명에 대한 일반적인 비용과 위험 없이 공중 센서를 방출하는 것이 가능하다는 것을 보여주었습니다. 그리고 우리 팀이 AI 기반 예측 모델인 WeatherMesh를 통해 수집된 데이터를 실행했을 때 Milton의 경로에 대한 예측은 실제 예측보다 더 정확했습니다. 미국 국립 허리케인 센터. 아쉽게도 우리의 드롭존데 출시는 우리 기술의 역량을 테스트하기 위한 실험이었기 때문에 우리가 얻은 결과를 실시간으로 대중에게 전파할 수 없었습니다. 그러나 그럼에도 불구하고 이는 큰 성과였습니다. WindBorne은 AI 예측이 우리 사회가 수십 년 동안 의존해 온 날씨 모델보다 더 나은 성능을 발휘할 수 있음을 확실히 입증했습니다.
WindBorne의 임무는 방대한 양의 기상 데이터를 수집하고 해당 데이터를 정확하고 시기적절한 예측으로 변환할 수 있는 엔드투엔드 AI 기반 예측 시스템인 “행성 신경계”에 비유되는 것을 구축하는 것입니다. 사람의 신경계가 신체의 모든 부분에서 뇌로 끊임없이 정보를 보내는 것처럼, 우리 행성의 신경계는 지구 곳곳에서 관찰된 정보를 모아 AI 뇌로 보냅니다.
고급 데이터 수집 하드웨어와 정교한 AI 모델링이 모두 필요한 우리 시스템은 사람들이 국방, 재생 에너지, 농업과 같은 분야에서 날씨 예측을 사용하여 의사 결정을 내리는 방식을 근본적으로 개선할 수 있습니다. 와 함께 기후 변화 증가 빈도 그리고 비용 밀턴과 같은 극단적인 기상 현상에 대해 우리는 사회가 이 새로운 현실을 헤쳐나갈 수 있도록 더 나은 예측을 제공하기를 희망합니다.
WindBorne의 스탠포드 오리진스
WindBorne은 2015년 프로젝트로 시작되었습니다. 스탠포드 학생 공간 이니셔티브Andrey Sushko(현재 WindBorne의 CTO)와 일부 다른 학생들이 기존 기상 관측 기구의 비행 시간을 연장하는 데 관심을 갖게 되었습니다. 대부분의 기상 관측 기구는 비행 두 시간 만에 터지며 상승하고 터졌다가 다시 땅으로 떨어지는 단 한 번의 상승 주기에 대한 데이터만 수집합니다. 이 풍선은 대륙 발사 지점을 훨씬 넘어서는 경우가 거의 없으므로 바다, 사막 및 기타 외딴 지역 위의 공기가 잘 관찰되지 않습니다. 날씨는 전 지구적이기 때문에 문제가 됩니다. 아프리카 서해안 근처에서 시작된 교란은 북미를 강타할 다음 재앙적인 폭풍으로 발전할 수 있습니다.
프로젝트를 진행하면서 우리는 기존 기상 관측 기구의 비행 제한으로 인해 지구의 약 15%만 관찰할 수 있다는 사실을 발견했습니다. 우리는 하드웨어와 제어 시스템을 개선하면 자체 탐색하고 지능적으로 바람을 “서핑”하는 날씨 풍선을 만들어 기존 풍선보다 훨씬 더 오랫동안 공중에 머물 수 있다는 것을 깨달았습니다. 몇 시간이 아니라 몇 주라고 생각하면 됩니다.
저는 2019년에 스탠포드 출신 동료 4명과 함께 회사를 공동 창립했고 나중에 CEO 역할을 맡았습니다. 당시 우리는 아직 풍선에 대한 초기 R&D 단계에 있었습니다. 그 작업의 결과는 위성을 통해 운영자와 통신하는 자율적이고 장기간 지속되는 풍선을 위한 설계였습니다. 2024년에 우리는 최초의 AI 예측 모델인 WeatherMesh를 도입하여 풍선에서 데이터를 수집하고 특정 데이터 격차를 메우기 위해 다음 비행 위치에 대한 높은 수준의 지침을 제공했습니다.
WindBorne 풍선의 주요 봉투는 두께가 20마이크로미터(사람 머리카락 굵기의 절반도 안 됨)에 불과한 얇고 투명한 필름으로 만들어지며, 전체 어셈블리의 무게는 2kg 미만입니다. 각 풍선에는 밸러스트로 사용되는 모래 주머니가 있습니다. 풍선은 모래를 방출하여 더 높이 올라가거나 가스를 배출하여 다른 풍류로 내려갈 수 있습니다. 각 풍선의 온보드 자율 시스템은 WeatherMesh 지침에 지정된 위치에 도달하기 위해 다양한 고도에서 바람을 사용하는 방법을 계획합니다.
일회용 드롭존드보다 훨씬 더 많은 데이터를 수집하는 당사의 GSB는 아틀라스우리의 글로벌 별자리. 오늘날 당사의 GSB는 지상에서 약 24km에 이르는 고도에서 50일 이상 비행할 수 있습니다. 일반적으로 언제든지 수백 개의 풍선이 공중에 떠 있는 Atlas는 미국 국립 기상청에서 관리하는 풍선보다 매일 더 많은 현장 데이터를 수집합니다.
Stanford에서 근무한 후 WindBorne 팀은 Atlas 별자리를 확장하고 날씨 데이터를 서비스로 제공하여 비즈니스를 구축했습니다. 처음에는 풍선의 항법이 슈퍼컴퓨터에서 실행되는 전통적인 수치 기상 예측 모델의 결과에 따라 안내되었습니다. 그러나 해당 모델을 실행하려면 AI 날씨 모델보다 수백 배 더 많은 컴퓨팅 성능이 필요했습니다. 우리 별자리가 방대한 양의 데이터를 수집할 수 있는 능력이 입증됨에 따라 우리는 풍선 별자리를 효율적으로 지시할 뿐만 아니라 대규모 데이터 세트를 동화할 수 있는 모델을 구축해야 한다는 것을 알았습니다.
기존 예측 방법의 한계
현재 대부분의 일기예보는 물리학 기반 예측에 의존하고 있습니다. 수치적 날씨 예측. 미국에서는 이 일을 연방정부가 담당한다. 글로벌 예측 시스템 (GFS)는 위성, 지상국, 레이더 시스템 및 기존 기상 관측 기구의 전 세계 네트워크에서 데이터를 수집합니다. 하루에 4번 슈퍼컴퓨터에서 실행되며 데이터 동화라는 기술을 사용하여 최대 16일까지 연장되는 예측을 생성합니다. 데이터 동화는 과거 데이터와 함께 새로운 데이터를 해석하여 가능한 가장 정확한 예측을 제시합니다.
하지만 여기에 문제가 있습니다. 예측 모델은 제공된 데이터만큼만 정확합니다. 지구 대기의 대부분은 풍선으로 정기적으로 조사되지 않기 때문에 현재 예측은 사용할 수 있는 데이터 세트가 부족하여 방해를 받습니다. 허리케인의 예보 원뿔이 하루에서 다음 날로 극적으로 이동하는 것을 본 적이 있을 것입니다. 이러한 변동성은 부분적으로 이러한 모델을 구동하는 불완전한 데이터에서 비롯됩니다. 게다가 물리학 기반 모델에는 막대한 컴퓨팅 리소스가 필요하며 이는 높은 운영 비용으로 이어집니다.
지난 몇 년 동안 AI 모델은 일기 예보를 뒤흔들어 물리 기반 수치 기상 모델의 이전 표준과 비교할 때 더 빠르고, 저렴하며, 더 정확한 예측을 생성할 수 있음을 입증했습니다. 중국 기업 화웨이(Huawei)가 자사 제품을 선보였을 때 판구 날씨 2023년 모델에서는 AI 예측이 물리 기반 모델과 경쟁할 수 있을 뿐만 아니라 이를 능가할 수도 있다는 점을 알아냈습니다. 다른 최근 AI 날씨 모델로는 Google DeepMind가 있습니다. 그래프캐스트 그리고 AIFS 중거리 일기예보를 위한 유럽 센터의 자료입니다. 하지만 우리 시스템은 능가하다 그들 모두, 때로는 매우 큰 규모로.
계속해서 기록을 경신하는 동안 AI 모델(우리 모델 포함)은 여전히 여러 가지 방법으로 전통적인 물리 기반 모델을 활용합니다. 우선 모든 AI 모델은 과거 기상 데이터와 기존 시스템에서 생성된 예측을 바탕으로 훈련됩니다. 이것이 없다면 모델은 과거의 맥락 없이 학습 데이터에 대한 원시 실시간 관찰에 의존해야 합니다.
또한 AI 모델은 본질적으로 물리학에 대한 고급 이해가 부족하므로 기존 모델은 AI 생성 예측이 물리적으로 타당하다는 것을 보장하는 기준을 제공합니다. 이러한 지원은 물리학 기반 모델이 AI 모델이 대기 원리를 기반으로 희귀한 조건을 시뮬레이션하는 데 도움이 될 수 있는 극한 기상 상황에서 특히 중요합니다.
AI 일기예보 모델을 구축한 방법
WindBorne 팀이 WeatherMesh의 초기 버전을 구축하기 시작했을 때 세 가지 주요 목표가 있었습니다. 첫째, 운영 비용이 저렴해야 했습니다. 둘째, 최소한 최고의 물리 기반 모델만큼 정확해야 했습니다. 셋째, 수십 킬로미터 규모의 세밀한 예측을 제공하는 높은 공간 해상도로 예측을 제공해야 했습니다.
우리는 변환기(ChatGPT와 같은 대규모 언어 모델을 지원하는 동일한 기술)를 기반으로 하는 아키텍처를 사용하기로 결정했습니다. 왜냐하면 변환기는 일단 훈련되면 대규모 데이터 세트를 효율적으로 처리할 수 있기 때문입니다. 이 아키텍처에는 AI 전문가가 인코더-프로세서-디코더 구조라고 부르는 것이 포함되어 있습니다. 인코더는 온도, 바람, 기압과 같은 원시 기상 데이터를 모델이 작업하기 더 쉬운 패턴인 잠재 공간이라는 더 간단한 압축 형식으로 변환합니다. 그런 다음 프로세서는 이 잠재 공간에서 계산을 실행하여 시간이 지남에 따라 날씨가 어떻게 변할지 예측합니다. 더 긴 범위의 예측을 생성하려면 마지막 예측 단계의 출력을 다음 예측 단계의 입력으로 사용하여 프로세서 단계를 여러 번 실행하기만 하면 됩니다. 마지막으로 디코더는 결과를 다시 실제 세계로 변환합니다. d 날씨 변수.
우리는 수십 개의 Nvidia 클러스터를 사용하여 본사에서 첫 번째 날씨 모델을 훈련했습니다. RTX 4090 수백 테라바이트의 대기 데이터를 처리하기 위해 클라우드 컴퓨팅 서비스에 의존하는 것보다 비용이 훨씬 저렴합니다. 우리 자신의 기계를 설정하는 것은 성과를 거두었습니다. 하드웨어로 인해 약 100,000달러의 비용이 발생했지만, 대신 클라우드에서 모든 교육 실험을 실행했다면 비용이 4배나 더 들었을 것입니다.
WeatherMesh의 첫 번째 버전은 기술 대기업이 만든 AI 날씨 모델보다 더 작고 빠르며 운영 비용이 저렴했습니다. 훈련 중에는 DeepMind GraphCast의 컴퓨팅 성능의 약 15분의 1, Huawei Pangu-Weather의 컴퓨팅 성능의 1/10을 사용했습니다. 크기가 작기 때문에 뛰어난 성능이 더욱 눈에 띕니다. AI 모델과 기존 물리 기반 모델 모두보다 성능이 뛰어났습니다.
WeatherMesh의 초기 정확도 향상은 데이터 수집 방법 덕분일 수 있습니다. 당사의 GSB는 기존 풍선보다 30~50배 많은 데이터를 수집하며 해당 데이터를 WeatherMesh에 직접 공급합니다. 우리는 다른 물리 및 AI 기반 모델과 비교할 때 오류 빈도를 기반으로 모델의 정확도를 측정했습니다. 2024년에 우리는 이기다 Huawei의 Pangu-Weather와 DeepMind의 GraphCast는 모두 세계에서 가장 정확한 AI 예측 모델이 될 것입니다. 이 기사가 게시되는 시점인 2025년 10월에는 WeatherMesh가 선두를 유지하고 있습니다.
모델의 초기 버전은 0.25도 해상도(그리드 셀당 약 25km)에서 데이터와 출력 예측을 받아 다음의 해상도와 일치합니다. 시대5널리 사용되는 과거 날씨 데이터 세트입니다. 현재 WeatherMesh에는 약 1km의 해상도로 선택한 위치에 대한 예측을 제공할 수 있는 구성 요소도 포함되어 있습니다.
대부분의 AI 기상 모델은 수십 년간의 대기 데이터를 일관된 프레임워크로 구성하는 ERA5와 같은 과거 데이터 세트를 기반으로 교육합니다. 그러나 우리는 WeatherMesh가 “실시간”으로 실행되어 미국과 유럽 기관의 실시간 풍선 관측 및 최신 분석을 수집하기를 원했습니다. 대부분의 AI 모델은 신중하게 선별된 과거 데이터에서 지저분한 실제 피드로 전환할 때 성능이 저하되기 때문에 이러한 전환은 어려웠습니다.
이 문제를 해결하기 위해 우리는 다양한 규모의 공간 특징을 학습하는 데 탁월한 U-Net이라는 신경망 아키텍처 유형을 기반으로 특수 어댑터를 구축했습니다. 이러한 어댑터는 실시간 데이터를 WeatherMesh의 교육 데이터에 사용되는 것과 동일한 내부 형식으로 변환합니다. 이러한 방식으로 우리는 정확한 실시간 예측을 제공하는 동시에 ERA5 교육의 이점을 유지했습니다.
WeatherMesh-4를 통한 성공 기반 구축
초기 WeatherMesh 모델의 성공에 이어 우리는 두번째, 제삼그리고 네번째 빠른 속도로 모델 버전이 출시됩니다. WeatherMesh-4는 대기 전반에 걸쳐 25개의 수직 수준에서 표준 대기 변수를 예측합니다. 또한 지상 2m에서의 온도와 이슬점, 10m와 100m에서의 풍속, 최저 및 최고 기온, 강수량, 일사량, 전체 구름량 등 표면의 광범위한 조건을 예측합니다. 최신 관찰 내용을 기반으로 10분마다 전체 예측을 생성할 수 있습니다. 대조적으로, 전통적인 글로벌 기상 모델은 6시간마다 업데이트됩니다.
우리는 광범위하게 운영해왔습니다. 벤치마크 최신 버전의 WeatherMesh를 다른 인기 있는 예측 시스템과 비교합니다. 우리는 지구 표면과 대기에 대한 모델의 예측이 30% 더 정확함 유럽 중거리 기상예보 센터의 기존 모델보다 우수하며 DeepMind의 최신 모델 결과도 능가합니다. 젠캐스트대부분의 평가에서.
엔드투엔드 시스템을 구축한다는 것은 전체 파이프라인이 조화롭게 작동해야 함을 의미합니다. 우리의 풍선 별자리는 새로운 예보를 위해 12시간을 기다릴 여유가 없습니다. 하늘을 탐색하려면 거의 지속적인 새로 고침이 필요합니다. 한편, AI 모델은 풍선의 새로운 대기 데이터를 사용하여 예측의 정확성을 향상시킵니다. 이러한 요구 사항의 균형을 맞추면서 데이터를 이동하고 모델을 실행하는 방법에 대해 창의력을 발휘해야 했지만 궁극적으로 빠르고 반응성이 뛰어난 강력한 시스템을 제작했습니다.
WindBorne의 다음 단계는 무엇입니까?
앞으로 몇 년 동안 우리의 목표는 전 세계 약 30개 사이트에서 발사되어 언제든지 비행할 수 있는 약 10,000개의 GSB로 Atlas 풍선 집합을 확장하는 것입니다. 해당 목표를 달성하려면 하루에 대략 300번, 한 달에 9,000번의 실행이 필요합니다. 2028년까지 우리는 Atlas를 통해 먼 태평양부터 극지방의 만년설까지 전 세계가 거의 지속적으로 관찰될 수 있다고 믿습니다. 그리고 우리는 가능한 것의 경계를 계속 테스트하고 있습니다. WindBorne은 최근 기록적인 104일 동안 풍선을 높이 띄웠습니다.
우리는 물리학 기반 기상 모델을 쓸모없게 만드는 것을 목표로 삼지 않습니다. 우리는 AI와 기존 방법이 나란히 작동하여 서로를 강화하는 미래를 봅니다. 정부, 연구원, 기업은 이러한 개선된 예측을 활용하여 재해 대비, 항공, 공급망 물류 등을 안내할 수 있습니다. 기후가 계속 변화함에 따라 지구의 기후 문제는 더욱 심화될 것이며, 개선된 예측은 우리가 준비하는 데 도움이 되는 핵심입니다.
허리케인 밀턴을 되돌아보면, 우리 풍선이 그 규모의 폭풍 속으로 들어갈 수 있었다는 것이 여전히 초현실적입니다. 그러나 이는 WindBorne이 새롭고 민첩한 시스템이 기존 방법이 부족한 곳에 진정한 가치를 제공할 수 있음을 입증한 순간이었습니다. 12시간 또는 24시간의 추가 경고가 안전과 파괴의 차이를 의미할 수 있는 세상에서 엔드 투 엔드 AI 예측은 사람들이 지구상에서 가장 강력한 세력으로부터 자신을 관찰, 예측 및 보호할 수 있는 방법에 혁명을 제공합니다.
2024년 10월, 허리케인 밀턴 대서양에서 기록상 가장 빠르게 성장하는 폭풍 중 하나로 변했습니다. 허리케인의 강도는 기상학자들을 당황하게 만들었고, 이는 피해를 입은 지역사회도 놀랐다는 것을 의미합니다. 폭풍은 결국 15명의 목숨을 앗아갔고 미화 340억 달러의 피해액 플로리다 전역을 찢었습니다.
일기 예보관들은 왜 이 폭풍이 가져온 위험을 너무 늦을 때까지 놓쳤습니까? 이번 실패는 좋은 날씨 데이터가 부족해서 발생했습니다. 비행을 통해서만 얻을 수 있는 데이터의 종류 적절하게 장비를 갖춘 항공기 곧바로 폭풍이 몰아칩니다. 이러한 유형의 임무에서는 인간 조종사가 목숨을 걸고 석방해야 합니다. 드롭존드—낙하산에 매달려 있는 센서—중요한 대기 측정값을 수집합니다. 기상학자가 제때에 귀중한 데이터를 얻을 수 있다면 종종 이를 사용하여 생명을 구하는 예측을 할 수 있습니다.
그러나 허리케인 사냥꾼이 수행할 수 있는 임무는 한정되어 있으며, 대부분의 폭풍은 항공기가 안전하게 도달할 수 없는 광대한 바다 상공과 같은 장소에서 발생합니다. 따라서 가장 위험한 날씨가 시작되는 정확한 지점에서 엄청난 데이터 격차가 발생합니다.
~에 윈드본 시스템제가 2019년에 공동 설립한 회사인 캘리포니아주 팔로알토에서 우리는 날씨 예측을 위한 더 나은 방법을 개척하고 있습니다. 우리의 접근 방식은 최첨단 날씨 풍선으로 시작하여 독점적인 AI 일기 예보 시스템으로 끝납니다. 작년 허리케인 밀턴의 극적인 출현은 우리에게 그러한 기상 시스템을 직접 관찰하고 폭풍이 진화함에 따라 허리케인의 경로를 예측할 수 있는 첫 번째 기회를 제공했습니다.
WindBorne은 정교한 유형의 장기 기상 관측 기구를 개발했습니다. 우리가 GSB(Global Sounding Balloons)라고 부르는 이 기구는 단순히 바람을 활용하여 대기를 통과하고 역동적인 비행 경로를 따라갈 수 있습니다. 밀턴에 앞서 우리는 이 풍선 6개를 발사했습니다앨라배마주 모빌에서 안전한 거리에서 드롭존드를 운반합니다. 다음 24시간 이내에 풍선은 허리케인에 진입하여 드롭존드를 방출하여 풍속 및 방향과 함께 온도, 압력, 습도를 측정할 수 있었습니다. 이러한 정보는 예보관이 허리케인의 행동을 정확하게 결정하는 데 잠재적으로 도움이 될 수 있었습니다.
예측 모델은 다음과 같습니다. 정확한 그들이 공급하는 데이터로.
기상 관측 기구를 이용한 최초의 낙하산 배치는 인명에 대한 일반적인 비용과 위험 없이 공중 센서를 방출할 수 있음을 보여주었습니다. 그리고 우리 팀이 AI 기반 예측 모델인 WeatherMesh를 통해 수집된 데이터를 실행했을 때 Milton의 경로에 대한 예측은 실제 예측보다 더 정확했습니다. 미국 국립 허리케인 센터. 아쉽게도 우리의 드롭존데 출시는 우리 기술의 역량을 테스트하기 위한 실험이었기 때문에 우리가 얻은 결과를 실시간으로 대중에게 전파할 수 없었습니다. 그러나 그럼에도 불구하고 이는 큰 성과였습니다. WindBorne은 AI 예측이 우리 사회가 수십 년 동안 의존해 온 날씨 모델보다 더 나은 성능을 발휘할 수 있음을 확실히 입증했습니다.
WindBorne의 임무는 방대한 양의 기상 데이터를 수집하고 해당 데이터를 정확하고 시기적절한 예측으로 변환할 수 있는 엔드투엔드 AI 기반 예측 시스템인 “행성 신경계”에 비유되는 것을 구축하는 것입니다. 사람의 신경계가 신체의 모든 부분에서 뇌로 끊임없이 정보를 보내는 것처럼, 우리 행성의 신경계는 지구 곳곳에서 관찰된 정보를 모아 AI 뇌로 보냅니다.
고급 데이터 수집 하드웨어와 정교한 AI 모델링이 모두 필요한 우리 시스템은 사람들이 국방, 재생 에너지, 농업과 같은 분야에서 날씨 예측을 사용하여 의사 결정을 내리는 방식을 근본적으로 개선할 수 있습니다. 기후변화로 인해 증가하는 빈도 그리고 비용 밀턴과 같은 극단적인 기상 현상에 대해 우리는 사회가 이 새로운 현실을 헤쳐나갈 수 있도록 더 나은 예측을 제공하기를 희망합니다.
WindBorne의 스탠포드 오리진스
WindBorne은 2015년 프로젝트로 시작되었습니다. 스탠포드 학생 공간 이니셔티브Andrey Sushko(현재 WindBorne의 CTO)와 일부 다른 학생들이 기존 기상 관측 기구의 비행 시간을 연장하는 데 관심을 갖게 되었습니다. 대부분의 기상 관측 기구는 비행 두 시간 만에 터지며 상승하고 터졌다가 다시 땅으로 떨어지는 단 한 번의 상승 주기에 대한 데이터만 수집합니다. 이 풍선은 대륙 발사 지점을 훨씬 넘어서는 경우가 거의 없으므로 바다, 사막 및 기타 외딴 지역 위의 공기가 크게 관찰되지 않습니다. 날씨는 전 지구적이기 때문에 문제가 됩니다. 아프리카 서해안 근처에서 시작된 교란은 북미를 강타할 다음 재앙적인 폭풍으로 발전할 수 있습니다.
프로젝트를 진행하는 동안 우리는 기존 기상 관측 기구의 비행 제한으로 인해 지구 전체의 약 15%만 적절하게 관측할 수 있다는 사실을 발견했습니다. 우리는 하드웨어와 제어 시스템을 개선하면 자체 탐색하고 지능적으로 바람을 “서핑”하는 날씨 풍선을 만들어 기존 풍선보다 훨씬 오랫동안 공중에 머물 수 있다는 것을 깨달았습니다. 몇 시간이 아닌 몇 주를 생각해보세요.
저는 2019년에 스탠포드 출신 동료 4명과 함께 회사를 공동 창립했고 나중에 CEO 역할을 맡았습니다. 당시 우리는 아직 풍선에 대한 초기 R&D 단계에 있었습니다. 그 작업의 결과는 위성을 통해 운영자와 통신하는 자율적이고 장기간 지속되는 풍선을 위한 설계였습니다. 2024년에 우리는 최초의 AI 예측 모델인 WeatherMesh를 도입하여 풍선에서 데이터를 수집하고 특정 데이터 격차를 메우기 위해 다음 비행 위치에 대한 높은 수준의 지침을 제공했습니다.
WindBorne 풍선의 주요 봉투는 두께가 20마이크로미터(사람 머리카락 굵기의 절반도 안 됨)에 불과한 얇고 투명한 필름으로 만들어지며, 전체 어셈블리의 무게는 2kg 미만입니다. 각 풍선에는 밸러스트로 사용되는 모래 주머니가 있습니다. 풍선은 모래를 방출하여 더 높이 올라가거나 가스를 배출하여 다른 풍류로 내려갈 수 있습니다. 각 풍선의 온보드 자율 시스템은 WeatherMesh 지침에 지정된 위치에 도달하기 위해 다양한 고도에서 바람을 사용하는 방법을 계획합니다.
일회용 드롭존드보다 훨씬 더 많은 데이터를 수집하는 당사의 GSB는 아틀라스우리의 글로벌 별자리. 오늘날 당사의 GSB는 지상에서 약 24km에 이르는 고도에서 50일 이상 비행할 수 있습니다. 일반적으로 언제든지 수백 개의 풍선이 공중에 떠 있는 Atlas는 미국 국립 기상청보다 매일 더 많은 현장 데이터를 수집합니다.
Stanford에서 근무한 후 WindBorne 팀은 Atlas 별자리를 확장하고 날씨 데이터를 서비스로 제공하여 비즈니스를 구축했습니다. 처음에는 풍선의 항법이 슈퍼컴퓨터에서 실행되는 전통적인 수치 기상 예측 모델의 결과에 따라 안내되었습니다. 그러나 해당 모델을 실행하려면 AI 날씨 모델보다 수백 배 더 많은 컴퓨팅 성능이 필요했습니다. 우리 별자리가 방대한 양의 데이터를 수집할 수 있는 능력이 입증됨에 따라 우리는 풍선 별자리를 효율적으로 지시할 뿐만 아니라 대규모 데이터 세트를 동화할 수 있는 모델을 구축해야 한다는 것을 알았습니다.
기존 예측 방법의 한계
현재 대부분의 일기예보는 물리학 기반 예측에 의존하고 있습니다. 수치적 날씨 예측. 미국에서는 이 일을 연방정부가 담당한다. 글로벌 예측 시스템 (GFS)는 위성, 지상국, 레이더 시스템 및 기존 기상 관측 기구의 전 세계 네트워크에서 데이터를 수집합니다. 하루에 4번 슈퍼컴퓨터에서 실행되며 데이터 동화라는 기술을 사용하여 최대 16일까지 연장되는 예측을 생성합니다. 데이터 동화는 과거 데이터와 함께 새로운 데이터를 해석하여 가능한 가장 정확한 예측을 제시합니다.
하지만 여기에 문제가 있습니다. 예측 모델은 제공된 데이터만큼만 정확합니다. 따라서 지구 대기의 85%가 정기적으로 조사되지 않는 상황에서 현재 예측은 사용할 수 있는 데이터 세트가 부족하여 방해를 받습니다. 허리케인의 예보 원뿔이 하루에서 다음 날로 극적으로 이동하는 것을 본 적이 있을 것입니다. 이러한 변동성은 부분적으로 이러한 모델을 구동하는 불완전한 데이터에서 비롯됩니다. 게다가 물리학 기반 모델에는 막대한 컴퓨팅 리소스가 필요하며 이는 높은 운영 비용으로 이어집니다.
2028년까지 우리는 Atlas가 전 세계를 거의 지속적으로 관찰할 수 있을 것이라고 믿습니다.
지난 몇 년 동안 AI 모델은 일기 예보를 뒤흔들어 물리 기반 수치 기상 모델의 이전 표준과 비교할 때 더 빠르고, 저렴하며, 더 정확한 예측을 생성할 수 있음을 입증했습니다. 중국 기업 화웨이(Huawei)가 자사 제품을 선보였을 때 판구 날씨 2023년 모델에서는 AI 예측이 물리 기반 모델과 경쟁할 수 있을 뿐만 아니라 이를 능가할 수도 있다는 점을 알아냈습니다. 다른 최근 AI 날씨 모델로는 Google DeepMind가 있습니다. 그래프캐스트 그리고 AIFS 중거리 일기예보를 위한 유럽 센터의 자료입니다. 하지만 우리 시스템은 능가하다 그들 모두, 때로는 매우 큰 규모로.
계속해서 기록을 경신하는 동안 AI 모델(우리 모델 포함)은 여전히 여러 가지 방법으로 전통적인 물리 기반 모델을 활용합니다. 우선 모든 AI 모델은 과거 기상 데이터와 기존 시스템에서 생성된 예측을 바탕으로 훈련됩니다. 이것이 없다면 모델은 과거의 맥락 없이 학습 데이터에 대한 원시 실시간 관찰에 의존해야 합니다.
또한 AI 모델은 본질적으로 물리학에 대한 고급 이해가 부족하므로 기존 모델은 AI 생성 예측이 물리적으로 타당하다는 것을 보장하는 기준을 제공합니다. 이러한 지원은 물리학 기반 모델이 AI 모델이 대기 원리를 기반으로 희귀한 조건을 시뮬레이션하는 데 도움이 될 수 있는 극한 기상 상황에서 특히 중요합니다.
AI 일기예보 모델을 구축한 방법
WindBorne 팀이 WeatherMesh의 초기 버전을 구축하기 시작했을 때 세 가지 주요 목표가 있었습니다. 첫째, 운영 비용이 저렴해야 했습니다. 둘째, 최소한 최고의 물리 기반 모델만큼 정확해야 했습니다. 셋째, 수십 킬로미터 규모의 세밀한 예측을 제공하는 높은 공간 해상도로 예측을 제공해야 했습니다.
우리는 변환기(ChatGPT와 같은 대규모 언어 모델을 지원하는 동일한 기술)를 기반으로 하는 아키텍처를 사용하기로 결정했습니다. 왜냐하면 변환기는 일단 훈련되면 대규모 데이터 세트를 효율적으로 처리할 수 있기 때문입니다. 이 아키텍처에는 AI 전문가가 인코더-프로세서-디코더 구조라고 부르는 것이 포함되어 있습니다. 인코더는 온도, 바람, 기압과 같은 원시 기상 데이터를 모델이 작업하기 더 쉬운 패턴인 잠재 공간이라는 더 간단한 압축 형식으로 변환합니다. 그런 다음 프로세서는 이 잠재 공간에서 계산을 실행하여 시간이 지남에 따라 날씨가 어떻게 변할지 예측합니다. 더 긴 범위의 예측을 생성하려면 마지막 예측 단계의 출력을 다음 예측 단계의 입력으로 사용하여 프로세서 단계를 여러 번 실행하기만 하면 됩니다. 마지막으로 디코더는 결과를 다시 실제 날씨 변수로 변환합니다.
우리는 수십 개의 Nvidia 클러스터를 사용하여 본사에서 첫 번째 날씨 모델을 훈련했습니다. RTX 4090 수백 테라바이트의 대기 데이터를 처리하기 위해 클라우드 컴퓨팅 서비스에 의존하는 것보다 비용이 훨씬 저렴합니다. 우리 자신의 기계를 설정하는 것은 성과를 거두었습니다. 하드웨어로 인해 약 100,000달러의 비용이 발생했지만, 대신 클라우드에서 모든 교육 실험을 실행했다면 비용이 4배나 더 들었을 것입니다.
WeatherMesh의 첫 번째 버전은 기술 대기업이 만든 AI 날씨 모델보다 더 작고 빠르며 운영 비용이 저렴했습니다. 훈련 중에는 DeepMind GraphCast의 컴퓨팅 성능의 약 15분의 1, Huawei Pangu-Weather의 컴퓨팅 성능의 1/10을 사용했습니다. 크기가 작기 때문에 뛰어난 성능이 더욱 눈에 띕니다. AI 모델과 기존 물리 기반 모델 모두보다 성능이 뛰어났습니다.
WeatherMesh의 초기 정확도 향상은 데이터 수집 방법 덕분일 수 있습니다. 당사의 GSB는 기존 풍선보다 30~50배 많은 데이터를 수집하며 해당 데이터를 WeatherMesh에 직접 공급합니다. 우리는 다른 물리 및 AI 기반 모델과 비교할 때 오류 빈도를 기반으로 모델의 정확도를 측정했습니다. 2024년에 우리는 이기다 Huawei의 Pangu-Weather와 DeepMind의 GraphCast는 모두 세계에서 가장 정확한 AI 예측 모델이 될 것입니다. 이 기사가 게시되는 시점인 2025년 10월에는 WeatherMesh가 선두를 유지하고 있습니다.
모델의 초기 버전은 0.25도 해상도(그리드 셀당 약 25km)에서 데이터와 출력 예측을 받아 다음의 해상도와 일치합니다. 시대5널리 사용되는 과거 날씨 데이터 세트입니다. 현재 WeatherMesh에는 약 1km의 해상도로 선택한 위치에 대한 예측을 제공할 수 있는 구성 요소도 포함되어 있습니다.
대부분의 AI 기상 모델은 수십 년간의 대기 데이터를 일관된 프레임워크로 구성하는 ERA5와 같은 과거 데이터 세트를 기반으로 교육합니다. 그러나 우리는 WeatherMesh가 “실시간”으로 실행되어 미국과 유럽 기관의 실시간 풍선 관측 및 최신 분석을 수집하기를 원했습니다. 대부분의 AI 모델은 신중하게 선별된 과거 데이터에서 지저분한 실제 피드로 전환할 때 성능이 저하되기 때문에 이러한 전환은 어려웠습니다.
이 문제를 해결하기 위해 우리는 다양한 규모의 공간 특징을 학습하는 데 탁월한 U-Net이라는 신경망 아키텍처 유형을 기반으로 특수 어댑터를 구축했습니다. 이러한 어댑터는 실시간 데이터를 WeatherMesh의 교육 데이터에 사용되는 것과 동일한 내부 형식으로 변환합니다. 이러한 방식으로 우리는 정확한 실시간 예측을 제공하는 동시에 ERA5 교육의 이점을 유지했습니다.
WeatherMesh-4를 통한 성공 기반 구축
초기 WeatherMesh 모델의 성공에 이어 우리는 두번째, 제삼그리고 네번째 빠른 속도로 모델 버전이 출시됩니다. WeatherMesh-4는 대기 전반에 걸쳐 25개의 수직 수준에서 표준 대기 변수를 예측합니다. 또한 지상 2m에서의 온도와 이슬점, 10m와 100m에서의 풍속, 최저 및 최고 기온, 강수량, 일사량, 전체 구름량 등 표면의 광범위한 조건을 예측합니다. 최신 관찰 내용을 기반으로 10분마다 전체 예측을 생성할 수 있습니다. 이와 대조적으로 기존 날씨 모델은 6시간마다 업데이트됩니다.
우리는 광범위하게 운영해왔습니다. 벤치마크 최신 버전의 WeatherMesh를 다른 인기 있는 예측 시스템과 비교합니다. 우리는 지구 표면과 대기에 대한 모델의 예측이 30% 더 정확함 유럽 중거리 기상예보 센터의 기존 모델보다 우수하며 DeepMind의 최신 모델 결과도 능가합니다. 젠캐스트대부분의 평가에서.
엔드투엔드 시스템을 구축한다는 것은 전체 파이프라인이 조화롭게 작동해야 함을 의미합니다. 우리의 풍선 별자리는 새로운 예보를 위해 12시간을 기다릴 여유가 없습니다. 하늘을 탐색하려면 거의 지속적인 새로 고침이 필요합니다. 한편, AI 모델은 풍선의 새로운 대기 데이터를 사용하여 예측의 정확성을 향상시킵니다. 이러한 요구 사항의 균형을 맞추면서 데이터를 이동하고 모델을 실행하는 방법에 대해 창의력을 발휘해야 했지만 궁극적으로 빠르고 반응성이 뛰어난 강력한 시스템을 제작했습니다.
WindBorne의 다음 단계는 무엇입니까?
앞으로 몇 년 동안 우리의 목표는 전 세계 약 30개 사이트에서 발사되어 언제든지 비행할 수 있는 약 10,000개의 GSB로 Atlas 풍선 집합을 확장하는 것입니다. 해당 목표를 달성하려면 하루에 대략 300번, 한 달에 9,000번의 실행이 필요합니다. 2028년까지 우리는 Atlas를 통해 먼 태평양부터 극지방의 만년설까지 전 세계가 거의 지속적으로 관찰될 수 있다고 믿습니다. 그리고 우리는 가능한 것의 경계를 계속 테스트하고 있습니다. WindBorne은 최근 기록적인 104일 동안 풍선을 높이 띄웠습니다.
우리는 물리학 기반 기상 모델을 쓸모없게 만드는 것을 목표로 삼지 않습니다. 우리는 AI와 기존 방법이 나란히 작동하여 서로를 강화하는 미래를 봅니다. 정부, 연구원, 기업은 이러한 개선에 의지할 수 있습니다. 재난 대비, 항공, 공급망 물류 등을 안내하는 예측을 제공합니다. 기후가 계속 변화함에 따라 지구의 기후 문제는 더욱 심화될 것이며, 개선된 예측은 우리가 준비하는 데 도움이 되는 핵심입니다.
허리케인 밀턴을 되돌아보면, 우리 풍선이 그 규모의 폭풍 속으로 들어갈 수 있었다는 것이 여전히 초현실적입니다. 그러나 이는 WindBorne이 새롭고 민첩한 시스템이 기존 방법이 부족한 곳에 진정한 가치를 제공할 수 있음을 입증한 순간이었습니다. 12시간 또는 24시간의 추가 경고가 안전과 파괴의 차이를 의미할 수 있는 세상에서 엔드 투 엔드 AI 예측은 사람들이 지구상에서 가장 강력한 세력으로부터 자신을 관찰, 예측 및 보호할 수 있는 방법에 혁명을 제공합니다.