在阿聯酋 (UAE) ，極端天氣事件破壞日常生活、延誤航班、危及交通并使城市規劃復雜化。白天的高溫限制了人類在戶外的活動，而濃霧則是導致嚴重且往往致命的車禍的常見原因。與此同時，2024 年是該國 75 年來最強烈的降水事件，在通常干旱的地區引發了嚴重的洪水。
G42 是一家總部位于阿聯酋的領先 AI 和云計算公司 ，開發了先進的區域生成式 AI 預測系統，能夠以高達 200 米的分辨率預測阿聯酋的各種氣象事件。在本文中，我們展示了 G42 如何使用 NVIDIA GPUs 和 Earth-2 平臺構建此系統。
阿聯酋區域預測的重要性
在阿聯酋，區域天氣預報在應對極端天氣事件（例如暴雨、濃霧、沙塵暴和酷熱）帶來的挑戰方面發揮著至關重要的作用，這些事件可能會造成基礎設施損壞，并破壞交通、物流和公共安全。除了這些緊迫的問題之外，局部天氣預報對于能源轉型也至關重要，因為它可以為將可再生能源納入電網提供信息，并支持電網的整體穩定性。
全球天氣模型缺乏捕獲影響特定區域的精細動態所需的分辨率，因此定制解決方案不可或缺。區域天氣模型用于為有限的區域生成更高分辨率的預報，但運行成本高昂且需要消耗大量能源。
為解決這一問題，G42 利用 NVIDIA Earth-2 平臺創建了 AI 驅動的區域預測工作流。G42 的開發者使用 Earth-2 的 PhysicsNeMo 框架中的 CorrDiff 架構為阿聯酋地區開發了一個自定義區域模型，用于縮小全球天氣預報數據的比例。G42 中的 AI 研發公司 Inception 訓練了該模型，而 Space42 創建了訓練數據。
通過將自定義 CorrDiff 連接到預訓練的 NVIDIA FourCastNet 全球天氣預報模型，G42 能夠在幾分鐘內以 2 公里的分辨率生成全國范圍的天氣預報，而傳統數值天氣預報方法則需要幾小時。
使用 CorrDiff 模型的另一個變體，Inception 開發者還將輸入數據的分辨率提高了 10 倍。該變體經過訓練后可輸出阿布扎比市及其周圍分辨率為 200 米的天氣數據，被用作預報工作流的第二步，可實現城市級別的超局部預報。它捕捉了地理特征（例如阿布扎比的沿海島嶼和城市發展）對當地天氣模式的形成和行為的影響，有助于更好地了解地形、城市化和天氣之間的復雜相互作用。
G42 團隊在其用例中調整了 Earth-2 NVIDIA Omniverse 藍圖 ，這是構建從模型訓練到交互式可視化的 AI 天氣工作流的參考。牢記這種端到端情況有助于找到為 G42 客戶創造價值的解決方案。
G42 的 AI 降噪工作流
阿聯酋的本地預測模型在 G42 的 NVIDIA H100 GPU 集群上進行訓練和部署，每個節點由 8 個 H100 組成。CorrDiff 訓練在多個節點上執行，最多使用 64 個 GPU，但這個數字可以根據 GPU 的可用性來擴大或縮小。CorrDiff 訓練 recipe 可自動擴展到多個 GPU 和節點，并可根據所使用的批量大小適應任意數量的 GPU。
由于 CorrDiff 步驟獨立運行，因此可以在多個 GPU 上并行執行。分布式推理工作流使用 Earth2Studio Enterprise 包構建。
由于 CorrDiff 等擴散模型的推理成本相對較高，我們發現使用一個 H100 GPU 同時推理 FourCastNet 和時間插值，同時使用 7 個 H100 GPU 來處理 CorrDiff 是此工作流程的最佳比率。分發代碼利用 NVIDIA PhysicsNeMo 和 PyTorch 的自動分發功能，利用 GPU 之間的快速 NVLink 數據傳輸。
由 NVIDIA H100 GPU 加速的 AI 預報工作流模型使用嵌套的 2 公里和 200 米模型，在 170 GPU 秒內生成一天的預報，而使用 Weather Research and Forecasting (WRF) 模型，在一天內生成相當于 200 米分辨率的數據需要 960 個 CPU 核心小時。
為 CorrDiff 模型訓練準備數據
訓練 CorrDiff 模型所需的數據包括粗分辨率輸入和高分辨率目標數據集。G42 使用包含 ERA5 再分析的輸入數據，并通過內部模擬生成高分辨率數據。
訓練輸入數據來自 ECMWF ERA5 再分析數據，空間分辨率為 0.25°，來自 Copernicus Climate Data Store。該數據集提供高質量的全球氣象信息，并作為模型訓練的基準輸入。ERA5 數據也可以每小時獲取一次，確保與目標數據保持一致并進行適當的時間對齊。
目標數據包括兩組不同空間分辨率的模擬：
- 2 公里，覆蓋阿聯酋及其他地區
- 阿布扎比市 200 米
這些數據集是使用 WRF 模型進行模擬的，該模型已進行區域調整，以提高當地大氣條件下的準確性。模擬跨越五年 (2019-2023 年)，數據以小時為間隔提供。WRF 模型由 Global Forecast System (GFS) Global Data Assimilation System (GDAS) 數據集的邊界條件驅動。
在 NVIDIA PhysicsNeMo 中訓練自定義 CorrDiff 數據加載器
整個阿聯酋的 CorrDiff 區域模型的 訓練分辨率 為 2 公里，阿布扎比市的訓練分辨率為 200 米，能夠針對區域和城市環境進行量身定制的精細天氣預報。為了訓練此模型，G42 利用了 PhysicsNeMo 框架中的 CorrDiff 訓練方法。此示例旨在讓任何擁有高分辨率天氣數據的人都能訓練自己定制的生成式降尺度模型。
天氣數據可以以多種不同的結構、標記和格式到達。PhysicsNeMo 中的訓練示例旨在幫助用戶將自己的數據管道集成到 CorrDiff 訓練方法中。示例包括兩個 dataloaders：
- 一個是復制原始 CorrDiff 論文中的臺灣模型訓練
- 名為 CorrDiff-Mini 的實現，使用簡單的數據集和較小的網絡來實現輕量級 CorrDiff。
可以通過編輯配置文件來指定不同的 dataloader。CorrDiff-Mini dataloader 是實現新的自定義 dataloader 的良好起點。
在 Earth2Studio 中創建高分辨率區域預測管道
G42 使用多個步驟構建自定義的阿聯酋高分辨率天氣預報，從數據檢索到使用 FourCastNet 進行推理，再到使用 CorrDiff 模型進行插值到更高的時間分辨率和降尺度。以下介紹了如何在 Earth2Studio 中設置此類工作流，以及 G42 如何針對其特定用例定制工作流。
數據檢索
預測始于分析，即對給定時刻的大氣狀態的最佳估計。
在 G42 工作流中，從 GFS 檢索初始條件 (IC) ，如圖所示，但 Earth2Studio 還包含連接其他數據源 (例如 ERA5) 的接口。
from earth2studio.data import GFSdata = GFS() |
預測
對于全球預測，G42 使用 Earth2Studio 支持的 FourCastNet (SFNO) 模型 ：
from earth2studio.models.px import SFNO fc_model = SFNO.load_model(SFNO.load_default_package()) |
FourCastNet 將大氣的初始狀態作為輸入，并以 0.25° 的空間分辨率每隔 6 小時預測所需的未來狀態數量。有關 安裝 支持 SFNO 的 Earth2Studio 的更多信息，請參閱 Earth2Studio 文檔中的安裝主題。
插值
基于 AI 的天氣插值模型 以 6 小時時間分辨率接收 FourCastNet 的時間序列預測輸出，并估算中間天氣狀態，將分辨率提高到 1 小時。在 Earth2Studio 中，通過包裝另一個預測模型來使用插值模型。
from earth2studio.enterprise.models.px import ForecastInterpolation interp_model = ForecastInterpolation.load_model( Package(interp_package_path, cache=False), fc_model=fc_model ) |
內插模型的接口與任何其他預測模型相同，因此可用于任何需要預測模型的工作流。
縮小
CorrDiff 模型的加載方式與預測模型類似，除非使用從在 PhysicsNeMo 中訓練的自定義 CorrDiff 模型中創建的模型包。
from earth2studio.enterprise.models.dx.corrdiff import CorrDiffcorrdiff_model = CorrDiff.load_model( Package(corrdiff_package_path, cache=False) |
該代碼示例概述了如何為基本的 CorrDiff 工作流創建模型，但 Earth2Studio CorrDiff 包裝器也可以進行自定義，以添加更高級的功能。
G42 將兩個嵌套的 CorrDiff 模型連接在一起：一個是適用于阿聯酋的 2 公里 CorrDiff 模型，另一個是適用于阿布扎比市及其周圍地區的 200 米 CorrDiff 模型。他們還在模型中加入了 霧指數 的計算、顯示霧概率和厚度的啟發式指標，以及定制的降水處理，以提高降雨輸出的質量。
運行工作流程
將所有組件準備就緒后，運行一個工作流，將所有組件整合在一起，生成局部高分辨率預報：
from earth2studio.run import diagnostic from earth2studio.io.netcdf4 import NetCDF4Backend io = NetCDF4Backend(output_file) time = ["2025-03-17T00:00:00"] timesteps = 168diagnostic( time, timesteps, interp_model, corrdiff_model, data, io, output_prognostic=False) |
預測開始時間指定為 2025-03-17T00:00:00，以及要預測的所需時間步長數。假設插值時間間隔為 1 小時，則每個時間步長代表一個小時。例如，指定 168 個時間步長會生成一個以 1 小時為間隔的一周天氣預報。輸出結果將保存為 NetCDF4 格式的文件。
可視化
Earth-2 Omniverse 藍圖提供了一個參考實現，用于使用 NVIDIA Omniverse SDK 和微服務構建可視化工作流。Omniverse 是一個用于構建數字孿生的平臺，將交互式 3D 場景與加速物理模擬和 AI 集成在一起。它支持跨團隊的實時協作，以及基于 OpenUSD 文件格式的數據互操作性。
Omniverse Kit 用于將阿聯酋特定 CorrDiff 模型生成的霧和風預測與 3D 建筑信息相結合 (圖 2) 。G42 根據 Earth-2 藍圖定制了參考應用，以構建交互式界面，使用戶能夠探索全球規模的大氣數據。
結果
G42 突破了 Earth-2 堆棧的極限，成功訓練了兩個自定義版本的 CorrDiff，以阿聯酋及其周圍地區的 2 公里分辨率和阿布扎比附近地區的 200 米分辨率實現了溫度、風、濕度和降水的區域天氣模擬。他們使用這些模型生成完整的端到端天氣預報，展示了該平臺提供區域預報的能力。
CorrDiff 已經學會了以高分辨率再現該地區氣象學的許多特征。圖 3 展示了分辨率為 2 公里的風向預測示例。CorrDiff 展示了阿布扎比城市的建筑物對減緩下午的海風的影響。
在圖 3 中，顏色表示風速，流線表示風向。
圖 4 展示了輸入 2 米溫度 (左) 和 CorrDiff 以兩種分辨率 (每像素 2 公里 (中心) 和每像素 200 米 (右) 生成的相同變量) ，展示了從 0.25° 網格放大到城市比例時分辨率的提升。中心圖中的紅色方框表示右側 200 米視圖中顯示的區域。
2 公里的模擬對整個阿聯酋及其周圍地區進行了全面的預報，而 200 米的模擬則放大并捕獲了阿布扎比市及其周圍地區的更精細的細節。
G42 的定制 CorrDiff 實現結合輸出，生成城市規模的霧預測。200 米的分辨率凸顯了霧概率的細微變化，這對于提高該地區的交通安全、城市規劃和能源優化至關重要。
2024 年 4 月，阿聯酋經歷了 75 年來最強降雨，在不到 24 小時的時間內累計降雨量超過 250 毫米。新版阿聯酋 CorrDiff 模型針對分辨率為 2 公里的降水輸出進行了優化，表明與上一次迭代相比，該模型捕獲此次極端天氣事件降雨結構的能力有所提高。
CorrDiff 生成的降水量與阿聯酋的觀測數據大致相符，G42 正在進行進一步的分析，以便根據實際事件評估模擬降雨的統計屬性。這些進步凸顯了 CorrDiff 在以更高的精度對罕見且有影響力的天氣現象進行建模方面的潛力。
為政府和行業帶來的主要優勢
以高分辨率模擬天氣事件對于區域預測至關重要，可為地方政府和行業帶來直接效益，尤其是在交通、安全和電網穩定性方面。通過及時訪問這些模擬，相關部門能夠采取主動措施，在危險天氣條件下管理交通、減少事故并優化公共安全。借助超高分辨率的準確天氣預報，能源供應商還能預測需求波動并保持電網穩定性，尤其是在極端溫度事件期間，例如使用 GPU、PyTorch 和 pandas 等技術進行模擬和分析。
在傳統模擬中，達到這種細節水平需要大量的時間和資源。但是，使用 NVIDIA AI 賦能的技術可以顯著加速這一過程，以前所未有的速度實現超分辨率模擬，例如基于 Earth-2 的堆棧的 G42 生成的模擬。現在，可以比以往更快、更高效地提供可行的預報。
結合集成預報方法，基于 AI 的區域預報速度還可以描述未來天氣的各種可能場景，從而提高識別即將到來的極端事件的概率。
?
