在全球變暖的背景下，NVIDIA Earth-2 已成為氣候技術的關鍵平臺，在應對氣候變化放大的越來越嚴重的極端天氣影響方面產生可行的見解。
借助 Earth-2，有關天氣和氣候的見解不再局限于大氣物理學或海洋動力學專家。現在，您可以利用先進技術，以遠見卓識和精準度駕氣候變化的復雜性，指導公司、組織和國家 地區預測前所未有的極端天氣相關風險，并減輕其影響。
本文重點介紹了專為 AI 模型訓練和推理而設計的全面 NVIDIA Earth-2 工具套件，其中重點介紹了使用生成式 AI 進行縮小。
縮小與圖像處理中的超分辨率概念類似，涉及從較低分辨率的輸入數據中生成更高分辨率的數據或預測。我們的重點擴展到用于公里級 (公里級) 天氣預報的生成式 AI，涵蓋從訓練全球 AI 天氣模型到推理和生成公里級預測的所有內容。
最后，本文重點介紹了推動這場地球數字孿生革命的軟件工具，幫助您利用生成式 AI 技術，使用 Earth-2 AI 工具實現準確且經濟高效的天氣預報。
滿足對經濟高效的公里級天氣預報的需求?
隨著 AI 推動的 NVIDIA Earth-2 技術的進步，氣候模擬的格局發生了巨大變化，天氣和氣候信息的獲取實現了大眾化。
Earth-2 將促進前瞻性決策，指導公司、組織和國家 地區應對假設場景，并預測前所未有的天氣，以實現可行的結果，涵蓋政策制定、城市發展和基礎設施規劃。
準確預測即將發生的天氣災害需要以公里級分辨率進行成本高昂的模擬。預測未來的氣候災害也是如此。
傳統模擬方法在公里級時會導致模型過于龐大、復雜且計算成本高昂。此外，天氣和氣候系統具有隨機性和不確定性，需要進行集成預測以獲得未來結果的概率分布。
模擬分辨率與集成大小成正比。這限制了可以采樣以告知規劃的危險范圍。但是，具有成本效益的解決方案在于隨機 AI 降采樣模型。
作為 Earth-2 平臺的核心，NVIDIA 提供了一種基于生成式 AI 和擴散建模的創新兩步式方法，用于以高保真度縮小天氣數據。這種方法稱為 CorrDiff。
使用 CorrDiff 預測精細天氣細節?
由 NVIDIA 的領先研究和開發團隊開發，CorrDiff 引入校正器擴散模型方法 旨在以公里級分辨率重新定義天氣預報。
CorrDiff 的核心是利用生成式學習的強大功能，以出色的準確性和效率應對預測極端天氣現象細節的挑戰。
CorrDiff 方法有效地將生成式學習隔離到更短的長度范圍內，從而能夠精細地預測極端天氣現象。例如，您可能從分辨率為 25 公里的預報開始，而想要生成分辨率為 2 公里的預報。
主要挑戰是預測粗分辨率預測中缺失的細節，使其更準確、更精細，類似于更精細的分辨率數據，并包含極端天氣的一致性空間結構。
CorrDiff 的工作原理分為兩個主要步驟。首先，回歸模型預測細分辨率場的均值。然后，在第二步中，CorrDiff 通過添加初始預測中未捕獲的缺失細節來細化這一猜測，使其更好地匹配現實。
至關重要的是，由于這是一種生成式 AI 方法，CorrDiff 可以合成粗分辨率輸入數據中不存在的新的精細分辨率字段。擴散模型的固有隨機采樣還可以生成與單個粗分辨率輸入對應的許多可能的精細分辨率狀態，從而提供結果分布和不確定性措施。
CorrDiff 背后的理念是，學習改進初始猜測所需的修正比直接從頭開始學習精細分辨率細節更容易。通過將問題分解為回歸和擴散步驟，CorrDiff 可以有效利用粗略分辨率預測中提供的信息，以更精細的分辨率生成更準確、更詳細的預測。
總的來說，CorrDiff 提供了一種實用方法來提高天氣預報的分辨率，合成新的變量，并通過利用現有的粗分辨率數據和模型為特定區域 (例如中國臺灣) 生成更詳細、更準確的預測，從而提供一系列狀態。這種實用性通過其顯著的效率得到強調，因為它速度快了幾個數量級，并具有 高效 的優勢，優于傳統方法。
CorrDiff 還可以合成輸入向量中可能不可用但假設與輸入相關的輸出。這意味著擁有自己數據集的用戶可以為自己的用例訓練自定義的 CorrDiff 等效輸出，從而擴展 CorrDiff 在不同數據集和場景中的適用性和效用。
適用于 AI 天氣模型的 NVIDIA Earth-2 軟件工具包?
NVIDIA Earth-2 提供了一套功能強大的氣候技術工具，用于訓練和推理 AI 天氣模型，包括 NVIDIA PhysicsNeMo 和 Earth2Studio。
在 NVIDIA PhysicsNeMo 中訓練 AI 天氣模型?
為了訓練 AI 天氣模型，您可以使用 NVIDIA PhysicsNeMo，這是一個基于物理信息的開源機器學習 (Physics-ML) 平臺。
NVIDIA PhysicsNeMo 允許工程師構建 AI 代理模型，以生成比基于物理原理的模型更美觀和超前的預測。PhysicsNeMo 為領先的全球 AI 天氣預報模型、診斷模型提供了推斷更多變量的工具，并使用 CorrDiff 進行降采樣。
PhysicsNeMo 還包含用于構建訓練管線的功能，例如適用于最常見數據類型的數據加載器。這些功能在示例工作流中結合使用，用于訓練大氣中的 AI 模型。PhysicsNeMo 的組件經過全面設計，可充分利用 GPU 并擴展到大型訓練設置。
對于每個大氣 AI 模型，PhysicsNeMo 都包含一個工作流程示例，用于在合適的數據集上訓練相應的模型。目前，PhysicsNeMo 實現了多個預測模型：
- FourCastNet 是我們基于 AI 的全球天氣模型，它利用球形里葉神經運算符架構。
- 分層二面體圖神經網絡 (GNN) 與 GraphCast 等類似方法相似。
- DLWP-HEALPix 是一種基于 DLWP 的具有等面積網格的物理啟發式 AI 預測方法。它展示了競爭優勢，這是首個展示從亞季節性到季節性的預測技能的全球預測模型。
- 其他模型，例如 Pangu-Weather，FengWu 以及 SwinVRNN，都基于視覺 Transformer 架構構建。
有關更多信息和示例，請參閱 NVIDIA/physicsnemo GitHub 庫。
此類全球天氣預報模型預測了及時推進大氣狀態所需的一系列表面和壓力水平變量。
通常，您可能會對未包含在全局模型中的變量感興趣，例如，假設自定義數據流中的降水量或其他變量可從全局天氣模型主干中預測。
診斷模型不會及時推進大氣狀態，而是基于現有模型同時獲得所需數量。通過結合診斷和預測模型，您可以預測其他變量，而無需重新訓練后者。
PhysicsNeMo 提供根據特定用例所需的變量集訓練診斷模型的方法。要試用診斷模型，請參閱用于預測降水的模型檢查點。
通過 Earth2Studio 進行 AI 天氣模型推理?
為了更好地支持開發者和研究人員在 AI 天氣和氣候推理工作流程中試驗、構建和自定義，NVIDIA Earth-2 開發了一個開源 Python 軟件包 Earth2Studio，該軟件包將在 NVIDIA PhysicsNeMo 24.04 版本中提供。
Earth2Studio 旨在為各種推理工作流程所需的常用模型、數據源、微擾方法、IO 模塊等提供服務，同時簡化擴展和自定義。
您可以開箱即用地訪問常見的公共在線數據源 API，包括以下內容：
您可以在 Earth2Studio 中訪問一系列預訓練模型，后續還會提供更多內容，作為為您的用例集成 AI 天氣模型的起點：
- FourCastNet
- PhysicsNeMo 圖形投射
- 盤古天氣
- LWP
檢查點隨時可用 NGC 目錄 中，例如 FCN 和 Earth2Studio 包含用于自動下載這些模型并將其緩存到您的設備的例程。一些模型從外部來源加載，例如 ECMWF 托管的 PanguWeather 檢查點。
Earth2Studio 的目標是讓您能夠輕松構建自己的自定義工作流，用于推理預測和診斷模型。它包含一組通用工作流，只需幾行代碼，即可開箱即用，實現確定性和基于集成的預測和驗證。
以下代碼示例展示了如何通過 Earth2Studio 利用 FourCastNet 模型，僅使用八行代碼即可生成確定性預測。
from earth2studio.models.px import FCNfrom earth2studio.data import GFSfrom earth2studio.io import ZarrBackendimport earth2studio.wf_simple as wf??# Load FourCastNet pretrained modelmodel = FCN.load_model(FCN.load_default_package())# Create the data sourcedata = GFS ()# Create the Zarr IOio = ZarrBackend()# Run 20 steps of inferenceoutput_datastore = wf.run([ “2024-01-01” ], 20, model, data, io) |
圖 1 顯示了在預測的最后一個時間步長產生的總塔水汽場。
在 NVIDIA PhysicsNeMo 中訓練 CorrDiff
此示例演示了超分辨率和新通道合成，訓練 CorrDiff 將中國臺灣 25 千米的 ERA5 數據轉換為 2 千米的數據。
該數據由中國臺灣中央氣象局 (CWA) 使用高分辨率區域數值天氣預報模型生成。該數據集以 CC BY-NC-ND 4.0 許可證 授權，并可從 NGC 下載 獲得。有關訓練模型的特定說明，請參閱 NVIDIA/physicsnemo GitHub 庫。
NVIDIA PhysicsNeMo 除了易于使用外，還有一個主要優勢是性能優化。目前，在 NVIDIA A100 或 NVIDIA H100 GPU 上訓練 CorrDiff 需要 2 – 3K GPU 小時，CorrDiff 團隊正在努力進一步優化訓練程序。在類似硬件上，只需幾秒鐘即可生成一個超分辨率樣本。
通過 PhysicsNeMo 推理 CorrDiff
(來源：適用于 Km 級大氣降采樣的殘差擴散建模)
同一 CorrDiff 示例還包含推理腳本，用于基于低分辨率 ERA5 條件反射 (輸入距離為 25 公里) 生成高分辨率天氣的條件樣本。
有關生成樣本并將其保存為 NetCDF 文件的說明，請參閱 NVIDIA/physicsnemo GitHub 庫。推理運行需要為回歸和擴散模型設置 PhysicsNeMo 檢查點。這些檢查點作為訓練管線的組成部分另存。
有關更多信息和訪問權限，請參閱 CorrDiff 推理包 的 NGC 目錄頁面。
臺灣風暴追蹤?
作為 CorrDiff 極端天氣問題用例的一個示例，我們展示了在中國臺灣追蹤風暴所面臨的挑戰。
雖然全球 AI 預測模型在預測風暴路徑方面表現出色，但其 25 公里的有限分辨率阻礙了其有效性，無法捕獲通常包含對風暴相關破壞至關重要的最強風力和降水的精細細節。
在分辨率為 25 公里的情況下，ERA5 輸入數據中的臺風結構通常無法很好地解決，導致其大小和強度的表示不準確。風眼墻和雨帶中也缺少與物理危險相關的關鍵空間細節。
中國臺灣是全球最潮的地區之一，年降水量為 2600 毫米 (約為全球平均值的 3 倍)，每年的平均災害成本為 6.5 億美元。這種財務負擔是由季風給臺灣帶來的大量降水造成的，導致廣泛的洪水，損害了生命和財產，需要大規模的疏散工作。
災害風險是指危險的嚴重程度和頻率、暴露于危險中的人員和資產的數量，以及其對損害的易受傷害性的組合。圖 3 顯示了 IPCC 示意圖 2022 年關于影響、適應和漏洞的第六份評估報告中對災害風險的闡述。
(來源：IPCC AR6，WG2，第一章，第 146-144 頁)
臺灣國家科學技術中心 (NCDR) 概述了四個階段的臺風應對方法 (圖 4)。
前兩個階段 (啟動和準備) 專注于分析風險和發出災害警報。第 3 和第 4 階段 (響應和恢復) 專門用于監測災害和實施應對措施。
NVIDIA 技術可以應對這些挑戰。
AI 天氣預報的增強功能有可能改進第 1 階段和第 2 階段的風險分析。通過改進天氣預報技術，特別是通過更高分辨率和更大的集成，我們可以更全面地評估暴露風險。
CorrDiff 是開創性的 NVIDIA 生成式 AI 擴散模型，使用臺灣 CWA 提供的高分辨率雷達 WRF 數據和來自歐洲中期天氣預報中心的 ERA5 再分析數據進行訓練。
借助 CorrDiff，可以將對極端天氣現象 (如臺風) 的預測從 25 公里分辨率大幅提升到 2 公里分辨率。
在本文中，我們已經證明，通過將 ERA5 的距離從 25 公里縮小到 2 公里，我們可以探索更多的局部地區預測場景，旨在清晰呈現風暴在最佳、最糟糕和最有可能產生的影響。
評估不確定性至關重要。然而，鑒于計算資源有限，集成預測成員的數量及其分辨率之間存在妥協。NCDR 生成的預測由大約 200 個集成成員組成，分辨率各不相同。
引入 CorrDiff 等尖端 AI 技術標志著一項重大變革。它能夠在單個 GPU 節點上擴展多達數千個成員，以進行近乎實時的集成預測。
臺灣 CWA 管理員 Chia-Ping Cheng 提到了 NVIDIA 生成式 AI CorrDiff 模型的變革潛力，并強調了其變革天氣預報的能力。Cheng 重點介紹了 CorrDiff 如何能夠生成公里級天氣預報，使社會能夠以前所未有的準確性預測極端天氣事件的詳細特征，從而幫助減輕自然災害。
臺灣國家科技中心 (National Science and Technology Center for Disaster Relationship in T 臺灣) 主任 Hongey Chen 也表示，他強調了 CorrDiff 在應對自然災害帶來的各種前所未有的影響方面的重要意義。Chen 強調說，CorrDiff 是確保公共安全的創造性解決方案。
普及 AI-weather 并實現氣候技術?
總而言之， NVIDIA Earth-2 實現了天氣信息獲取的大眾化，并體現了一項現代舉措，旨在將氣候科學的覆蓋范圍擴展到學術界之外，使決策者、企業、記者和普通公眾能夠輕松獲取這些信息。
CorrDiff 是基于 NVIDIA 生成式 AI 的先進降采樣模型，在以下各個領域都有前景：
- 除了金融服務領域之外，CorrDiff 可以用于用戶在風險評估和資產管理方面做出明智的決策。
- 在能源行業之外，CorrDiff 的精確縮減功能可以實現更好的資源分配和基礎設施規劃，這對于優化能源生產和分配至關重要。
- 政府機構可以利用 CorrDiff 的優勢，從而增強災害準備和應急工作。
- 個人用戶可以通過更準確、更本地化的天氣預報來感受 CorrDiff 對日常規劃和安全的影響。
憑借出色的適應能力和效率，CorrDiff 可以提供可行的見解和準確的預測，助力我們所有人構建一個更具彈性的世界。
?
