盡管天氣預報在過去幾十年中不斷改進，但氣象測量和模型導致的不確定性意味著ensemble forecasts對天氣預報仍然至關重要。ensemble forecasts通過在相同的預測范圍內運行多個模擬來估計這種不確定性。然后比較不同的結果，更詳細地描述未來。
在本文中，我們將介紹用于以經濟高效的方式快速生成集成的工具。
NVIDIA Earth-2 是一個科學 AI 平臺，可提供用于輕松訪問和部署數據驅動的天氣預報模型的工具。Earth-2 的價值主張包括加速生成集成天氣預報的工具，這些工具可以生成大量可能的天氣場景，提供對許多行業感興趣的潛在天氣結果的更詳細表示。
MetDesk 是一家總部位于英國的領先專業氣象服務公司，使用 NVIDIA Earth-2 平臺運營 AI 預測集合，為能源交易市場提供加速天氣數據。MetDesk 的運營工作流程標志著在 NVIDIA 技術支持下，在生成可操作天氣數據方面實現了重大飛躍。
集成天氣預報
使用傳統數值方法進行集成預測需要大量計算，即使在一些大型 HPC 集群上也是如此。由 NVIDIA 軟件和硬件堆棧加速的 AI 天氣模型可以在數秒內處理類似的工作負載。這對于依賴快速適應不斷變化的天氣條件的應用程序（例如能源交易部門）尤其重要。
天氣控制能源的生成和消耗，使快速準確的預測對于預測市場波動、優化交易決策和管理風險至關重要。MetDesk 使用 NVIDIA Earth-2 平臺開發了用于 AI 驅動的集成預測操作工作流，為交易員提供實際價值。
如何創建 AI 集成預報系統
NVIDIA Earth2Studio 是用于在 Python 中創建 AI 天氣建模工作流的軟件包。在以下示例中，我們將向您展示如何使用 NVIDIA FourCastNet (FCN) AI 模型在 Earth2Studio 中進行集成預測。
該示例首先從 2023 年 9 月 13 日颶風 Lee 在美國東岸海域活動時下載分析結果（對大氣狀態的最佳估計）開始。分析結果會自動從 NOAA 的 Global Forecasting System (GFS) 的數據存儲庫中提取，并緩存到磁盤以供日后重復使用。
繼續使用從球形高斯分布中采樣的噪聲對分析應用微擾，這會導致每個集成成員生成略有不同的預測結果。預測結果存儲在 Zarr 格式存檔中，以便進行分析和可視化。這些選擇都是可定制的。
目前，Earth2Studio 提供了一系列模型、數據源、微擾方法和輸出格式。Earth2Studio 將通過 NVIDIA AI Enterprise 提供更高級的功能和經過優化的流程，以實現規模化。
import numpy as npfrom earth2studio.data import GFS from earth2studio.io import ZarrBackend from earth2studio.models.px import SFNO from earth2studio.perturbation import SphericalGaussian from earth2studio.run import ensemble # Load the SFNO model package, which downloads the checkpoint from NGC model = SFNO.load_model(SFNO.load_default_package()) # Use the spherical Gaussian perturbation method sg = SphericalGaussian(noise_amplitude=5e-5) # Use the GFS analysis as the data source data = GFS() # Use a Zarr archive to store the outputs chunks = {"ensemble": 1, "time": 1} io = ZarrBackend(file_name="output.zarr", chunks=chunks) nsteps = 10 # the number of 6-hour time steps nensemble = 8 # the number of ensemble members io = ensemble( ["2023-09-13T00:00"], # start the forecast on 13 September 2023, 00:00 UTC nsteps, nensemble, model, data, io, sg, # Run 2 ensemble members simultaneously by batching batch_size=2, # Save 2 meter temperature and total column vertically-integrated water vapor output_coords={"variable": np.array(["t2m", "tcwv"])}, ) |
有關完整原始示例（包括結果可視化）的更多信息，請參閱Earth2Studio示例。
圖 1 顯示了四個集成成員的部分輸出數據。使用示例腳本生成的四個集成成員的可視化預測提前完成了 60 小時。
MetDesk 的運營工作流程
與前面展示的類似的 AI 集成預報工作流程已經在 MetDesk 等現實世界的商業應用程序中發揮作用。在 2023 年的整個過程中，MetDesk 清楚地看到，天氣預報領域正在發生重大變化。來自全球一些大型公司的一系列新機器學習 (ML) 天氣模型現在顯示出確定性技能水平，可以與歐洲中期天氣預報中心 (ECMWF) 基于物理的最佳數值天氣預報 (NWP) 模型相媲美。
雖然確定性預測在短預測范圍內很有用，但基于集合的系統顯示出更多的技能，并在 5 – 7 天之后提供更好的指導。這就是 MetDesk 使用 NVIDIA Earth-2 平臺工具創建機器學習集合輸出以輸入其交易天氣產品系列的原因。
MetDesk 選擇了一系列微擾方法并能夠調整各種設置，因此能夠基于操作 ECMWF 運行 (EC-OP) 的單個分析字段創建自己獨特的 51 個初始條件。該微擾方法通過一年內的后預測 (為先前發生的天氣生成預測) 進行了調整，以減少模型誤差并改善集成傳播。在后預測輸出上計算了天氣模型技能的常見測量，并與 EC-OP 和 ECMWF 集成預測 (EC-ENS) 及 GFS 預測模型進行了比較。
圖 2 展示了 MetDesk 目前運行的 51 人 FCN 集成實現 (MD-FCNE) 在 500 hPa 地理電位高度下使用 Root Mean Square Error (RMSE) 和 Anomaly Correlation Coefficient (ACC) 的性能。
這兩項指標均表明，從第 7 天開始，MD-FCNE 的技能與 EC-OP 相比有所提高，并且始終與 GFS 集成保持相當的水平。
除了 RMSE 和 ACC 等傳統指標外，還執行了天氣系統分析，以了解 MD-FCNE 系統與 EC-ENS 相比，在可能的整體天氣系統方面提供良好指導的頻率。通過將集成成員預測的第一個和第二個最有可能的系統組合用作“良好指導”的表示，MD-FCNE 系統在前 10 天的表現僅比 EC-ENS 集成略差，在第 10 天和第 15 天之間可以比較（圖 3）。
前面強調的技能是 MetDesk 的交易客戶在考慮風險時將 MD-FCNE 納入預測的原因之一。它本身就是一個熟練的預測系統，當與其他系統結合使用時，有助于為決策提供信息。
另一個原因是速度。使用 MetDesk 的內部 NVIDIA GPU 硬件，在全套 EC-OP 數據可用之前，即 EC-ENS 完整發布之前的幾個小時，可以創建完整的 15 天 51 人集成預測。
數據的早期到達可用作天氣預報變化的有用早期指標，當許多模型顯示類似的輸出時，MetDesk 客戶對預測場景有更大的信任度。相反，當 MD-FCNE 等模型的輸出與 ECMWF 和 NOAA 模型的輸出不同時，預測信任度就會降低。
MetDesk 的核心能源交易產品包含四個主要天氣參數，這些參數是其核心能源交易產品的重要組成部分：
- 風力
- 溫度
- 降水
- 太陽輻射
在核心 FCN 輸出中，風和溫度隨時可用。
同時，可以使用診斷模型估計非 PrecipitationAFNO 直接生成的變量，這些模型估計 PrecipitationAFNO 輸出中的其他變量。Earth2Studio 提供了一個診斷模型和食譜目錄，用于訓練自定義診斷模型，MetDesk 可以使用降水 PrecipitationAFNO 獲取降水。對于太陽輻射，MetDesk 利用創建自定義診斷的能力。他們使用 PrecipitationAFNO 輸出的本地濕度水平創建云診斷，然后從那里生成輻射。
中期預測
使用 NVIDIA 技術的 MetDesk 運營工作流程，可以執行中期和次季節性天氣預報。MD-FCNE 系統每天運行 4 次，預測期限為 15 天。
收到最新的 EC-OP 分析數據后，MetDesk 的 NVIDIA GPU 會立即啟動 Earth-2 工作流程，以生成一組 50 個微擾初始條件。然后，這些微擾狀態與原始的 EC-OP 分析一起用于初始化每個 FCN 的 15 天預測，從而用于創建診斷參數。
在收到 EC-OP 分析文件后的前 5 分鐘內，MetDesk 可以生成 15 天確定性預測，包括診斷參數，然后將這些參數流式傳輸到相應的交易產品和 API 中。
在接下來的 40 分鐘內，系統將生成集合預報的 50 個成員。這些成員經過后處理以創建統計數據，如集合平均值，并輸入到天氣預報地圖、國家加權預測以及風力和太陽能發電模型等產品中。
次季節性預測
除了每天 4 次的 15 天集成預測，MetDesk 還創建了每天 50 天集成預測（MD-FCN50），由 50 名集成成員組成，面向研究亞季節范圍的客戶。
圖 5 顯示 FCN 技能可與 EC46 系統的技能相媲美（經過偏差校正）。FCN 模型的一個優點是在運行更長的交付時間時具有穩定性。與傳統的 NWP 相比，GPU 加速的 ML 預測系統的巨大速度優勢使 MetDesk 能夠比 ECMWF 的 46 天亞季系統提前近 12 小時向客戶提供 MD-FCN50 預測。這意味著他們在歐洲主要白天交易期間提供數據，而不是在市場關閉后的當天晚上提供數據。
借助 NVIDIA NIM 加速和擴展集成推理
速度和資源效率的提升是推動采用AI模型進行天氣預報的兩個主要驅動因素。
NVIDIA NIM 是一套易于使用的微服務，專為在本地和云端安全、可靠地部署高性能 AI 模型推理而設計。NIM 提供企業級推理性能和可擴展性，同時讓您能夠完全控制將最新的 AI 模型集成到生產工作流程中。NIM 通過 NVIDIA AI Enterprise 提供，提供企業級支持、嚴格驗證和定期的安全更新。
NVIDIA NIM 可加速集成式 AI 天氣預報工作流程，同時讓您完全掌控并擁有自定義功能。
圖 7 展示了 MetDesk 的 AI 集成預測工作流，NIM 負責處理核心預測步驟。
- 首先從 ECMWF 下載和預處理分析數據。
- 然后，NIM 使用 SFNO 完成高效的ensemble預測，并通過預訓練和自定義診斷模型計算其他變量。
- 對輸出數據進行后處理，并將其導入下游系統以生成見解。
通過將 Earth2Studio 和 NIM 與 NVIDIA GPU 結合使用，我們將 MetDesk 工作流程的運行時間從 45 分鐘縮短到了 4 個 NVIDIA H100 GPU 上的 2 分鐘。
NIM 可輕松擴展到更多 NVIDIA GPU。事實上，當并行提交給 50 個 NVIDIA H100 GPU 時，相同的工作負載可以在幾秒鐘內完成處理。
NIM 以容器的形式為類似 Earth2Studio 的工作流程提供生產設置，該容器易于使用 Kubernetes 進行部署。推理通過標準化 API 觸發，其中包含可配置的預測步驟數和所需的輸出變量集。由于要處理的數據量可能相當可觀，NIM 已優化 I/O 功能，可直接從磁盤讀取和寫入磁盤。
除了已通過 Earth2Studio 提供的模型外，NIM 還支持集成自定義診斷模型。使用 NVIDIA Triton 推理服務器，NIM 保留了 NVIDIA Triton 功能集的優勢，包括動態批處理、高級調度、Prometheus 日志記錄等多項功能。
能源交易業務的主要優勢
在能源交易業務中，獲取準確的天氣預報至關重要，尤其是隨著可再生能源生產的不斷擴大。天氣不僅直接影響風能、太陽能和水能的發電，而且還影響能源消耗。極端天氣事件可能會進一步對能源基礎設施和供應鏈產生破壞性影響。
現在，AI 天氣預報模型現在可以與數值預測的準確性媲美，速度的大幅提升使交易員能夠比先前認為的更早地對即將到來的天氣情況作出反應。在分鐘和秒可以發揮重大作用的情況下，任何生產推理設置都必須以峰值性能運行。
NVIDIA NIM 正是為此目的提供了可靠且簡單的解決方案。它可以在幾秒內生成 15 天的ensemble 預測。
MetDesk 是這項技術的早期采用者，為能源交易行業帶來了巨大的價值。MetDesk 的基礎設施團隊可以依靠 NIM 提供的標準接口和部署工作流。MetDesk 的開發者沒有從頭開始構建推理系統，而是獲得了時間，專注于根據客戶需求定制工作流程。
如果您有興趣在自己的專有工作流程中試用 Earth-2 集成 NIM 的搶先體驗版本，請與 Earth-2 團隊聯系。
?
