陸地洪水每年都會造成重大的經濟和社會影響。在 2024 年給保險業造成超過 10 億美元損失的八場自然災害中，有六場被歸類為洪水事件，其中僅歐洲就發生了三起。災難建模（Catastrophe modeling）旨在量化洪水事件的風險，為金融和保險行業做好準備。
在許多情況下，以往洪水事件的簡短歷史記錄不到 50 年，因此災難模型會模擬隨機事件的長記錄，以探索低概率高影響事件的不確定性。傳統方法通常使用統計外推法來形成這些新事件。由于依賴歷史記錄，這些方法在形成新的和看不見的事件的能力方面受到限制。
JBA 風險管理是洪水風險管理領域的全球領導者。借助 NVIDIA Earth-2 平臺，JBA 的開發人員構建了一個龐大的集成 (HENS) 管道，為易北河流域生成冬季的假設天氣數據。AI 模型、Earth-2 軟件堆棧和 NVIDIA GPU 的組合可提供比傳統數值天氣模型快多個數量級的性能。
這種前所未有的速度能夠以之前無法實現的數量生成新的、多樣化的、物理上合理的天氣場景。此 AI 驅動的解決方案與水文模型集成，提供了一個可靠的框架來估計當前的洪水風險，從而實現更好的準備和恢復規劃。
洪水事件的影響與日俱增
洪水仍然是最具破壞性的自然災害之一，在全球范圍內造成了巨大的人員傷亡、經濟損失和環境損失。近年來，人們更迫切地需要了解極端洪水事件并做好準備。PERILS 將 2024 描述為“洪水之年”，這是一家獨立組織，旨在增強保險行業對風險的理解。2024 年 5 月，德國南部的嚴重洪災造成了 15.8 億美元的損失 ，而今年晚些時候，前所未有的降雨引發了西班牙的大規模洪災，造成了 39 億美元的損失 。
洪水通常由多種因素的復雜相互作用驅動：降水強度、持續時間和頻率是關鍵驅動因素，但地表溫度、地面和土壤條件也是關鍵驅動因素，這些因素影響著土地的蒸發和吸收水的能力。了解天氣動態和洪水影響之間的關系是估計洪水事件帶來的風險的關鍵。
保險和金融行業特別關注的是最罕見且最具破壞性的洪水，例如通常被稱為“200 年 1 次的洪水”的洪水。這些事件的規模非常大，在任何特定年份中發生同等或更嚴重的洪水事件的概率為 0.5％。然而，要對這些事件進行可靠的統計分析，需要跨越數百年的天氣數據，遠遠超過目前可用的高質量觀測記錄，而這些記錄通常不到 50 年。
傳統的統計方法試圖通過使用通過外推和干擾現有數據創建的合成時間序列來解決有限的歷史記錄。有關詳細信息，請參見 在多元變量的一個組件較大的情況下對其條件分布的估計 。雖然這些模型能夠可靠地量化洪水風險，但它們在創造不同于歷史記錄的可信事件方面存在局限性。數值天氣預報（Numerical Weather Prediction，NWP）模型確實能夠創建新的未見過的事件。但是，由于計算成本高昂，實際上無法生成價值數千年的天氣數據。
AI 提供了一種變革性的替代方案。利用 NVIDIA Earth-2 平臺和工具，開發者可以構建 AI 天氣模型，以生成大量逼真的天氣場景，并將計算資源減少多個數量級，從而深入了解在不同條件下可能發生的情況。這種方法能夠快速生成物理上合理、空間連貫且統計上可靠的數據，代表著洪水風險估算和管理的重大飛躍。
使用 NVIDIA Earth-2 生成大規模集成
Earth-2 平臺提供 Earth2Studio Python 庫包和預訓練模型，為探索和開發 AI 推理工作流提供支持。與 Earth2Studio 合作的 JBA 開發人員使用基于 FCN SFNO 的大型集成流程和用于后測的降水診斷模型開發了他們的模擬流程 (圖 1) 。如需詳細了解大型集成，請參閱“Huge Ensembles Part I: Design of Ensemble Weather Forecasts using Spherical Fourier Neural Operators”。
降水診斷是本研究與 JBA 的特有合作，但 Earth-2 平臺中提供的其他診斷模型可以添加到此類推理流程中，以預測感興趣的衍生變量。要查看推導太陽輻射的示例，請參閱 Advancing Solar Irradiance Prediction with NVIDIA Earth-2。
在 Earth-2 Studio Enterprise 中設置 HENS 工作流
本節將詳細介紹多檢查點集成預報的配置和執行、降水診斷的集成以及高效的輸出分析。在為該項目開發時，該工作流程可以輕松適應其他應用程序。
第 1 步：準備環境
- 訪問 Earth2Studio ：確保您可以訪問 NVIDIA Earth-2 AI 軟件包，特別是 Earth2Studio 和 Earth2Studio Enterprise ，以配置和運行 AI 驅動的天氣模擬。
- 獲取 SFNO 檢查點：下載 HENS-SFNO 預訓練模型包。模型包包括預訓練檢查點、歸一化指標、關于向通道分配變量的信息等。
- 獲取 HENS-SFNO 技能文件：包含模型確定性技能的文件，這是微擾期間縮放噪聲所必需的。
第 2 步：獲取初始條件和驗證數據
- 自動獲取：使用 Earth2Studio 示例管道從大氣數據存儲中獲取、預處理和緩存初始條件（ICs），例如由 Copernicus（CDS） 托管的 ECMWF Reanalysis（ERA5）或 NOAA Global Forecast Service（GFS）。
- 用于快速訪問的存儲數據：使用 Earth2Studio 數據存儲功能以高性能文件格式（例如 NetCDF 或 Zarr ）保存 IC 和驗證數據，以確保在推理和驗證期間快速訪問。
第 3 步：通過配置文件配置 HENS 工作流
- 設置多檢查點集成推理（Multi-Checkpoint Ensemble Inference）
- 使用從 Earth2Studio Enterprise 中提供的示例中的配置文件開始的配置文件來定義工作流設置。
- 為避免覆蓋先前運行的結果，請分配唯一的項目名稱。
project: 'hens_winter_season' |
- 定義開始時間、交付周期和集成大小
- 提供開始時間列表或定義下面代碼示例中提供的開始時間塊，例如使用 PyTorch 或 pandas 等技術。
- 指定用于預測部署的自回歸步驟數。例如，在 10 天內推出 40 個步驟，模型的運行時間為 6 小時。
- 定義每個檢查點的集成大小（例如 50 個成員）。
- 對于每個檢查點，在每個 IC 上生成大小為
的集成。
- 總運行次數：
- 通過設置適當的推理批量大小來優化 PyTorch 性能。
ic_block_start: "2023-11-09"ic_block_end: "2023-11-16"ic_block_step: 24nsteps: 678 # number of 6h forecasting stepsnensemble: 18 # ensemble size per checkpointbatch_size: 2 # inference batch size |
- 預測模型
- 選擇與 Berkeley 模型包和 checkpoint 兼容的 SFNO 模型架構。
- 為包含預訓練檢查點的模型包的目錄提供路徑。
- 如果未指定自定義模型，Earth2Studio 將自動下載并使用所選預測模型的默認檢查點。
forecast_model: architecture: earth2studio.models.px.SFNO # forecast model class package: '/path/to/HENS/model/packages' # folder containing packages max_num_checkpoints: 8 # number of checkpoints |
- 診斷模型
- 選擇模型，從原始天氣預報模型輸出中推導降水。
- 可選擇包含自定義診斷模型。有關詳細信息，請參閱上面關于訓練自定義降水診斷的部分。
- 可用于定義多個診斷模型，以計算其他相關變量。
diagnostic_models: precipitation: architecture: earth2studio.models.dx.PrecipitationAFNO # model package: '/path/to/package' # package |
- 初始條件源和 perturbation
- 選擇一個本地數據源，并將其指向第 2 步中下載的數據。
- 根據 Huge Ensembles 第一部分：使用 Spherical Fourier Neural Operators 設計集成天氣預報，調整微擾設置以恢復校準的集成
data_source: _target_: earth2studio.data.DataArrayDirectory dir_path: '/path/to/IC/data/dir' # data which was downloaded in step 2perturbation: method: 'hcbv' # HENS perturbation method integration_steps: 3 # integration steps in vector breeding noise_amplification: .35 # amplification of noise skill_path: '/path/to/skill/file.nc' # downloaded in step 1 perturbed_var: 'z500' # variabile to perturb in seeding step |
- 配置輸出設置
- 指定應存儲到磁盤中的變量 (例如溫度和降水) 。
- 或者，將輸出限制在特定地理區域，以管理數據大小。
- 請注意存儲限制，因為包含數百或數千個成員的集成可以輕松生成大量數據集。此外，向磁盤寫入大量數據會影響推理速度，尤其是在使用 GPU 等硬件時。
- 選擇所需的輸出文件格式 (例如 NetCDF 或 Zarr)。
file_output: path: './outputs' # directory to which files are written output_vars: ['t2m', 'u10m', 'v10m', 'tp06', 'z500', 'msl'] format: _target_: earth2studio.io.NetCDF4Backend |
第 4 步：執行 HENS 管道
- 運行 Python
hens.py --config-name=precip_hens_winter2324.yaml - 通過 MPI 或 Slurm 運行 Python 腳本，以高效分配計算。
- 管道將自動跨進程分配 Checkpoint IC 對。
第 5 步：分析輸出
- 驗證
- 將輸出與驗證數據集進行比較，以評估管道性能和可靠性。
- 例如，Earth2Studio 包含基于集成的評分方法，例如 ensemble-based scoring。
- 分析 AI 生成的天氣數據
本詳細指南將幫助您有效配置和運行 HENS 管道，從而創建廣泛的天氣事件集合并將其與降水診斷集成。
訓練自定義降水診斷
大多數 AI 驅動的天氣模型專注于生成溫度、氣壓和風等變量，通常會將降水排除在其輸出變量集之外。但是，預測模型的輸出仍可通過診斷 AI 模型進行傳遞，從而獲得降水，如圖 2 所示。
這種方法可確保降雨模式在物理上與其他天氣變量保持一致，而無需重新訓練預測模型。診斷模型可能很小，因此訓練起來比熟練的預測模型更便宜。可以選擇診斷模型的輸入變量集，以便不僅可以將診斷模型置于一個預測模型之上，還可以將其置于一系列預測模型之上。
Earth-2 平臺為開發者提供了一套診斷模型，開發者可以使用 NVIDIA PhysicsNeMo 進一步訓練自定義診斷模型。要查看示例，請訪問 GitHub 上的 NVIDIA/PhysicsNeMo 。
通過 JBA 風險管理進行 AI 驅動的反事實分析
在這項由 JBA Risk Management 領導的研究中，該團隊的目標是通過利用 HENS 管道和降水診斷來評估 2023-2024 年冬季易北河洪水的風險簡介。JBA 對 2023-2024 年寒冬場景生成了一個由 1,008 名成員組成的綜合后遺癥，預測時間長達 112 天。通過 AI 生成總計 300 年的大氣數據，在云端訪問的 NVIDIA L40s GPU 上消耗了 110 個 GPU 小時。
計算足跡比 NWP 生成等效數據量所需的足跡小幾個數量級。該集成在 2023 年 11 月 9 日至 16 日期間使用滯后 IC 進行初始化，每個 IC 都使用多個 HENS-SFNO 檢查點生成額外的集成。初始條件會受到干擾，以捕獲一系列合理的場景，模擬將在 2024 年 2 月 29 日之前推出。圖 3 展示了 1008 個集合成員中的單個模擬數據，揭示了 1 月下旬跨越 Elbe 集水區大部分地區的重大降水事件。
由此產生的 AI 生成的天氣數據通過德國易北河流域的下游水文管道進行處理。它將大氣條件與集水區和河流的反應聯系起來，生成一個極端事件數據集，該數據集表示對 2023-2024 年冬季洪水的反事實分析。與現有的統計外推法相比，這些數據可以更合理地表示最極端的冬季洪水季節，因為季節性模擬在頻率、嚴重程度和結構方面包含了更廣泛的事件范圍。
然后，將反事實事件數據與災難風險模型和人口密度數據結合使用，以高分辨率增強對易北河地區洪水概率和風險的理解 (圖 4) 。此外，這些數據還有助于探索 2023-2024 年實際發生的洪水與潛在后果范圍相比的影響程度。雖然實際季節十分嚴峻，但分析顯示，一系列破壞性更強的場景對易北河種群的影響多達三倍。有關更多詳細信息，請參閱 AI 天氣預報：能否揭示未見過的洪水風險？
結語
JBA 提供的下游建模流程的結果將進一步提高對洪水風險（包括尾部風險）分布及其對災難管理的影響的理解。生成各種逼真的北極冬季場景集合不僅可以提高對 2023-2024 年易北河洪水的理解，還可以提供有價值的指標來量化洪水引起的影響的不確定性。
值得注意的是，JBA 的反事實場景揭示了人口影響比 2023-2024 年 Elbe 洪水的觀測影響高 3 倍的場景，以及主要城市的最大河流流速比歷史值高出 50%。
這些進步凸顯了 NVIDIA Earth-2 平臺為構建自然災害災難建模解決方案的開發者提供的機會，使保險和再保險行業能夠更好地評估風險、優化準備策略并建立恢復能力。此外，使用 NVIDIA GPU 和 Earth-2 平臺對于顯著降低生成這些龐大數據集的計算成本、進一步提高大規模、高分辨率模擬減緩氣候變化的可行性至關重要。 開始使用 Earth2Studio。
如需了解更多信息，請觀看 NVIDIA GTC 2025 會議：借助 JBA 將 AI 用于高級洪水風險建模和緩解策略。
?
