AI 及其最新子域，生成式人工智能正在顯著加快科學計算研究。從藥物和材料科學到天文學，這項改變游戲規則的技術正在開辟新的可能性，并以前所未有的速度推動進步。
在這篇文章中，我們探討了生成人工智能在科學中的一些新的、令人興奮的應用，包括 GPT-3 對2022 ACM Gordon Bell 特別獎關于嚴重急性呼吸系統綜合征冠狀病毒 2 型進化動力學的工作。
我們還研究了用于控制聚變等離子體反應的經過訓練的替代模型，在Large Hadron Collider和氣候建模的進展Earth-2和Destination Earth（命運）。這些研究模型正在演變，變得更像transformer 模型。
基因組研究 LLM
2022 年戈登·貝爾特別獎表彰了來自頂尖機構的一組研究人員，他們在建模導致大流行的病毒進化方面所做的開創性工作。利用基因組數據，他們開發了大語言模型（ LLM ）稱為基因組規模語言模型（ GenSLM ）。這些模型在超過 110M 個原核基因序列上進行了預訓練，并在 1 . 5M 個嚴重急性呼吸系統綜合征冠狀病毒 2 型基因組上進行了微調。
GenSLM 代表了第一個全基因組規模的基礎模型之一，并在北極星和賽琳娜超級計算系統上展示了令人印象深刻的規模。
圖 1 顯示了從在 110M PATRIC 序列上訓練的基礎模型開始的工作流程。然后對嚴重急性呼吸系統綜合征冠狀病毒 2 型 ORF 進行微調。經過訓練的基礎模型可能有兩條路徑：
- A .預測工作流程 它使用擴散模型來獲得基因組織的層次結構并生成嚴重急性呼吸系統綜合征冠狀病毒 2 型基因組。這是生成式 AI 。輸出可以發送到 OPENFOLD 。
- A .檢測工作流程 生成語義相似度評分（嵌入），該評分著眼于免疫逃逸并識別關注度評分的變異毒株。似然性得分的序列日志用于進行適應度評估，并創建關注度得分的變體（關鍵輸出）。
OPENFOLD 模型用于檢查表位改變，該改變為免疫逃逸分析步驟提供了依據。 OPENFOLD 還通過分子動力學模擬提供 PPI 相互作用，為適應度評估分析提供信息。
LLM 與基因組學和蛋白質組學有著天然的親和力，因為它們是簡單意義上的字母或語言。就像在語言中一樣，遠離序列的字母的上下文可能具有意義。
這種理解上下文的能力使 LLM 有助于模擬基因組不同部分基因之間的相互作用。這種相互作用被稱為上位性， transformer 模型有助于理解序列的多個部分如何在 3D 空間中相互作用以支持折疊。
最初的 GenSLM 工作流程正在使用 GPT-3 和強化學習進行擴展和更新，取得了良好的初步結果，并正在 Perlmutter 超級計算機上進行大規模訓練。
在圖 2 中，種子模型，一個預訓練的 LLM ，用于生成策略模塊，其中包含模型（ policy ）和參考模型（ reference policy ）。策略模塊進入序列生成、獎勵步驟，然后是參考學習損失步驟。獎勵模型（序列、結構、函數）也輸入到獎勵步驟中。反向傳播反饋到策略模塊中。在 110M PATRIC 序列上訓練的基礎模型用于微調蛋白質靶點上的模型，從而創建訓練過的基礎模型。
許多代理處理強化學習策略以輸入多目標損失函數：
- 代理 1 ：使用進化耦合分析來評估序列。
- 試劑 2 ：通過實驗觀察評估序列、結構和動力學。
- 代理 k ：通過分子動力學模擬評估序列、結構和能量學。
輸入到多功能損失函數中的獎勵的結果通知獎勵模型。
使用擴散模型，使用 AlphaFold 處理的合成序列似乎折疊成所需的野生型結構。 AlphaFold 是 DeepMind 創建的一個人工智能系統，可以根據蛋白質的氨基酸序列預測蛋白質的 3D 結構。
現在，您可以生成具有不同程度序列同一性和正匹配的新序列。你也可以生成具有功能結構域的最小序列，并可以作為生產酶發揮作用。隨后將進行體外表達和酶促驗證。
預計阿貢國家實驗室的研究團隊明年將把他們的工作流程升級為 GPT-4 。由于人工智能在科學計算中的作用，科學的變化速度是前所未有的。僅在 3 年前使用的模型現在已經過時，如果當前模型在未來 3 年內過時也就不足為奇了。這種快速的進步正在推動科學研究的進步并開辟新的可能性。
用于融合仿真的深度學習
在環形等離子體的實驗中，掌握等離子體不穩定性的準確信息可以幫助成功地控制等離子體。
例如，等離子體中主要破壞的一個常見原因是新古典撕裂模式（ NTM ）。這些干擾可能會對實驗裝置造成損壞。通過識別和控制可以激發 NTM 的等離子體擾動，可以防止這些破壞。
ITER 項目
這個ITER 項目是一項國際努力，旨在建造一個能夠產生無限無碳能源的聚變反應堆。 ITER 的運行和等離子體控制系統的設計依賴于從較小的實驗設備中推斷信息。
通過使用基于第一性原理的模擬研究等離子體的不穩定性，有可能提高我們對 ITER 等未來聚變裝置中動力學和輸運的理解和預測。然而，這些模擬的計算成本可能很高，運行時間也很長，因此很難在實時實驗中使用。
DIII-D 國家聚變設施
機器學習模型已被用于預測等離子體控制系統中的等離子體行為。最近，基于深度學習的模型在預測干擾和擾動磁信號方面顯示出了有希望的結果。研究人員DIII-D National Fusion Facility美國最大的磁聚變研究實驗通用原子公司開發了一個基于深度學習的替代模型，利用全球回旋動力學環形代碼模擬的數據模擬等離子體的不穩定性。
該模型已經證明了對線性扭結模式不穩定性特性的強大預測能力，并可以提供基于物理的不穩定性信息，以補充實驗測量并指導等離子體控制系統。該模型的推理時間約為毫秒，適用于實時等離子體控制系統。這種方法顯示了在聚變實驗中使用機器學習來模擬和預測等離子體不穩定性的潛力。
回旋動力學環形碼的 S GTC 替代模
回旋動力學超環面代碼的 S GTC 替代模型（ S GTC ）改變了游戲規則，將模擬時間減少了至少六個數量級。有史以來第一次，有可能將基于第一性原理的大規模并行模擬中基于物理的不穩定性信息引入現代托卡馬克的等離子體控制系統。 DIII-D 聚變實驗的初始替代模型和“控制預測”包含在NVIDIA Omniverse以創建聚變反應堆工作流程的數字孿生。
正在評估 S GTC 模型，以從神經網絡演變為基于 transformer 的模型。
核物理的生成模
詳細的探測器模擬是粒子和核物理的重要組成部分。模擬用于將預測與數據進行比較，并設計未來的實驗。這些模擬中使用最廣泛的程序是GEANT.
然而，通過這些模擬實現精度需要大量的計算時間，因為粒子必須通過材料傳播，從而導致許多二次粒子發生相互作用。
熱量計是最難模擬的探測器，因為它們的工作是阻止粒子并測量它們沉積的能量。High energy physics（ HEP ）是一個物理學領域，探索自然的基本組成部分，以及它們如何在最小和最大的尺度上相互作用。在 HEP 中，所有計算資源中有一小部分用于使用 GEANT 進行這些模擬。
然而，由于計算預算的限制，不可能對大型強子對撞機的所有事件進行完整的模擬。因此，已經開發了快速模擬方法，該方法使用調整為完全模擬的更簡單的模型。這些模型的參數較少，更容易優化和驗證，但精度較低。
深度學習提供了一種互補的方法，使用靈活的神經網絡將隨機數轉換為結構化數據。
不同類型的深度生成模型用于模擬量熱計淋浴和其他粒子探測器。每種方法都有其優點和缺點：
- 甘斯是快速和靈活的，但是優化可能具有挑戰性并且可能遭受模式崩潰。
- 可變自動編碼器（ VAE ）可以學習輸入數據的平滑潛在狀態表示，但與標準自動編碼器相比，訓練起來可能更復雜且計算成本更高。
- 規范化流程（ NFs ）往往對模式崩潰具有魯棒性，并且具有凸損失函數，但難以擴展到更高維的數據集。
一類新的深度生成算法稱為SCORE-based generative models利用單個生成器網絡最小化凸損失函數，并在訓練后提供對完整數據可能性的訪問。這些模型在其網絡架構中具有更大的靈活性，并且可以引入瓶頸層，這可以減少可訓練參數的數量并提高可擴展性。
用于氣候建模的 HPC 和 AI
制定有效的戰略來緩解和適應氣候變化的影響，取決于我們能否創建準確的氣候模型，準確預測長期內的區域氣候趨勢。超高分辨率氣候建模需要比目前高出數百萬到數十億倍的計算能力，可以提前幾十年模擬云層形成和區域極端天氣事件預測。
通過利用 GPU 的能力——加速計算、深度學習、基于物理的神經網絡、人工智能超級計算機和海量數據集，我們可以實現計算速度的百萬倍加速。此外，超分辨率技術使我們更接近超高分辨率氣候建模所需的十億倍飛躍。
這些進步使早期預警成為可能，幫助國家、城市和城鎮適應和加強其基礎設施。預測準確性的提高將激勵人民和國家采取更緊急的行動。
DestinE 與 Earth-2
2020 年，歐盟委員會推出了 DestinE ，這是一項旗艦計劃，旨在開發一個高度準確的全球地球數字模型。該模型將監測、模擬和預測自然現象和人類活動之間的相互作用。
2021 年， NVIDIA 宣布了致力于氣候變化預測的地球 2 號倡議。 E-2 將在 NVIDIA Omniverse 內生成地球的數字孿生，使用用于科學計算的加速數字孿生平臺。這個 3D 虛擬世界模擬平臺包括NVIDIA Modulus開發物理知情神經網絡模型的框架和FourCastNet基于全球數據驅動的深度學習天氣預報模型。
地球 2 號將與國際氣候科學倡議合作。在GTC 2023，瑞士國家超級計算中心（ CSCS ）主任 Thomas Schulthes 強調，天氣和氣候是Alps， CSCS 的下一代系統。
Alps，曾介紹過NVIDIA Grace Hopper 超級芯片, 似乎準備參與 DestinE。歐洲中期天氣預報中心（ ECMWF ） DestinE 主任 Peter Bauer 提到“Swiss component” of DestinE at GTC.
FourCastNet
FourCastNet 物理 ML 模型包含傅立葉神經算子和變換器，并根據 10 TB 的地球系統數據進行訓練。它可以模擬和預測極端天氣事件，如颶風和大氣河流，精度提高了 50000 倍。有了人工智能超分辨率，這使我們更接近超高分辨率氣候建模的目標。這一突破標志著朝著創建地球 2 號邁出了重要一步。
FourCastNet 為科學和社會提供了許多基本好處，包括高分辨率、高保真度的風和降水預報。盡管在不到一年的時間內發展起來，并且變量和垂直水平比 ECMWF 少Integrated Forecasting System（ IFS ），一種最先進的數值天氣預測（ NWP ）模型， FourCastNet 的準確性可以與 IFS 模型相媲美，并且在短時間尺度上優于最先進的深度學習天氣預測模型。
FourCastNet 的預測比傳統的 NWP 模型快 4-5 個數量級。這有兩個關鍵的含義：在幾秒鐘內生成數千名成員的大型集合，以改進概率天氣預報，以及快速測試關于天氣變化機制及其可預測性的假設。
FourCastNet 提供了巨大的社會效益，能夠迅速做出減災反應。基于深度學習的模型在輸入來自各種模型或觀測來源的預測變量方面提供了靈活性。
氣候界面臨的一個緊迫挑戰是預測極端天氣事件在氣候變化下將如何變化，例如其頻率、強度和時空特征。在 FourCastNet 在極端氣候下實現高保真度后，它可以應對這一巨大挑戰。
人工智能驅動的科學計算加速
科學計算研究、研究人員和管理高性能計算和超級計算基礎設施正面臨著由生成人工智能技術帶來的前所未有的積極變化。
通過與科學界和行業領袖的共同設計， NVIDIA 能夠提供靈活性來加速本文中提到的工作流程。最新一代 GPU 加速的新型人工智能模NVIDIA Ampere，NVIDIA Ada Lovelace和NVIDIA Hopper體系結構和NVIDIA Grace Hopper Superchip– 所有這些都利用了 HPC 、 AI 和數字孿生的全棧平臺。通過擁抱和利用深度學習和 HPC 的力量，研究人員可以利用這些技術的能力來應對當今科學計算中一些最緊迫的挑戰。
?
