在了解地球不斷變化的氣候的競賽中，速度和準確性至關重要。但當今使用最廣泛的氣候模擬器往往難以滿足需求：由于計算能力的限制，它們無法完全捕捉雷暴或高聳的熱帶云等關鍵的小規模過程。
為了捕捉這些特征，科學家們運行超高分辨率模擬，稱為云解析模型 (CRM) 。這些模擬跟蹤云層的形成和演變過程，但成本高昂，在十年的全球氣候預測中運行一個模擬幾乎是不可能的。
如果我們能夠將這些詳細模擬的智慧融入機器學習模型，在不放棄保真度的情況下將運行速度提高數十到數百倍，情況會怎樣？
這正是 ClimSim-OnlineClimSim-Online 的承諾，ClimSim – Online 是一個可復制的框架，用于大規模開發和部署混合物理 – 機器學習氣候模型。該框架由 NVIDIA Earth 2 以及由政府和學術界的國際氣候建模者組成的聯盟制作。該計劃由位于哥倫比亞大學、由美國國家科學基金會資助的科技中心發起并提供支持，該中心正在探索 AI 驅動的氣候模擬技術的未來。
從 TB 級到一站式：訓練 AI 以模擬復雜的嵌套氣候物理學
ClimSim-Online 基于 NeurIPS 2023 上推出的屢獲殊榮的 ClimSimClimSim 數據集構建。該數據集提供給 ClimSim Hugging Face 存儲庫。此數據集使用 Energy Exascale 地球系統模型 – 多尺度建模框架 (E3SM-MMF) 創建。E3SM – MMF 是新一代氣候模擬器，可在主機粗網格氣候模型的每個大氣列中嵌入數千個局部的計算密集型 CRM。這是一種生成氣候預測的實驗性方法，可減少精細尺度物理學通常必須作出的假設數量，但其計算成本極高，未用于主流國際預測。將嵌套物理特性外包給 AI 可能會改變這種狀況。
主機氣候模型以大約 1.5 度 (約 150 公里) 或更粗糙的水平分辨率運行，而每個嵌入式 CRM 以 2 公里的分辨率運行，以更精細的比例明確模擬云層和對流。
在模擬的 10 年時間里，E3SM-MMF 產生了 57 億個驚人的樣本，每個樣本都描述了小規模物理過程如何改變大規模大氣狀態。這些過程包括流上升氣流如何導致云形成，是什么導致微物理液滴形成，對流如何從單個云的尺度組織到大型有組織的云復合體，以及這些云系統如何與太陽和紅外輻射相互作用，從而調節氣候。
這個龐大的數據集可用作訓練模擬子網格物理的機器學習模型的基礎，并且可以取代昂貴的嵌入式 CRM，后者消耗約占總計算支出的 95%。這已催生了一場全球 Kaggle 競賽Kaggle 競賽，吸引了來自世界各地的 460 多個團隊基于此高保真度氣候數據集開發 ML 解決方案并對其進行基準測試，這有助于通過開放式協作創新加速進展。
挑戰？這些模型需要的不僅僅是離線的精確度。當集成到實時氣候模擬器中 (年復一年地小時復一地運行) 時，它們必須保持穩定，而不會讓虛擬大氣漂入不切實際的狀態。控制混合物理機器學習仿真的行為是一項巨大的挑戰，尤其是在主機物理模型無法可微的情況下。一些簡單的主機模型可以用可微代碼重寫，從而直接實現混合動力學的 ML 優化。但是，許多候選主機模型不容易以不同方式重寫，或者是非常非線性，因此直接優化混合行為是不切實際的。涵蓋數百萬行源代碼的功能齊全的氣候模擬器就是一個很好的例子。
插入并模擬
ClimSim-Online 由 NVIDIA 率先推出，旨在為更廣泛的 ML 社區提供混合氣候建模。我們構建了一個可復制的容器化工作流，以避開運行功能齊全的氣候模擬器的典型障礙 (例如對某些超級計算機和軟件環境的依賴) ，這些障礙限制了社區與之交互的能力。用戶只需一個 TorchScript 模型文件，即可將其經過訓練的機器學習模型注入基于 Fortran 的 E3SM 氣候模擬器，并啟動混合仿真。無論是在本地工作站、HPC 集群還是云 VM 上，他們都可以插入標準化診斷來衡量成功與否。
氣候模擬，即插即用。
整個系統在預加載了所有必需庫和依賴項的容器中運行。只需加載、安裝和模擬即可。用戶可以在 ClimSim-Online 存儲庫中找到設置容器的說明。從訪問數據、訓練機器學習模型到運行和評估混合氣候模擬，整個工作流程都可以在 ClimSim 存儲庫中找到。
突破性進展：穩定運行多年，逼真適應對流層頂
NVIDIA 技術研發組織的科學家現已使用這些新的 API 取得重要突破。在 7 月 10 日發表在《 Journal of Advances in Modeling Earth Systems》 (JAMES) 上的最新論文中，我們展示了使用 PhysicsNemo 在 ClimSim 數據集上訓練的 U-Net 神經網絡進行的多年穩定混合模擬。它在 ClimSim-Online 中建立了新的在線技能基準。PhysicsNemo 是一個開源深度學習框架，使用戶能夠探索、開發、驗證和部署先進的科學和工程方法，將基于物理的知識與數據相結合。
真正的突破是什么呢？基于物理信息的機器學習。
為了避免失控的模擬和不切實際的云行為，我們直接在神經網絡架構中構建了微物理約束：
- 所有凝聚都遵循基于溫度的相位劃分，就像神經網絡正在模擬的云解析模型一樣。
- 對流層頂上沒有殘留的冰云。
有了這些嚴格的限制，我們穩定了之前的漂移模擬，并大幅提高了云氣候學的真實感，尤其是在熱帶地區，無約束的模型往往會過高估價高緯度的云層。
ClimSim-Online 從根本上加速了導致此解決方案的研究過程：能夠快速迭代不斷演變的下游混合模型病理學是找到最終為我們的科學偵探工作提供依據的線索的關鍵。
在我們的混合模擬中，我們觀察到對流層內的溫度偏差保持在 2 攝氏度以下，濕度偏差保持在每千克 1 克以下，這是多尺度建模框架下的一項新的先進結果。
我們看到了穩定 > 五年的模擬，其中包括顯式云凝聚建模、真實地理和陸地 – 大氣合，這是以前在此類混合模擬中沒有展示過的里程碑。
準備起飛
ClimSim-Online 降低了 AI – 氣候協作的門檻。您可以輕松完成以下操作：
- 使用出色的模擬數據訓練 ML 模型
- 離線技能基準測試
- 最重要的是，評估完整氣候模擬器中的在線性能，這是對現實世界準備情況的終極測試。
無論您是渴望從事氣候研究的 AI 研究人員，還是對混合建模的強大功能感到好奇的氣候科學家，ClimSim-Online 都能為您提供加入下一波氣候模擬浪潮的工具。
雖然我們已經展示了一種基于領域科學信息的方法來解決混合建模的一階問題，但要將混合偏差降低到真正可以容忍的水平，仍有許多工作要做。我們需要新的想法。例如：強化學習社區能否找到與領域科學無關的更可靠的解決方案？現在，ClimSim-Online 可以輕松地對下游、不可微分的獎勵信號進行采樣，也許我們很快就會發現。混合物理 – 機器學習氣候模擬的未來還在等著您。
?
