• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • AI 平臺/部署

    使用 NVIDIA Earth-2 預測兩周以上的天氣

    能夠預測極端天氣事件至關重要,因為此類條件變得更加常見且更具破壞性。次季節性氣候預測 (預測未來兩周或兩周以上的天氣) 是對天氣波動敏感的各行業主動決策和風險管理的基礎。

    它可以幫助農民更好地選擇種植哪些作物,并管理干旱易發地區的水資源。電力公司可以平衡能源供需,而漁業可以保護自己免受海洋熱浪的影響。此外,政府可以為自然災害和公共衛生威脅做好準備,例如在亞季節性前景較差的地區預先配置移動消防和緩解熱風險的基礎設施。

    在過去兩年中,使用 AI 模型預測天氣和氣候在研究中獲得了巨大的動力,現在在操作環境中越來越受歡迎。NVIDIA Earth-2 平臺通過提供高性能和可擴展的工具堆棧,一直在為科學和企業社區提供支持。無論是希望評估和驗證模型技能的氣象專家,還是嘗試為各種用例和數據集開發、定制和擴展模型的 AI/ ML 專家,它都能讓所有人受益。

    在本文中,我們將概述 Earth-2 平臺為氣象領域專家提供的實用程序,這些實用程序用于開發和驗證用于概率亞季節預測的大型集成,且計算成本遠低于傳統的非機器學習技術。

    借助 AI 進行次季節預測

    AI 天氣模型的主要優勢之一是,與傳統方法相比,它能夠以低幾個數量級的計算成本運行更大的操作集成。今年早些時候,加州大學伯克利分校的研究人員展示了一種使用育種向量/ 多檢查點 (BVMC) 方法生成經過良好校準的數千人集成 (“Huge Ensemble”,簡稱 HENS) 的有效方法。JBA 和 AXA 等企業正在將這種 HENS 方法與 FourCastNet V2 (SFNO) 模型結合使用,以在保險應用程序中進行后投射。

    最新版本的 Earth2Studio 引入了在深度學習地球系統模型 (DLESym) 背景下演示的新的次季節到季節 (S2S) 預測功能。這是一個簡潔的深度學習模型,將多層大氣 AI 模型與預測海面溫度變化的單獨海洋 AI 模型相結合。

    模型架構是一個帶有填充操作的 U-Net,經過修改后,可支持使用分辨率約為 1 度的 HEALPix 網格。由于此架構基于不使用位置嵌入的本地模板,因此具有泛化潛力。該模型已證明能夠逼真地在多個月的時間尺度上接近預期的氣候錯誤率,華盛頓大學的研究人員也已證明它能夠在氣候尺度模擬中實現出色的自回歸穩定性

    在以下代碼段中,您可以看到使用該模型生成亞季節預報的難度。此處可在 Earth2Studio 中獲取完整實現。

    # Prepare model, data source, and I/O backend
    package = DLESyMLatLon.load_default_package()
    model = DLESyMLatLon.load_model(package).to(device)
    data = ARCO()
    io = KVBackend()
     
    # 60-day forecast, initialized in June 2021
    ic_date = np.datetime64("2021-06-15")
    n_steps = 16
     
    # Prepare coordinates for forecast outputs
    input_coords = model.input_coords()
    output_coords = model.output_coords(input_coords)
    inp_lead_time = input_coords["lead_time"]
    out_lead_times = [
        output_coords["lead_time"] + output_coords["lead_time"][-1] * i
        for i in range(n_steps)
    ]
    output_coords["lead_time"] = np.concatenate([inp_lead_time, *out_lead_times])
     
    # Run forecast
    io = run.deterministic(
        [ic_date], n_steps, model, data, io, output_coords=output_coords
    )

    使用集成進行概率預測

    但是,S2S 預測本質上是概率性的,而非確定性的。它們不會提前預測特定日期的確切天氣,而是提供季節條件偏離標準的可能性。這些預測通常用萬億次概率表示:對于溫度或降水等變量,即將到來的季節處于歷史氣候分布的上三分之一 (高于正常水平) 、中三分之一 (接近正常水平) 或下三分之一 (低于正常水平) 的可能性。

    在這一新模型推出之前,企業已經通過 FourCastNet V2 (SFNO) 模型擴展了 HENS 方法,以進行 S2S 預測。加利福尼亞大學爾灣分校的研究人員已經表明,它與 ECMWF 預測系統在預測麥登 – Julian 振動 (MJO) 方面的能力一樣出色;MJO 是大氣中 S2S 可預測性的主要來源。

    現在,Earth2Studio 為有興趣嘗試 HENS-SFNO、DLESyM 或其他模型以進行 S2S 預測的用戶提供了新的 S2S recipe。為反映對更大集成和更長預測時間尺度的需求,此 recipe 支持多 GPU 分布式推理以及并行 I/ O,以便在生成預測數據時高效保存。如果存儲空間受限,它還允許僅保存預測輸出的子集。為了簡化此 recipe 的使用,就像 Earth2Studio 中的 HENS recipe 一樣,運行集成的復雜方面已經得到了處理。控制行為相當于指定配置:

    # DLESyM ensemble with 16 total checkpoint combinations
    nperturbed: 4
    ncheckpoints: 16
    batch_size: 4
    defaults:
        - forecast_model: dlesym
        - perturbation: gaussian

    借助這一新方法,領域專家現在可以從 HENS FourCastNet V2 (SFNO) 和 DLESym 生成大型集成預報,以了解和驗證這些模型的技能。例如,您可以探索預測不確定性如何由干擾驅動到初始條件或替代模型檢查點權重。這樣,您就可以生成一個巧妙、經過校準的亞季節預報集合。以此為基礎,您可以探索其他策略,在 S2S 時間尺度上實現最佳 AI 預測校正。

    作為一個示范性示例,該方法可用于為 2021 年太平洋西北熱浪生成 S2S 預報,如圖 1 所示。《地球物理研究快報》 ( Geophysical Research Letters) 上發表的一篇論文指出,這一前所未有的事件在極端高溫的強度和持續時間方面非常顯著,并且難以在 S2S 時間尺度上進行預測。雖然沒有一個模型能夠完美地捕捉熱浪的位置和強度,但我們可以看到,所有模型早在三周前就開始預測北美的某種程度的暖異常,準確度在 HENS-SFNO、IFS ENS 和 DLESym 之間存在差異。

    Four maps comparing ECMWF IFS and earth2studio forecast models evaluated on S2S timescales for the 2021 Pacific Northwest heatwave. The ground truth ERA5 shows extreme heat anomalies centered over western Canada, and each of the IFS, HENS-SFNO, and DLESyM models show warm anomalies in the general vicinity but none fully capture the location and intensity of the event.
    圖 1。2021 年太平洋西北熱浪期間 (左上方為逆時針方向) IFS ENS ( 11 個后投成員,已下載 ECMWF API) 、SFNO-HENS 和 DLESym 之間的每周平均 S2S 預報的樣本比較,以及預報第 3 周的相應 ERA5 數據。所有模型都能預測出北美的一定程度的暖異常,但由于交付周期過長,我們很難同時捕獲到這種極端高溫的確切位置和強度。

    下一步是什么?

    加速采用 AI 進行 S2S 預測需要領域專家對此類模型及其功能進行更可靠的評估。提供開源庫可以降低進入 AI 領域所需技能的門檻。它還向 AI/ ML 研究社區提供有關模型未來開發的反饋。

    歐洲中期天氣預報中心 (ECMWF) 舉辦的 AI Weather Quest 競賽旨在加速社區參與推進 S2S 預測。在 NVIDIA 工程師 (以及華盛頓大學的研究人員) 準備參與本次競賽的同時,我們正在研究 Earth-2 工具與 ECMWF 為 Weather Quest 比賽提供的工具的可組合性,以使社區能夠參與其中。這將允許使用 ECMWF 的 AI-WQ 軟件包直接與 Earth2Studio 中生成的預測數據更快地評估模型,并能夠在 PhysicsNeMo 中訓練自定義模型。這些是 NVIDIA 研究團隊使用的相同工具,我們希望分享這些工具將使其他研究人員能夠快速迭代他們的想法。

    # Score an earth2studio-generated forecast using ECMWF AI-WQ routines
    for var in aiwq_variables:
        fcst_data, fcst_coords = load_forecast_for_aiwq(io_backend, ic, var)
        rpss_wk3, rpss_wk4 = compute_aiwq_rpss(fcst_data, fcst_coords, var)
        write_aiwq_scores(score_io_dict, rpss_wk3, rpss_wk4, var)

    一般來說,大型 S2S 集成預報的高效推理和評分是科學過程的重要組成部分。正確評估模型需要對多個預測進行評分,以確定其技能。為了加速這一資源密集型流程,Earth2Studio 現在可以高效運行大型 S2S 集成并為其打分。例如,在 8 個 GPU 上,使用多個大氣和海洋模型在全年運行 DLESym 集成預報并進行評分只需不到兩個小時。

    有關這些評分結果的示例,請參閱圖 2,該示例還表明,DLESym 模型具有 S2S 技能,在第三周到第五周內即可與 ECMWF IFS 競爭,這是一個強大的物理基準。我們將在 Earth2Studio 的 S2S recipe 中發布這些通用評分功能以及 AI 天氣任務特有的評分功能。這為從業者提供了各種方法來評估他們有興趣嘗試的模型的性能。

    A chart comparing DLESyM and IFS ENS for fair CRPS of z500 evaluated in 2018. In weeks three through five, the DLESyM model nearly matches the IFS ENS fCRPS score, and in the second week, it lags behind.
    圖 2。Fair CRPS z500 在 2018 年針對 IFS ENS 和 DLESym 模型進行了每周平均 S2S 預測評估。總體而言,DLESym 與 IFS 競爭激烈,但由于模型分布縮小,其技能在前幾周有所落后。

    要點

    S2S 預測對于眾多氣候敏感領域至關重要。本文討論了 Earth2Studio 中的關鍵新功能,使企業能夠評估和驗證預訓練的大氣 – 海洋合 AI 預測模型 (例如 DLESym) ,以生成集成預報。

    以下是入門資源:

    通過這些 GTC 會議詳細了解 Earth-2 平臺。這些資源提供了有關企業如何使用 AI 生成大型集合預報的更多見解:

    ?

    ?

    0

    標簽

    人人超碰97caoporen国产