Hydra MDP 的端到端按比例驅動

構建一個在復雜的物理世界中導航的自主系統極具挑戰性。該系統必須感知其環境，并做出快速、明智的決定。乘客體驗也非常重要，包括加速度、曲率、平順性、道路附著力和碰撞時間。

在這篇文章中，我們將介紹Hydra-MDP，這是一個推進端到端自動駕駛領域的創新框架。Hydra-MDP 使用了一種新穎的多教師、學生教師知識提取架構，集成了來自人類和基于規則的規劃者的知識，從而使模型能夠學習不同的軌跡，提高了在不同駕駛環境和條件下的泛化能力。

Hydra MDP 提供了一個通用框架，展示了基于機器學習規劃如何通過基于規則的規劃者進行增強。這種集成確保了該模型不僅模仿人類駕駛行為，還遵守交通規則和安全標準，從而解決了傳統的模仿學習限制。

Hydra MDP 的數據驅動縮放定律證明了其穩健性和適應性，通過使用具有大量數據和 GPU 小時數的預訓練基礎模型，展示了其可擴展性和持續改進的潛力。

NVIDIA Hydra-MDP 模型在2024 年 CVPR 的 E2E 駕駛挑戰賽中獲得第一名和創新獎，在 nuPlan 基準上表現優于最先進的規劃者，為基于 ML 的規劃系統在自動駕駛中的應用提供了一個有前景的路線圖。

視頻 1。端到端自動駕駛是指一種整體方法，系統從攝像頭、雷達和激光雷達獲取原始傳感器數據，并直接輸出車輛控制。

通過多目標 Hydra-distillation 加強多模式規劃

Hydra MDP 的開發教會了我們幾個關鍵的教訓，這些教訓塑造了它的架構和成功。Hydra MDP 結合人類和基于規則的知識提煉，創建了一個強大且通用的自動駕駛模型。

以下是我們學到的主要經驗教訓：

• 接受多模式和多目標規劃的復雜性
• 擁抱多目標水合蒸餾的力量
• 克服后處理的局限性
• 了解環境背景的重要性
• 通過模擬迭代優化
• 使用有效的模型組合

接受多模態和多目標規劃的復雜性

一個基本的教訓是必須同時包括多模式和多目標規劃。

傳統的端到端自動駕駛系統往往專注于單一模式和單一目標，限制了其在現實世界中的有效性。Hydra-MDP 集成了針對多個指標量身定制的不同軌跡，包括安全性、效率和舒適性，這確保了該模型能夠適應復雜的駕駛環境，而不僅僅是模仿人類駕駛員。

擁抱多目標 Hydra-distillation 的力量

多目標 Hydra-distillation，一種師生多模式框架，是我們方法中的關鍵策略。通過雇傭多個專業教師——包括人工和基于規則的教師——模型學會預測與各種基于模擬的指標相一致的軌跡，該技術增強了模型在不同駕駛條件下的通用性。

我們了解到，結合基于規則的規劃者提供了結構化的框架，而人類教師引入了適應性和微妙的決策能力，對于駕馭不可預測的場景至關重要。

克服后處理的限制

另一個見解是依賴后處理進行軌跡選擇的固有局限性。

傳統的方法往往會將感知和計劃分離成不同的、不可微分的步驟，從而丟失有價值的信息。Hydra-MDP 的端到端架構將感知和規劃集成在一個無縫的管道中，并在整個決策過程中保持環境數據的豐富性，這種集成能夠實現更知情、更準確的預測。

了解環境背景的重要性

納入詳細的環境背景對于準確規劃至關重要。

Hydra MDP 的感知網絡建立在 Transfuser 基線的基礎上，結合了激光雷達和相機輸入的功能，這種多模式融合有助于模型更好地理解并對復雜的駕駛環境做出反應。

轉換器層將這些模式連接起來，確保對環境上下文進行徹底編碼，并提供豐富、可操作的見解。

通過模擬迭代優化

通過離線模擬，迭代細化過程被證明是非常寶貴的。

在整個訓練數據集上運行模擬生成了各種度量的真實情況模擬分數，這些數據然后被用于監督訓練過程，使模型能夠從廣泛的模擬駕駛場景中學習。

這一步驟強調了廣泛模擬在彌合理論性能和現實世界適用性之間的差距方面的重要性。

使用模型組合的有效方法

有效的模型組合對我們的成功至關重要。

我們使用了混合編碼器和 Sub-score Ensembling 等技術來結合模型的優勢，這提高了 Hydra-MDP 的穩健性，并確保最終模型能夠高精度處理各種駕駛場景。

嵌入技術平衡了計算效率和性能，這對實時應用至關重要。

結論

開發 Hydra-MDP 是一次創新、實驗和不斷學習的旅程。通過采用多模式和多目標規劃，利用多目標 hydra-distillation，并通過廣泛的模擬進行提煉，我們創建了一個明顯優于現有最先進方法的模型。這些經驗教訓為 Hydra-MDP 的成功做出了貢獻，并為自動駕駛的未來發展提供了寶貴的見解。

有關詳細信息，請參見Hydra-MDP：端到端多模式規劃 with 多目標 Hydra-Distillation。相關工作見AV Applied Research。

?

?