• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • 計算機視覺/視頻分析

    基于早期網格融合的近距離障礙物感知

    自動泊車輔助系統在感知障礙物時必須克服一些獨特的挑戰。目標車輛包含感知車輛周圍環境的傳感器。在停車過程中,目標車輛必須靠近行人和其他車輛等動態障礙物,以及柱子和桿子等靜態障礙物。為了適應停車位,它還可能需要穿過較低的障礙物,如車輪護欄和路緣石。

    觀看 NVIDIA DRIVE Labs 視頻,可以深入了解自動駕駛汽車面臨的挑戰以及 NVIDIA DRIVE 團隊如何應對這些挑戰。視頻還介紹了早期網格融合( EGF ),這是一種在自動泊車輔助中增強近場避障的新技術。

    視頻 1 。 NVIDIA DRIVE Labs 第 29 集:狹小空間內自動停車的增強避障功能

    現有的停車障礙感知解決方案依賴于超聲波傳感器或魚眼攝像頭。超聲波傳感器安裝在前后保險杠上,通常不會覆蓋側面。因此,該系統無法感知目標車輛的側面,尤其是對于動態障礙物。

    另一方面,魚眼相機在低能見度、弱光和惡劣天氣條件下性能下降。

    NVIDIA DRIVE 平臺配備了一套攝像頭、雷達和超聲波傳感器,可最大限度地減少看不見的區域,并最大限度地提高所有操作條件下的傳感冗余度。 EGF 使用多個傳感器輸入的機器學習早期融合來提供準確、高效和穩健的近場 3D 障礙感知。

    Image showing DNN output and camera views in an automatic parking process.
    圖 1 。 EGF 使用 NVIDIA 自動泊車輔助功能在停車時檢測停放的汽車是否為障礙物

    早期網格融合概述

    為了更好地理解 EGF 背后的創新技術,請查看其 DNN 架構和輸出/輸入表示。

    輸出:高度圖表示

    EGF 輸出一個網格分辨率為 4cm 的高度圖。高度圖中的每個像素都有一個浮動值,表示相對于當地地面的高度。

    在圖 2 中,綠色突出顯示的面板是 EGF DNN 的輸出。淺藍色代表地面。黃色代表較低的障礙物,例如后面的路緣石。亮紅色表示高障礙物的輪廓,例如,停放的汽車的圓形 L 形輪廓和目標車輛后面的樹的點。亮紅色輪廓后面的暗紅色區域表示高障礙物后面的潛在遮擋區域。

    Image showing DNN output, ultrasonic, and camera in a tight outdoor perpendicular parking.
    圖 2 : EGF 輸入和輸出可視化

    這種表示方式使 EGF 能夠捕捉到周圍世界的豐富信息。高分辨率網格可以表示目標車輛左后和右后的圓角。捕捉圓角對于泊車規劃器有足夠的空間來在狹小空間中停放的兩輛車之間執行泊車操作是至關重要的。

    每個像素的高度值不同,可以區分汽車有足夠間隙通過的路緣和汽車必須避讓的路緣上的燈桿。

    輸入:超聲波和攝像頭

    大多數多傳感器融合感知解決方案都是在檢測層面上運行的后期融合系統。在融合后期,通過三邊測量獲得的傳統超聲波檢測與來自相機的多邊形檢測相融合,通常使用手工制作的融合規則。

    相反, EGF 使用早期融合方法。來自傳感器的低電平信號被直接饋送到 DNN , DNN 通過數據驅動的方法學習傳感器融合。

    對于超聲波傳感器, EGF 進入原始包絡界面,提供亞厘米精度的反射強度。使用超聲波傳感器的外部位置和內部波束特性,將這些包絡信號投影到平面圖中(圖 3 左下角)。如圖 2 中突出顯示的粉紅色面板所示,這些超聲波圖捕獲的信息比三邊測量檢測多得多。這使得能夠在 EGF 中進行高度檢測。

    Diagram shows the MLMCF shared trunk, USSNET shared trunk, and the combined features.
    圖 3 。 EGF-DNN 結構

    對于攝像頭傳感器, EGF 與 MLMCF 共享圖像編碼器主干——用于高速駕駛的 NVIDIA 多任務多攝像頭感知主干。首先,我們通過 CNN 層來處理圖像特征。然后,我們使用每個相機的學習變換將特征從圖像空間提升到鳥瞰圖空間(圖 3 右上角框)。

    然后在編碼器網絡中融合超聲波和相機特征圖,并根據組合特征解碼高度圖(圖 3 右側)。

    結論

    EGF 是一種創新的、基于機器學習的感知組件,用于提高自動停車的安全性。通過對多模態原始傳感器信號使用早期融合, EGF 為近場避障建立了高度信任。

    要了解有關我們正在構建的軟件功能的更多信息,請參閱 NVIDIA DRIVE Labs 視頻系列。跟上 更多 NVIDIA DRIVE 帖子

    ?

    +8

    標簽

    人人超碰97caoporen国产