DRIVE – NVIDIA 技術博客

DRIVE – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Tue, 17 Jun 2025 08:31:56 +0000 zh-CN hourly 1 196178272 借助神經重建和世界基礎模型提升自動駕駛汽車仿真速度 http://www.open-lab.net/zh-cn/blog/accelerating-av-simulation-with-neural-reconstruction-and-world-foundation-models/ Wed, 11 Jun 2025 08:27:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=14279 Continued]]> 自動駕駛汽車 (AV) 堆棧正在從離散構建塊的層次結構發展為基于foundation models構建的端到端架構。這種轉變需要自動駕駛數據飛輪來生成合成數據和增強傳感器數據集，解決覆蓋差距，并最終構建驗證工具鏈，以安全開發和部署自動駕駛汽車。在本博文中，我們重點介紹了最新的 NVIDIA API、NVIDIA Cosmos 世界基礎模型 (WFMs) 和 NIM 微服務，供開發者啟動數據工作流。從自動駕駛車隊收集的現實世界數據是自動駕駛工作流的基礎，但是，收集和注釋罕見事件、物體和場景的傳感器數據是不可行的。通過先進的 3D 重建技術、神經重建和渲染，開發者可以將現實世界的數據集轉變為多樣化的交互式模擬。 NVIDIA NuRec 是一組用于神經重建和渲染的 API 和工具。它使開發者能夠使用現有fleet數據來重建高保真數字孿生、模擬新事件，

Source

]]>

14279

借助全新 NVIDIA Cosmos 世界基礎模型簡化端到端自動駕駛汽車開發 http://www.open-lab.net/zh-cn/blog/simplify-end-to-end-autonomous-vehicle-development-with-new-nvidia-cosmos-world-foundation-models/ Wed, 11 Jun 2025 08:21:56 +0000 http://www.open-lab.net/zh-cn/blog/?p=14276 Continued]]> 隨著向為自動駕駛汽車 (AV) 提供動力支持的端到端規劃模型的轉變，人們對基于物理性質的高質量傳感器數據的需求也在不斷增加。這些模型必須大致了解多模態數據集，以及傳感器數據集、車輛軌跡和駕駛動作之間的關系，以幫助執行下游訓練和驗證任務。通過在自動駕駛領域調整和后訓練 NVIDIA Cosmos 世界基礎模型 (WFMs)（Predict、Transfer 和 Reason），開發者可以創建世界模型，以加速端到端自動駕駛訓練。這些模型用于本文中展示的合成數據生成 (SDG) ，以及閉環訓練和車載推理。在本文中，我們將介紹不同的后訓練方法。有很多方法可以讓 Cosmos 模型適應 AV 應用。我們討論的模型目前均可供開發者使用。 NVIDIA Research 使用 20,000 小時的駕駛數據對 Cosmos WFMs 進行了后訓練，

]]>

14276

借助 NVIDIA DriveOS LLM SDK 簡化自動駕駛汽車應用的 LLM 部署 http://www.open-lab.net/zh-cn/blog/streamline-llm-deployment-for-autonomous-vehicle-applications-with-nvidia-driveos-llm-sdk/ Mon, 10 Mar 2025 06:57:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=13098 Continued]]> 大語言模型 (LLMs) 在自然語言處理 (NLP) 中表現出非凡的泛化能力。它們廣泛應用于翻譯、數字助理、推薦系統、上下文分析、代碼生成、網絡安全等。汽車應用對基于 LLMs 的自動駕駛和座艙功能解決方案的需求與日俱增。在通常資源受限的汽車平臺上部署 LLMs 和視覺語言模型 (VLMs) 已成為一項嚴峻的挑戰。本文將介紹 NVIDIA DriveOS LLM SDK，該庫旨在優化自動駕駛汽車 DRIVE AGX 平臺上先進 LLM 和 VLM 的推理。它是基于 NVIDIA TensorRT 推理引擎構建的輕量級工具包。它整合了針對 LLM 的特定優化，例如自定義注意力內核和量化技術，以便在汽車平臺上部署 LLM。該工具包提供易于使用的 C++ 庫和示例代碼，用于導出、構建 TensorRT 引擎、執行推理，以及使用完整的端到端工作流對 LLM 進行基準測試。

]]>

13098

NVIDIA Cosmos World 基礎模型平臺助力物理 AI 進步 http://www.open-lab.net/zh-cn/blog/advancing-physical-ai-with-nvidia-cosmos-world-foundation-model-platform/ Thu, 09 Jan 2025 08:43:45 +0000 http://www.open-lab.net/zh-cn/blog/?p=12593 Continued]]> 隨著機器人和自動駕駛汽車的發展，加速物理 AI 的發展變得至關重要，而物理 AI 使自主機器能夠感知、理解并在現實世界中執行復雜的操作。這些系統的核心是世界基礎模型 (WFMs)，即通過物理感知視頻模擬物理狀態的 AI 模型，使機器能夠做出準確決策并與周圍環境無縫交互。 NVIDIA Cosmos 平臺可幫助開發者大規模為物理 AI 系統構建自定義世界模型。它為從數據管護、訓練到定制的每個開發階段提供開放世界基礎模型和工具。本文將介紹 Cosmos 及其加速物理 AI 開發的主要功能。Cosmos 是一種開源的 Python 庫，用于加速物理 AI 開發。構建物理 AI 極具挑戰性，需要精確的模擬以及真實世界的行為理解和預測。克服這些挑戰的一個關鍵工具是世界模型，該模型根據過去的觀察結果和當前的輸入結果預測未來的環境狀態。

]]>

12593

使用 PVA 引擎優化自動駕駛汽車 CV 開發流水線 http://www.open-lab.net/zh-cn/blog/optimizing-the-cv-pipeline-in-automotive-vehicle-development-using-the-pva-engine/ Wed, 23 Oct 2024 05:30:32 +0000 http://www.open-lab.net/zh-cn/blog/?p=11704 Continued]]> 在汽車軟件開發領域，越來越多的大規模 AI 模型被集成到自動駕駛汽車中，這些模型的范圍從視覺 AI 模型到用于自動駕駛的端到端 AI 模型。現在，汽車軟件開發領域對算力的需求正在飛速增長。導致系統負載增加，對系統穩定性和時延產生了負面影響。為了解決這些難題，可以使用可編程視覺加速器（PVA）提高能效和整體系統性能。PVA 是 NVIDIA DRIVE SoC 上的一個低功耗、高效率的硬件引擎。通過使用 PVA，可以卸載通常由 GPU 或其他硬件引擎處理的任務到 PVA 上，從而降低它們的負載，使它們能夠更加高效地管理其他關鍵任務。在本文中，我們簡要介紹了 DRIVE 平臺上的 PVA 硬件引擎和 SDK。我們展示了 PVA 引擎在計算機視覺（CV）流水線中的典型用例，包括預處理、后處理和其他 CV 算法，重點介紹其效果和效率。最后，我們以蔚來為例，

]]>

11704

使用全卷積網絡在 Transformer 模型中模擬注意力機制 http://www.open-lab.net/zh-cn/blog/emulating-the-attention-mechanism-in-transformer-models-with-a-fully-convolutional-network/ Mon, 29 Jan 2024 04:14:05 +0000 http://www.open-lab.net/zh-cn/blog/?p=8866 Continued]]> 在過去十年中，深度學習技術在計算機視覺 (CV) 任務中的應用大幅增加。卷積神經網絡 (CNN) 一直是這場革命的基石，展示了卓越的性能，并在視覺感知方面實現了顯著進步。通過采用本地化濾鏡和分層架構，CNN 已證明擅長捕捉空間層次結構、檢測模式，以及從圖像中提取信息豐富的特征。例如，在用于圖像識別的深度殘差學習中，卷積層表現出平移等方差，使其能夠泛化為平移和空間轉換。然而，盡管 CNN 取得了成功，但其在捕獲遠程依賴項和全局上下文理解方面仍存在局限性，這在需要精細理解的復雜場景或任務中變得越來越重要。相比之下，Transformer 架構在計算機視覺領域中正變得越來越有吸引力，這得益于其在自然語言處理 (NLP) 領域的成功應用。正如論文Attention Is All You Need中所展示的，Transformer 通過避免局部卷積，提供了一種自注意力機制，

]]>

8866

使用合成數據處理自動駕駛汽車感知 http://www.open-lab.net/zh-cn/blog/using-synthetic-data-to-address-novel-viewpoints-for-autonomous-vehicle-perception/ Mon, 13 Nov 2023 07:35:59 +0000 http://www.open-lab.net/zh-cn/blog/?p=8268 Continued]]> 自動駕駛汽車 (AV) 有各種形狀和大小，從小型客車到多軸半掛卡車不等。但是，部署在這些車輛上的感知算法必須經過訓練，以處理類似情況，例如避開障礙物或行人。用于開發和驗證這些算法的數據集通常由一種類型的車輛收集，例如配備攝像頭、雷達、激光雷達和超聲波傳感器的轎車。在車隊傳感器數據上訓練的感知算法可以在類似的傳感器配置上可靠地執行。但是，在使用不同傳感器配置的車輛上部署相同的算法時，感知性能會降低，因為它是從新的角度來看世界的。要解決感知準確性方面的任何損失，需要測量深度神經網絡 (DNN) 對新傳感器位置的敏感度。使用靈敏度分析，可以從多個角度重新訓練感知算法，從而有針對性地提高可靠性。但是，執行靈敏度分析和重新訓練感知都需要跨各種傳感器配置收集和標注數據集。這是一個耗時且成本高昂的過程。

]]>

8268

驗證 NVIDIA DRIVE Sim 雷達模型 http://www.open-lab.net/zh-cn/blog/validating-nvidia-drive-sim-radar-models/ Tue, 26 Sep 2023 05:13:33 +0000 http://www.open-lab.net/zh-cn/blog/?p=7916 Continued]]> 傳感器模擬是解決自動駕駛汽車（AV）開發中現實世界數據差距的關鍵工具。然而，只有傳感器模型準確地反映了物理世界，它才有效。傳感器可以是被動的，比如相機，也可以是主動的，發出電磁波（激光雷達、雷達）或聲波（超聲波）來產生傳感器輸出。在模擬中建模時，每個模態都必須根據其真實世界中的對應模態進行驗證。在之前的文章中，我們詳細介紹了如何使用 NVIDIA DRIVE Sim 驗證相機和激光雷達模型，具體可以參見 Validating NVIDIA DRIVE Sim Camera Models 和 Validating NVIDIA DRIVE Sim Lidar Models。本文將涵蓋雷達，這是一種用于探測和躲避障礙物的重要傳感器。雷達驗證有多種方法。例如，您可以比較在真實世界數據上訓練的 AV 堆棧在遇到合成雷達數據時的行為。或者，

]]>

7916

基于早期網格融合的近距離障礙物感知 http://www.open-lab.net/zh-cn/blog/near-range-obstacle-perception-with-early-grid-fusion/ Wed, 12 Jul 2023 03:01:57 +0000 http://www.open-lab.net/zh-cn/blog/?p=7350 Continued]]> 自動泊車輔助系統在感知障礙物時必須克服一些獨特的挑戰。目標車輛包含感知車輛周圍環境的傳感器。在停車過程中，目標車輛必須靠近行人和其他車輛等動態障礙物，以及柱子和桿子等靜態障礙物。為了適應停車位，它還可能需要穿過較低的障礙物，如車輪護欄和路緣石。觀看 NVIDIA DRIVE Labs 視頻，可以深入了解自動駕駛汽車面臨的挑戰以及 NVIDIA DRIVE 團隊如何應對這些挑戰。視頻還介紹了早期網格融合（ EGF ），這是一種在自動泊車輔助中增強近場避障的新技術。現有的停車障礙感知解決方案依賴于超聲波傳感器或魚眼攝像頭。超聲波傳感器安裝在前后保險杠上，通常不會覆蓋側面。因此，該系統無法感知目標車輛的側面，尤其是對于動態障礙物。另一方面，魚眼相機在低能見度、弱光和惡劣天氣條件下性能下降。 NVIDIA DRIVE 平臺配備了一套攝像頭、雷達和超聲波傳感器，

]]>

7350

利用合成數據聚焦遠場物體，實現基于攝像頭的 AV 感知 http://www.open-lab.net/zh-cn/blog/bringing-far-field-objects-into-focus-with-synthetic-data-for-camera-based-av-perception/ Thu, 18 May 2023 06:20:57 +0000 http://www.open-lab.net/zh-cn/blog/?p=7036 Continued]]> 檢測遠場物體，如 100 米以外的車輛，是自動駕駛系統在高速公路上安全操作的基礎在這樣的高速環境中，每一秒都很重要。因此，如果在以 70 英里/小時的速度行駛時，自動駕駛汽車（ AV ）的感知范圍可以從 100 米增加到 200 米，那么車輛有更多的時間做出反應。然而，對于通常部署在量產乘用車中的基于攝像頭的感知系統來說，擴展這一范圍尤其具有挑戰性。訓練用于遠場物體檢測的相機感知系統需要收集大量的相機數據以及地面實況（ GT ）標簽，例如 3D 邊界框和距離。對于超過 200 米的物體來說，提取這些 GT 數據變得更加困難。物體離得越遠，在圖像中就越小，最終只有幾個像素寬。通常，像激光雷達這樣的傳感器與聚合和自動標記技術一起使用來提取 3D 和距離信息，但這些數據在激光雷達的工作范圍之外變得稀疏和嘈雜。

]]>

7036

利用雷達網探測障礙物和可行駛自由空間 http://www.open-lab.net/zh-cn/blog/detecting-obstacles-and-drivable-free-space-with-radarnet/ Mon, 13 Mar 2023 04:32:14 +0000 http://www.open-lab.net/zh-cn/blog/?p=6471 Continued]]> 檢測可駕駛自由空間是高級駕駛員輔助系統（ ADAS ）和自動駕駛汽車（ AV ）感知的關鍵組成部分。障礙物檢測通常用于檢測一組特定的動態障礙物，如車輛和行人。相比之下，自由空間檢測是一種更通用的障礙物檢測方法。它使自動駕駛汽車能夠安全地繞過許多類型的障礙物，如樹木或路緣石，即使沒有經過明確的訓練來識別特定的障礙物類別。傳統上，攝像機系統已經被用來解決這一任務。然而，在惡劣的天氣和弱光條件下，或者在識別距離車輛更遠的物體時，攝像頭的感知性能可能會受到影響。為了克服這些挑戰，我們開發了一種使用雷達的自由空間探測系統。它在應對天氣和照明挑戰方面非常強大，并且能夠直接測量距離。我們的系統作為 ADAS 和 AV 感知的一部分工作，以檢測可駕駛的自由空間，并在多傳感器融合過程中進一步改善 3D 感知。更具體地說， RadarNet 是一種深度神經網絡（ DNN ），

]]>

6471

基于 AI 的自動駕駛汽車潛在事故場景生成 http://www.open-lab.net/zh-cn/blog/generating-ai-based-accident-scenarios-for-autonomous-vehicles/ Thu, 23 Feb 2023 03:01:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=6340 Continued]]> 自動駕駛汽車（ AVs ）必須能夠安全地處理現實世界中可能遇到的任何類型的交通場景。這包括危險的近距離事故，交通中其他道路使用者的意外操作可能導致碰撞。然而，在這些類型的場景中開發和測試 AV 具有挑戰性。真實世界中的碰撞數據是稀疏的，在真實世界中重新創建這種情況是危險的，并且難以擴展。要了解 NVIDIA 的最新研究，該研究使用 AI 在模擬中自動生成事故場景，以進行安全和可擴展的 AV 測試，請觀看下面的 NVIDIA DRIVE Labs video 。我們將以工程為重點，關注各個自動駕駛汽車挑戰以及 NVIDIA DRIVE 團隊如何應對這些挑戰。趕上在 AV 堆棧中， planner module 負責決定自我車輛應該如何駕駛。徹底測試計劃器需要模擬潛在事故交通場景的真實和多樣的數據集。

]]>

6340

驗證 NVIDIA DRIVE Sim 中的主動傳感器 http://www.open-lab.net/zh-cn/blog/validating-active-sensors-in-nvidia-drive-sim/ Fri, 20 Jan 2023 09:07:17 +0000 http://www.open-lab.net/zh-cn/blog/?p=6151 Continued]]> 自動駕駛汽車的發展與規模有關。工程師必須收集并標記大量數據，以訓練自動駕駛神經網絡。然后，這些數據被用于測試和驗證 AV 系統，這也是確保魯棒性的一項巨大任務。仿真是達到這一規模的重要工具，但準確性是其有效性的關鍵。 NVIDIA DRIVE Sim 建立在 NVIDIA Omniverse 的基礎上，通過基于物理的端到端仿真平臺解決了這一挑戰，該平臺從一開始就構建為運行大規模、物理精確的多傳感器仿真。它使您能夠生成合成數據，以訓練 AV 感知，并在具有高保真度和精確傳感器數據的閉環模擬中驗證運動控制。 AV 傳感器可分類如下：這種驗證我們的模型與現實相符的能力確保了 DRIVE Sim 產生值得信賴的結果。現在，我們將分享我們為將激光雷達模型與現實世界相關聯所做的工作。在 Lidar Validation 白皮書中，

]]>

6151

一文看懂DRIVE Replicator：合成數據生成加速自動駕駛汽車的開發和驗證 http://www.open-lab.net/zh-cn/blog/drive-replicator-synthetic-data-generation/ Tue, 08 Nov 2022 02:23:37 +0000 http://www.open-lab.net/zh-cn/blog/?p=5617 Continued]]> 在9月舉行的GTC大會上，NVIDIA產品經理Gautham Sholingar以《合成數據生成：加速自動駕駛汽車的開發和驗證》為題，完整地介紹了NVIDIA過去一年在長尾場景訓練的最新進展和相關經驗，特別是探討開發者如何使用DRIVE Replicator生成多樣化的合成數據集，以及準確的真值數據標簽，從而加速自動駕駛汽車的開發和驗證。該講座內容干貨滿滿，引發了行業的廣泛關注和討論。本文對此次分享的精華內容進行匯總和整理，以幫助大家更好地了解DRIVE Replicator，以及自動駕駛感知算法的合成數據生成。圖1 在過去的一年中，我們在使用 DRIVE Replicator 生成用于訓練自動駕駛感知算法的合成數據集方面取得了積極的進展。圖1展示了目前我們正在攻克的一些長尾場景挑戰：以上的這些功能，

]]>

5617

了解自動駕駛汽車 http://www.open-lab.net/zh-cn/blog/getting-to-know-autonomous-vehicles/ Fri, 28 Oct 2022 05:43:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5571 Continued]]> 未來是自主的，人工智能已經在改變交通行業。但什么是自動駕駛汽車，它是如何工作的？自動駕駛汽車誕生于數據中心。它們需要傳感器、高性能硬件、軟件和高清地圖的組合才能在無人駕駛的情況下運行。盡管這項技術的概念已經存在了幾十年，但由于人工智能和計算的突破，生產自動駕駛系統最近才成為可能。具體而言，高性能計算的巨大飛躍為開發、訓練、測試、驗證和操作自動駕駛汽車開辟了新的可能性。 Introduction to Autonomous Vehicles GTC 會議介紹了這些突破、當前自動駕駛技術的工作原理以及智能交通的前景。車輛中運行的深度神經網絡經過大量駕駛數據的訓練。他們必須學習如何識別現實世界中的物體并做出反應——這是一個非常耗時且成本高昂的過程。一個由 50 輛車組成的測試車隊每天產生大約 1.6 PB 的數據，這些數據必須被攝取、編碼和存儲，

]]>

5571

人人超碰97caoporen国产