汽車/運輸 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Tue, 17 Jun 2025 09:04:15 +0000 zh-CN hourly 1 196178272 使用 NVIDIA Cosmos Predict-2 構建自定義物理人工智能基礎模型 http://www.open-lab.net/zh-cn/blog/develop-custom-physical-ai-foundation-models-with-nvidia-cosmos-predict-2/ Wed, 11 Jun 2025 09:01:13 +0000 http://www.open-lab.net/zh-cn/blog/?p=14300 Continued]]> 構建更智能的機器人和自動駕駛汽車 (AV) 始于能夠理解現實世界動態的物理 AI 模型。這些模型發揮著兩個關鍵作用:加速合成數據生成 (SDG) ,幫助自主機器了解現實世界的物理特性和交互(包括罕見的邊緣案例),以及作為基礎模型,可針對專門任務進行后訓練或適應不同的輸出類型。 Cosmos Predict-1 正是為此而打造,能夠生成逼真的物理感知型未來世界狀態。 現在,全新 Cosmos Predict-2 在速度、視覺質量和自定義方面進行了重大升級。在本文中,您將了解該模型,以及如何針對特定領域的用例對其進行后期訓練。 Cosmos Predict-2 是一款性能出色的世界基礎模型,經過架構優化,可提高速度和可擴展性,并跨用例和硬件平臺提供分辨率和幀速率靈活性。有兩個模型變體針對任務復雜性進行了優化: 開發者可以首先使用文本轉圖像模型生成預覽,

Source

]]>
14300
借助神經重建和世界基礎模型提升自動駕駛汽車仿真速度 http://www.open-lab.net/zh-cn/blog/accelerating-av-simulation-with-neural-reconstruction-and-world-foundation-models/ Wed, 11 Jun 2025 08:27:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=14279 Continued]]> 自動駕駛汽車 (AV) 堆棧正在從離散構建塊的層次結構發展為基于foundation models構建的端到端架構。這種轉變需要自動駕駛數據飛輪來生成合成數據和增強傳感器數據集,解決覆蓋差距,并最終構建驗證工具鏈,以安全開發和部署自動駕駛汽車。 在本博文中,我們重點介紹了最新的 NVIDIA API、NVIDIA Cosmos 世界基礎模型 (WFMs) 和 NIM 微服務,供開發者啟動數據工作流。 從自動駕駛車隊收集的現實世界數據是自動駕駛工作流的基礎,但是,收集和注釋罕見事件、物體和場景的傳感器數據是不可行的。通過先進的 3D 重建技術、神經重建和渲染,開發者可以將現實世界的數據集轉變為多樣化的交互式模擬。 NVIDIA NuRec 是一組用于神經重建和渲染的 API 和工具。它使開發者能夠使用現有fleet數據來重建高保真數字孿生、模擬新事件,

Source

]]>
14279
利用 NVIDIA Cosmos Reason 整理合成數據集以訓練物理 AI 模型 http://www.open-lab.net/zh-cn/blog/curating-synthetic-datasets-to-train-physical-ai-models-with-nvidia-cosmos-reason/ Sun, 18 May 2025 06:30:51 +0000 http://www.open-lab.net/zh-cn/blog/?p=13952 Continued]]> AI 系統如何理解可能發生的事故與物理上不可能發生的事件之間的區別?還是計劃在邊緣場景中進行跨人類、物體和環境的多步驟交互?這些都是物理智能的核心問題,是機器人如何操控世界、 自動駕駛汽車 如何瞬間做出決策以及虛擬智能體如何模擬現實的基礎。 NVIDIA Cosmos Reason 是 物理 AI 的世界基礎模型 (WFM) ,構建該模型不僅是為了觀察事物,也是為了推理。它經過訓練,能夠理解空間、時間和物理特性,可以 批判合成數據 并構建精心策劃的數據集,以訓練機器人和自動駕駛汽車等具身 AI 系統,使其行動更加逼真。本文將介紹 Cosmos Reason 的開發方式、使用位置,以及如何使用公開可用的模型檢查點和腳本來運行物理 AI 任務的模型。 Cosmos 是一個 WFM 開發平臺。Cosmos WFM 是預訓練的多模態模型,旨在理解世界狀態并將其生成為視頻,

Source

]]>
13952
借助 NVIDIA RTX PRO Blackwell 臺式機 GPU 實現 Rivian 新一代XR 設計 http://www.open-lab.net/zh-cn/blog/powering-next-gen-xr-design-at-rivian-with-nvidia-rtx-pro-blackwell-desktop-gpus/ Tue, 06 May 2025 06:55:13 +0000 http://www.open-lab.net/zh-cn/blog/?p=13838 Continued]]> 對于不斷突破 XR 界限的專業人士而言,打造身臨其境的高保真體驗始終充滿挑戰。在渲染大型數據集和驅動最新的超高分辨率高級 XR 頭顯設備時,要求嚴苛的 XR 工作流程突破了性能極限。同時集成先進的 人工智能功能,提供更具交互性和直觀性的體驗,進一步提高了標準。 雖然技術上存在挑戰,但這些因素正在推動硬件和軟件創新,以在汽車設計、建筑設計、制造等領域充分發揮 XR 的潛力。 NVIDIA RTX PRO Blackwell 臺式機 GPU 在 NVIDIA GTC 2025 上的發布標志著我們向前邁出了重要一步。這些新一代 GPU 具有高達 600W 的功率和 96 GB 的 GDDR7 顯存,增加了 Tensor 和 CUDA 核心,并且 PCIe Gen5 支持使用雙 GPU 的 VR-SLI 功能,這是一項重大進步。 RTX PRO Blackwell GPU…

Source

]]>
13838
借助 SES AI 的 NVIDIA 驅動的電動汽車創新技術,加速運輸業的未來發展 http://www.open-lab.net/zh-cn/blog/accelerating-the-future-of-transportation-with-ses-ais-nvidia-powered-innovation-for-electric-vehicles/ Tue, 25 Mar 2025 09:04:47 +0000 http://www.open-lab.net/zh-cn/blog/?p=13369 Continued]]> 電動汽車 (EV) 正在改變交通運輸方式,但成本、使用壽命和續航里程等挑戰仍然是廣泛采用電動汽車的障礙。這些挑戰的核心在于電池技術,尤其是電解質,這是實現能源存儲和輸送的關鍵組件。電解質的特性直接影響電池的充電速度、功率輸出、穩定性和安全性。 為了克服這些障礙,研究人員開始采用 AI 驅動的方法來加速新型電池材料的發現。 作為電池創新領域的領導者,SES AI 正在利用先進的 NVIDIA 硬件和軟件生態系統來革新材料發現。SES AI 將適用于特定領域的 LLM 與 AI 模型和 GPU 加速的模擬相結合,將數十年的研究壓縮為幾個月,并在電動汽車電池性能方面取得突破性進展。 SES AI 的開創性工作分為以下關鍵步驟: SES AI 正在創建全面的分子字典,以繪制數百萬個小分子的物理和化學性質。

Source

]]>
13369
借助 NVIDIA DriveOS LLM SDK 簡化自動駕駛汽車應用的 LLM 部署 http://www.open-lab.net/zh-cn/blog/streamline-llm-deployment-for-autonomous-vehicle-applications-with-nvidia-driveos-llm-sdk/ Mon, 10 Mar 2025 06:57:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=13098 Continued]]> 大語言模型 (LLMs) 在自然語言處理 (NLP) 中表現出非凡的泛化能力。它們廣泛應用于翻譯、數字助理、推薦系統、上下文分析、代碼生成、網絡安全等。汽車應用對基于 LLMs 的自動駕駛和座艙功能解決方案的需求與日俱增。在通常資源受限的汽車平臺上部署 LLMs 和 視覺語言模型 (VLMs) 已成為一項嚴峻的挑戰。 本文將介紹 NVIDIA DriveOS LLM SDK,該庫旨在優化自動駕駛汽車 DRIVE AGX 平臺 上先進 LLM 和 VLM 的推理。它是基于 NVIDIA TensorRT 推理引擎構建的輕量級工具包。它整合了針對 LLM 的特定優化,例如自定義注意力內核和量化技術,以便在汽車平臺上部署 LLM。 該工具包提供易于使用的 C++ 庫和示例代碼,用于導出、構建 TensorRT 引擎、執行推理,以及使用完整的端到端工作流對 LLM 進行基準測試。

Source

]]>
13098
NVIDIA Cosmos World 基礎模型平臺助力物理 AI 進步 http://www.open-lab.net/zh-cn/blog/advancing-physical-ai-with-nvidia-cosmos-world-foundation-model-platform/ Thu, 09 Jan 2025 08:43:45 +0000 http://www.open-lab.net/zh-cn/blog/?p=12593 Continued]]> 隨著機器人和 自動駕駛汽車 的發展,加速 物理 AI 的發展變得至關重要,而物理 AI 使自主機器能夠感知、理解并在現實世界中執行復雜的操作。這些系統的核心是 世界基礎模型 (WFMs),即通過物理感知視頻模擬物理狀態的 AI 模型,使機器能夠做出準確決策并與周圍環境無縫交互。 NVIDIA Cosmos 平臺可幫助開發者大規模為物理 AI 系統構建自定義世界模型。它為從數據管護、訓練到定制的每個開發階段提供開放世界基礎模型和工具。 本文將介紹 Cosmos 及其加速物理 AI 開發的主要功能。Cosmos 是一種開源的 Python 庫,用于加速物理 AI 開發。 構建物理 AI 極具挑戰性,需要精確的模擬以及真實世界的行為理解和預測。克服這些挑戰的一個關鍵工具是世界模型,該模型根據過去的觀察結果和當前的輸入結果預測未來的環境狀態。

Source

]]>
12593
通過 NVIDIA NeMo 框架的最新功能全鏈路加速視頻基礎模型的訓練和微調 http://www.open-lab.net/zh-cn/blog/accelerate-custom-video-foundation-model-pipelines-with-new-nvidia-nemo-framework-capabilities/ Tue, 07 Jan 2025 06:10:49 +0000 http://www.open-lab.net/zh-cn/blog/?p=12561 Continued]]> 生成式 AI 已經從基于文本的模型發展到多模態模型,最近還擴展到了視頻領域,為各行各業開辟了新的潛在用途。視頻模型可以為用戶創造新的體驗,以及大規模模擬場景來訓練自主代理。它們正在幫助包括機器人技術、自動駕駛汽車和娛樂業在內的多個行業實現變革。 由于視頻數據的龐大和多樣性,視頻基礎模型的開發面臨著獨特的挑戰。這也凸顯了可擴展的數據管理流程和訓練框架的必要性,以此來理解時間和空間動態的模型。 我們發布了 NVIDIA NeMo 框架中全新的視頻基礎模型功能,這是一個端到端的訓練框架,用于預訓練和微調您的專屬視頻基礎模型。該框架包括高吞吐量的數據管理、高效的多模態數據加載功能、可擴展的模型訓練,以及并行化的框架內推理。 高吞吐量視頻數據處理鏈路 NVIDIA NeMo Curator 通過高效處理和準備高質量的數據(包括大型視頻數據集),

Source

]]>
12561
聚焦:TCS 利用 NVIDIA 生成式 AI 將汽車軟件測試速度提高 2 倍 http://www.open-lab.net/zh-cn/blog/spotlight-tcs-increases-automotive-software-testing-speeds-by-2x-using-nvidia-generative-ai/ Fri, 22 Nov 2024 06:06:41 +0000 http://www.open-lab.net/zh-cn/blog/?p=12145 Continued]]> 生成式 AI 正在改變汽車行業的各個方面,包括軟件開發、測試、用戶體驗、個性化和安全性。隨著汽車行業從機械驅動轉向軟件驅動,生成式 AI 正在釋放出無限的可能性。 Tata 咨詢服務(TCS) 專注于在汽車行業中利用生成式人工智能的兩大領域: 生成式 AI 是實現全自動駕駛汽車(AV)的關鍵,它可以增強基于 AI 的算法,從而做出更好的決策。它可以生成和合成各種可能性的數據集,從有限的實時數據到訓練和測試數據。這種技術對于實現車輛個性化和用戶體驗至關重要。它包括一系列功能,例如高級搜索功能、語言翻譯、車載個人助理以及直觀的視頻和音頻娛樂推薦。 軟件定義車輛(Software-Defined Vehicle,SDV)的目標是提供更高的靈活性和豐富的用戶體驗,使客戶能夠根據自己的便利性升級和更新車輛功能。這增加了車輛的復雜性,導致產生數百萬行代碼。

Source

]]>
12145
使用 PVA 引擎優化自動駕駛汽車 CV 開發流水線 http://www.open-lab.net/zh-cn/blog/optimizing-the-cv-pipeline-in-automotive-vehicle-development-using-the-pva-engine/ Wed, 23 Oct 2024 05:30:32 +0000 http://www.open-lab.net/zh-cn/blog/?p=11704 Continued]]> 在汽車軟件開發領域,越來越多的大規模 AI 模型被集成到自動駕駛汽車中,這些模型的范圍從視覺 AI 模型到用于自動駕駛的端到端 AI 模型。現在,汽車軟件開發領域對算力的需求正在飛速增長。導致系統負載增加,對系統穩定性和時延產生了負面影響。 為了解決這些難題,可以使用可編程視覺加速器(PVA)提高能效和整體系統性能。PVA 是 NVIDIA DRIVE SoC 上的一個低功耗、高效率的硬件引擎。通過使用 PVA,可以卸載通常由 GPU 或其他硬件引擎處理的任務到 PVA 上,從而降低它們的負載,使它們能夠更加高效地管理其他關鍵任務。 在本文中,我們簡要介紹了 DRIVE 平臺上的 PVA 硬件引擎和 SDK。我們展示了 PVA 引擎在計算機視覺(CV)流水線中的典型用例,包括預處理、后處理和其他 CV 算法,重點介紹其效果和效率。最后,我們以蔚來為例,

Source

]]>
11704
聚焦:clicOH 借助 NVIDIA cuOpt 實現最后一英里交付速度 20 倍提升 http://www.open-lab.net/zh-cn/blog/spotlight-clicoh-accelerates-last-mile-delivery-20x-with-nvidia-cuopt/ Thu, 29 Aug 2024 05:34:02 +0000 http://www.open-lab.net/zh-cn/blog/?p=11160 Continued]]> 受消費者行為轉變和疫情影響,電子商務繼續呈爆炸式增長和轉型。因此,物流和運輸公司發現自己處于包裹配送革命的前沿。這新的現實情況在最后一英里配送中尤為明顯,而后者現在已經成為供應鏈物流中成本最高的要素,占從零售到制造等各行業供應鏈總成本的41%以上。可以理解的是,最后一英里配送成本的飆升正在促使人們努力找出并緩解根本原因。 最后一英里配送挑戰因車輛路線規劃問題(VRP)而變得更加復雜。作為旅行推銷員問題的泛化,VRP 問:“一支車隊向一組特定客戶交付時,應該采用的最佳路線集是什么?”如果僅有 10 個配送目的地,就可以進行超過 3,000,000 次的排列和行程組合。如果目的地為 15 個,可能的路線數量可能超過 1 萬億次。隨著目的地數量的增加,相應的可能行程數量甚至超過最快的超級計算機的功能,而這并沒有考慮到常見的運營限制,例如車隊可用性、導航能力和訪問限制。 這些限制,

Source

]]>
11160
人工智能增強的導航圖為大型船舶提供更安全的水域 http://www.open-lab.net/zh-cn/blog/ai-enhanced-navigation-charts-safer-waters-for-massive-ships/ Tue, 25 Jun 2024 05:12:46 +0000 http://www.open-lab.net/zh-cn/blog/?p=10426 Continued]]> 海事初創公司Orca AI憑借其 AI-powered 導航系統開創了海上安全的先河,該系統提供實時視頻處理,幫助船員在擁擠的水域和低能見度條件下做出數據驅動的決策。 每年,數千艘價值 1 億英鎊的大型船只運送價值 14 萬億美元的貨物,穿越世界海洋和水道,努力遵守緊迫的最后期限。每天,事故都在發生或勉強避免。僅在 2023 年,就記錄了 4000 多起安全事件,包括碰撞和近距離碰撞。 該導航模塊稱為 SeaPod,配有五個高清攝像頭用于白天觀看和三個熱像儀用于夜間觀看。即使在霧蒙蒙的條件下,SeaPod 也可以分析和注釋實時視頻,為航海家提供關于八海里外物體的重要見解。然后,注釋后的數據包括其他船只的相對大小和速度信息,顯示在船只駕駛室的計算機屏幕上。 奧卡人工智能是 NVIDIA 針對尖端初創公司的 Inception 計劃的一部分。其云連接、

Source

]]>
10426
Hydra MDP 的端到端按比例驅動 http://www.open-lab.net/zh-cn/blog/end-to-end-driving-at-scale-with-hydra-mdp/ Mon, 17 Jun 2024 08:39:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=10464 Continued]]> 構建一個在復雜的物理世界中導航的自主系統極具挑戰性。該系統必須感知其環境,并做出快速、明智的決定。乘客體驗也非常重要,包括加速度、曲率、平順性、道路附著力和碰撞時間。 在這篇文章中,我們將介紹Hydra-MDP,這是一個推進端到端自動駕駛領域的創新框架。Hydra-MDP 使用了一種新穎的多教師、學生教師知識提取架構,集成了來自人類和基于規則的規劃者的知識,從而使模型能夠學習不同的軌跡,提高了在不同駕駛環境和條件下的泛化能力。 Hydra MDP 提供了一個通用框架,展示了基于機器學習規劃如何通過基于規則的規劃者進行增強。這種集成確保了該模型不僅模仿人類駕駛行為,還遵守交通規則和安全標準,從而解決了傳統的模仿學習限制。 Hydra MDP 的數據驅動縮放定律證明了其穩健性和適應性,通過使用具有大量數據和 GPU 小時數的預訓練基礎模型,

Source

]]>
10464
視頻:使用 NVIDIA NIM 與您的供應鏈數據對話 http://www.open-lab.net/zh-cn/blog/video-talk-to-your-supply-chain-data-using-nvidia-nim/ Mon, 17 Jun 2024 08:34:53 +0000 http://www.open-lab.net/zh-cn/blog/?p=10461 Continued]]> NVIDIA 運營著世界上最大、最復雜的供應鏈之一。我們建造的超級計算機通過數百英里的高速光纜連接數萬個 NVIDIA GPU。我們依靠數百家合作伙伴向十幾家工廠交付數千種不同的組件,以生產近 3000 種產品。一旦供應鏈中斷,就可能影響我們履行承諾的能力。 這段四分鐘的視頻強調了組織如何克服運營復雜性,并通過使用 LLM NIM、NVIDIA NeMo Retriever NIM 和 cuOpt NIM 構建的人工智能規劃器,以非凡的規模交付人工智能工廠。 關鍵要點 總結 在NVIDIA cuOpt、NeMo Retriever和LLM NIM微服務免費試用在API 目錄上。 查看這些資源以了解更多關于 cuOpt 的信息:

Source

]]>
10461
在 cuBLAS 中引入分組 GEMM API 以及更多性能更新 http://www.open-lab.net/zh-cn/blog/introducing-grouped-gemm-apis-in-cublas-and-more-performance-updates/ Wed, 12 Jun 2024 05:43:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=10332 Continued]]> 最新版本 NVIDIA cuBLAS 庫版本 12.5 將繼續為深度學習(DL)和高性能計算(HPC)工作負載提供功能和性能。本文將概述自版本 12.0以來 cuBLAS 矩陣乘法(matrix multiplications)中的以下更新: 分組的 GEMM API 可視為批量 API 的泛化,可在一次內核啟動中對不同的矩陣大小、轉置和縮放因子進行分組和并行化。 這種方法提供加速的一個示例是多專家 (MoE)模型的批量大小為 8 和 64,以及 FP16 輸入和輸出。在本示例中,分組的 GEMM API 可以使用批量 GEMM API 實現比單純循環快 1.2 倍的速度。 這一點令人印象深刻,因為當前分組的 GEMM 核函數僅利用線程束級 MMA 指令。它們已證明可以與利用線程束級 MMA (wgmma) 指令的分批 GEMM 核函數進行競爭。

Source

]]>
10332
人人超碰97caoporen国产