制造業 – NVIDIA 技術博客

制造業 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Thu, 22 May 2025 07:50:52 +0000 zh-CN hourly 1 196178272 使用 NVIDIA Isaac Lab 為工業機器人裝配應用彌合仿真與現實之間的差距 http://www.open-lab.net/zh-cn/blog/bridging-the-sim-to-real-gap-for-industrial-robotic-assembly-applications-using-nvidia-isaac-lab/ Tue, 20 May 2025 04:57:56 +0000 http://www.open-lab.net/zh-cn/blog/?p=13918 Continued]]> 多個部件的組裝在幾乎每個主要行業 (如制造、汽車、航空航天、電子和醫療設備) 中都發揮著關鍵作用。盡管機器人組裝應用廣泛，但它仍然是一項重大挑戰。它涉及復雜的交互，機器人必須通過持續的物理接觸來操縱物體，這需要較高的精度和準確性。如今的機器人裝配系統長期以來一直受到固定自動化的限制。這些系統專為需要大量人工設計和部署的特定任務而構建，限制了其適應性和可擴展性。機器人裝配的未來在于靈活的自動化。未來的機器人必須快速適應新的部件、姿勢和環境。將機器人技術與仿真和 AI 集成可以突破這些限制。多年來，NVIDIA 一直在推進這一領域的研究，我們與 Universal Robots (UR) 的持續合作正在推動這一從研究創新到現實世界工業應用的轉型。在本文中，我們展示了 UR10e 機器人上齒輪組件任務的零樣本仿真到現實傳輸。

]]>

13918

使用 NVIDIA AI Blueprint 進行視頻搜索和摘要，推動視頻分析 AI 智能體的發展 http://www.open-lab.net/zh-cn/blog/advance-video-analytics-ai-agents-using-the-nvidia-ai-blueprint-for-video-search-and-summarization/ Sun, 18 May 2025 05:39:36 +0000 http://www.open-lab.net/zh-cn/blog/?p=13932 Continued]]> 與傳統的 Computer Vision (CV) 模型相比， Vision Language Models (VLMs) 實現了更廣泛的感知和更豐富的上下文理解，從而改變了視頻分析。然而，上下文長度有限和缺乏音頻轉錄等挑戰仍然存在，限制了 VLM 一次可以處理的視頻數量。為克服這一問題，適用于視頻搜索和摘要 (VSS) 的 NVIDIA AI Blueprint 將 VLM、LLM 和檢索增強生成 (RAG) 與高效的提取、檢索和存儲機制相集成，從而實現存儲和實時視頻分析。視覺 AI 智能體可應用于監控智能空間、倉庫自動化和 SOP 驗證等眾多用例。 NVIDIA 宣布推出適用于視頻搜索和摘要的 NVIDIA AI Blueprint 新版本并全面推出 (GA) 。此版本包含多項新功能，包括多實時流、突發模式提取、可自定義 CV 流程和音頻轉錄。

]]>

13932

使用 NVIDIA NeMo Curator 構建 Nemotron-CC：一個高質量萬億令牌數據集，用于大型語言模型預訓練，源自 Common Crawl http://www.open-lab.net/zh-cn/blog/building-nemotron-cc-a-high-quality-trillion-token-dataset-for-llm-pretraining-from-common-crawl-using-nvidia-nemo-curator/ Wed, 07 May 2025 06:32:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=13827 Continued]]> 對于想要訓練先進的大語言模型 (LLM) 的企業開發者而言，整理高質量的預訓練數據集至關重要。為了讓開發者能夠構建高度準確的 LLM，NVIDIA 之前發布了 Nemotron-CC ，這是一個價值 6.3 萬億個 token 的英語語言 Common Crawl (CC) 數據集。今天，NVIDIA NeMo Curator 團隊很高興地與大家分享，用于構建 Nemotron-CC 數據集的 pipeline 現已合并到 NeMo Curator GitHub 存儲庫中。 Nemotron-CC 工作流現已集成到 NeMo Curator 中，為平衡大規模準確性和數據量之間的權衡提供了一種新穎的解決方案。Nemotron-CC 工作流結合使用分類器集成和合成數據重述，提供了一種可擴展的方法，可從原始數據集中生成高質量的合成數據，以擴展原始數據集。

Source

]]>

13827

工業設施數字孿生中的機器人仿真 http://www.open-lab.net/zh-cn/blog/simulating-robots-in-industrial-facility-digital-twins/ Mon, 31 Mar 2025 08:20:44 +0000 http://www.open-lab.net/zh-cn/blog/?p=13443 Continued]]> 工業企業正在采用物理 AI 和自主系統來實現運營轉型。這涉及在工廠和倉庫中部署異構機器人車隊，包括移動機器人、人形助手、智能攝像頭和 AI 智能體。為了充分利用這些支持物理 AI 的系統的全部潛力，公司依賴于其設施的數字孿生，即用于模擬和優化自主系統交互方式以及執行復雜任務的虛擬環境。這種 simulation-first 方法使企業能夠在實際部署之前驗證其機器人車隊是否能夠在動態環境中進行協調和適應，從而加速向真正自主的工業運營過渡。借助 Mega NVIDIA Omniverse Blueprint ，企業能夠加速物理 AI 在工廠、倉庫和工業設施中的開發和部署。該工作流使開發者能夠利用傳感器仿真和合成數據生成來模擬復雜的自主操作，并在實際部署之前驗證工業數字孿生中物理 AI 系統的性能。本文將介紹該藍圖的組件，

]]>

13443

加速通用人形機器人的開發：NVIDIA Isaac GR00T N1 http://www.open-lab.net/zh-cn/blog/accelerate-generalist-humanoid-robot-development-with-nvidia-isaac-gr00t-n1/ Tue, 18 Mar 2025 04:57:31 +0000 http://www.open-lab.net/zh-cn/blog/?p=13314 Continued]]> 人形機器人需要能夠適應人類工作空間，處理重復性或高強度任務。然而，為真實世界的任務和不可預測的環境創建通用人形機器人是一項挑戰。通常來說，這些任務中的每一個都需要一個專用的 AI 模型。由于需要大量特定于任務的數據、高昂的計算成本，且模型的泛化能力有限，針對每一個新的任務和環境，從零開始訓練這些模型是一個非常繁瑣的過程。 NVIDIA Isaac GR00T 通過提供開源的 SimReady 數據、仿真框架（如 NVIDIA Isaac Sim 和 Isaac Lab）、合成數據藍圖和預訓練基礎模型，能夠幫助解決這些挑戰并加速通用人形機器人的開發。 NVIDIA Isaac GR00T N1 的特點和優勢 NVIDIA Isaac GR00T N1 是世界上首個用于通用人形機器人推理和技能的開源基礎模型。這個跨實體模型接受包括語言和圖像在內的多模態輸入，

]]>

13314

使用 NVIDIA AI Blueprint 構建實時多模態 XR 應用以進行視頻搜索和摘要 http://www.open-lab.net/zh-cn/blog/build-real-time-multimodal-xr-apps-with-nvidia-ai-blueprint-for-video-search-and-summarization/ Tue, 11 Mar 2025 06:43:16 +0000 http://www.open-lab.net/zh-cn/blog/?p=13357 Continued]]> 隨著生成式 AI 和視覺基礎模型的最新進展，VLM 呈現了新一波視覺計算浪潮，其中模型能夠實現高度復雜的感知和深度上下文理解。這些智能解決方案為增強 XR 設置中的語義理解提供了一種很有前景的方法。通過集成 VLM，開發者可以顯著改進 XR 應用解釋用戶操作以及與用戶操作交互的方式，使其響應速度更快、更直觀。本文將向您介紹如何利用 NVIDIA AI Blueprint 進行視頻搜索和摘要，以及如何增強 Blueprint 以支持 XR 環境中的音頻。我們介紹了實時語音識別和沉浸式交互的分步過程——從設置環境到無縫集成。借助對話式 AI 功能增強 XR 應用，為用戶帶來更加身臨其境的體驗。通過創建在 XR 環境中提供 Q&A 功能的生成式 AI 智能體，用戶可以更自然地進行交互并獲得即時幫助。多模態 AI 智能體處理并合成多種輸入模式，例如視覺數據 (例如 XR…

]]>

13357

圖像和視頻理解的視覺語言模型提示工程實踐指南 http://www.open-lab.net/zh-cn/blog/vision-language-model-prompt-engineering-guide-for-image-and-video-understanding/ Wed, 26 Feb 2025 06:49:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=13030 Continued]]> 視覺語言模型 (VLMs) 正在以極快的速度發展。2020 年，首批 VLMs 通過使用視覺編碼器將視覺理解引入大語言模型 (LLMs) ，徹底改變了生成式 AI 格局。這些初始 VLMs 能力有限，只能理解文本和單張圖像輸入。幾年后，VLM 現在能夠理解多圖像和視頻輸入，以執行高級視覺語言任務，例如視覺問答 (VQA)、字幕、搜索和摘要。通過調整提示和模型權重，可以提高特定用例的 VLM 準確性。可以使用 PEFT 等高效技術微調模型權重，但仍需要足夠的數據和計算。但是， prompt engineering 和上下文學習也可用于提高輸出質量，并且與在運行時調整模型的文本輸入一樣簡單。本文將為您介紹 VLM 的演變，以及如何有效地提示 VLM 以用于了解單張圖像、多張圖像和視頻的用例。如需了解有關 VLM 和視覺 AI 智能體的更多信息，

]]>

13030

制造業產品設計工作流程的生成式 AI 轉型 http://www.open-lab.net/zh-cn/blog/transforming-product-design-workflows-in-manufacturing-with-generative-ai/ Thu, 20 Feb 2025 03:03:37 +0000 http://www.open-lab.net/zh-cn/blog/?p=12935 Continued]]> 長期以來，制造行業的傳統設計和工程工作流程一直以順序迭代的方法為特征，這種方法通常既耗時又需要大量資源。這些傳統方法通常涉及需求收集、概念設計、詳細設計、分析、原型設計和測試等階段，每個階段都取決于之前迭代的結果。雖然這種結構化方法可以控制復雜的項目，但也存在重大挑戰。由于時間限制和資源可用性，工程師在設計探索中通常會面臨限制，導致項目時間延長和成本增加。物理測試的需求可能會導致更長的開發周期和更高的成本，在汽車和航空航天等行業中尤為如此。此外，傳統工作流程的順序性會導致效率低下，因為錯誤和更改僅在后期階段才能識別，從而導致成本高昂的修訂和延遲。設計和工程領域的 AI 通過提供更快速、更高效的創新解決方案，正在改變這些傳統工作流程。主要用例包括 AI 驅動的生成式設計，它使工程師能夠根據指定的參數和約束條件生成多個設計方案，從而減少物理迭代的需求，并顯著加速設計流程。

]]>

12935

如何使用 OpenUSD http://www.open-lab.net/zh-cn/blog/how-to-use-openusd/ Thu, 30 Jan 2025 05:14:44 +0000 http://www.open-lab.net/zh-cn/blog/?p=12901 Continued]]> 通用場景描述（Universal Scene Description）是開放、可擴展的框架和生態系統，具有用于在 3D 虛擬世界中合成、編輯、查詢、渲染、協作和仿真的 API。本文介紹了如何使用現有資產和工具立即開始使用 OpenUSD，以及可以采取哪些步驟以迭代方式提升 USD 工作流程的水平。要以交互方式全面介紹 OpenUSD 的基本概念、詞匯和最佳實踐，請探索 NVIDIA Deep Learning Institute 提供的免費 Learn OpenUSD 學習路徑。 OpenUSD 不會取代您現有的工具或數據格式。顧名思義，Universal Scene Description 提供了一種常用方法來表示網格和 PBR 材質等許多 3D 概念的數據。它不斷發展，以支持其他概念，例如 physics 和 B-reps。

]]>

12901

NVIDIA JetPack 6.2 為 NVIDIA Jetson Orin Nano 和 Jetson Orin NX 模塊引入超級模式 http://www.open-lab.net/zh-cn/blog/nvidia-jetpack-6-2-brings-super-mode-to-nvidia-jetson-orin-nano-and-jetson-orin-nx-modules/ Thu, 16 Jan 2025 06:11:18 +0000 http://www.open-lab.net/zh-cn/blog/?p=12690 Continued]]> NVIDIA Jetson Orin Nano 超級開發者套件的推出為小型邊緣設備開啟了生成式 AI 的新時代。新的超級模式在開發者套件上實現了前所未有的生成式 AI 性能提升，最高可達 1.7 倍，使其成為最經濟實惠的生成式 AI 超級計算機。 JetPack 6.2 現已支持 Jetson Orin Nano 和 Jetson Orin NX 生產模組的超級模式，可將生成式 AI 模型的性能提升高達 2 倍。現在，您可以為新的和現有的機器人和邊緣 AI 應用釋放更多價值并降低總體擁有成本。本文討論了 Super Mode 的詳細信息，包括新的功率模式、Jetson Orin Nano 和 Orin NX 模組上熱門生成式 AI 模型的基準測試、文檔更新，以及對支持 Super Mode 的 NPN 合作伙伴的見解。 JetPack 6.2…

]]>

12690

如何為基于感知的物理 AI 構建支持生成式 AI 的合成數據管道 http://www.open-lab.net/zh-cn/blog/how-to-build-a-generative-ai-enabled-synthetic-data-pipeline-for-perception-ai/ Mon, 06 Jan 2025 08:38:33 +0000 http://www.open-lab.net/zh-cn/blog/?p=12590 Continued]]> 訓練用于為機器人和自動駕駛汽車等自主機器提供動力支持的物理 AI 模型需要大量數據。獲取大量不同的訓練數據可能十分困難、耗時且昂貴。由于隱私限制或問題，數據通常會受到限制，或者只是在新用例中可能不存在。此外，可用數據可能不適用于所有潛在情況，從而限制了模型準確預測和應對各種場景的能力。合成數據由在 NVIDIA Omniverse 中構建的數字孿生仿真生成，現在已通過 NVIDIA Cosmos 進行升級，能夠彌補真實數據中的差距，使開發者能夠啟動物理 AI 模型訓練。您可以通過改變許多不同的參數 (例如布局、資產位置、位置、顏色、物體大小和照明條件) 來快速生成大量不同的數據集。然后，可以使用這些數據來幫助創建廣義模型。為幫助您構建由生成式 AI 提供支持的合成數據生成工作流和工作流，請查看“使用生成式 AI 參考工作流生成合成數據”。

]]>

12590

利用最新的 NVIDIA Isaac 版本推進機器人學習、感知和操控技術 http://www.open-lab.net/zh-cn/blog/advancing-robot-learning-perception-and-manipulation-with-latest-nvidia-isaac-release/ Mon, 06 Jan 2025 06:33:06 +0000 http://www.open-lab.net/zh-cn/blog/?p=12575 Continued]]> 在 CES 2025 上，NVIDIA 宣布了對 NVIDIA Isaac 的重要更新。NVIDIA Isaac 是一個由加速庫、應用框架和 AI 模型組成的平臺，可加速 AI 機器人的開發。 NVIDIA Isaac 簡化了從仿真到實際部署的機器人系統開發過程。在本文中，我們將討論 NVIDIA Isaac 的所有新進展： NVIDIA Isaac Sim 是一款基于 NVIDIA Omniverse 構建的參考應用，使您能夠在基于物理的虛擬環境中開發、模擬和測試 AI 驅動的機器人。新的 Isaac Sim 4.5 將于 1 月底推出，將帶來一系列重大變化，包括： Isaac Sim 經過重新設計，是一款可定制的參考應用。用于加快啟動速度的最小模板和具有完整功能以及所有依賴項的完整模板。

]]>

12575

NVIDIA Jetson Orin Nano 開發者套件得到“超級”提升 http://www.open-lab.net/zh-cn/blog/nvidia-jetson-orin-nano-developer-kit-gets-a-super-boost/ Tue, 17 Dec 2024 04:52:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=12519 Continued]]> 生成式 AI 格局正在迅速發展，新的大語言模型 (LLMs)、視覺語言模型 (VLMs) 和視覺語言動作 (VLAs) 模型每天都在涌現。為了在這個變革時代站在前沿，開發者需要一個足夠強大的平臺，通過使用 CUDA 的優化推理和開放 ML 框架，將最新模型從云端無縫部署到邊緣。為了支持機器人和多模態智能體中生成式 AI 工作負載的新興應用，NVIDIA 正在通過軟件更新來更新 NVIDIA Jetson Orin Nano 開發者套件，以 249 美元的驚人新價格將性能提升高達 1.7 倍。為表彰 Jetson Orin Nano 開發者套件在性能和可訪問性方面的出色提升，我們將 Jetson Orin Nano 開發者套件更名為 NVIDIA Jetson Orin Nano Super Developer Kit。只需更新軟件，

]]>

12519

Warp 1.5.0 引入圖塊化編程 http://www.open-lab.net/zh-cn/blog/introducing-tile-based-programming-in-warp-1-5-0/ Sat, 14 Dec 2024 05:55:43 +0000 http://www.open-lab.net/zh-cn/blog/?p=12531 Continued]]> 借助最新版本的 Warp 1.5.0 ，開發者現在可以使用 Python 中基于圖塊的新編程基元。這些新工具利用 cuBLASDx 和 cuFFTDx ，在 Python 內核中為開發者提供高效的矩陣乘法和 Fourier 變換，從而加速仿真和科學計算。在這篇博文中，我們將介紹這些新功能，并展示如何使用它們來優化應用。Warp 1.5.0 中提供的基于圖塊的編程模型目前處于預覽階段，在即將推出的版本中，性能和 APIs 可能會發生變化。在過去十年中，GPU 硬件已從單純的 SIMT (單指令多線程) 執行模型發展為高度依賴協作操作來提高效率的模型。隨著 Tensor Core 數學單元在整體 GPU 計算中的作用越來越大，高效且高效的編程變得越來越重要。高級 API 如 BLAS 提供的抽象概念可以面向各種高性能低級指令。但是，這些 API 通常難以與用戶程序集成，

]]>

12531

NVIDIA JetPack 6.1 通過攝像頭堆棧優化和固件 TPM 實現性能和安全性提升 http://www.open-lab.net/zh-cn/blog/nvidia-jetpack-6-1-boosts-performance-and-security-through-camera-stack-optimizations-and-introduction-of-firmware-tpm/ Thu, 21 Nov 2024 08:15:33 +0000 http://www.open-lab.net/zh-cn/blog/?p=12169 Continued]]> NVIDIA JetPack 不斷演進，為滿足邊緣 AI 和機器人開發者的不斷增長需求提供最新的軟件。每個版本中，JetPack 都會增強性能，引入新功能，并優化現有工具，為用戶提供更大的價值。這意味著，您現有的基于 Jetson Orin 的產品可以通過升級到最新版本的 JetPack 體驗到性能優化。 JetPack 6 于 2023 年第三季度發布，標志著這一進程中的一個重要里程碑。它引入了強大的功能，如自帶內核（Bring Your Own Kernel），提供了靈活性，可以引入任何 LTS Linux 內核，并擴展了對更廣泛的 Linux 發行版的支持，為不同的開發環境提供了更大的靈活性。它采用模塊化設計，無需升級 Jetson Linux ，即可輕松升級到最新的 JetPack 計算堆棧。伴隨這些進步，性能改進（包括增強的硬件加速）可確保…

]]>

12169

人人超碰97caoporen国产