Jetson Orin – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Wed, 02 Jul 2025 04:50:38 +0000 zh-CN hourly 1 196178272 在 NVIDIA Jetson 和 RTX 上運行 Google DeepMind 的 Gemma 3n http://www.open-lab.net/zh-cn/blog/run-google-deepminds-gemma-3n-on-nvidia-jetson-and-rtx/ Thu, 26 Jun 2025 04:14:13 +0000 http://www.open-lab.net/zh-cn/blog/?p=14468 Continued]]> 截至今日,NVIDIA 現已支持在 NVIDIA RTX 和 Jetson 上全面推出 Gemma 3n。上個月,Google DeepMind 在 Google I/ O 上預覽了 Gemma,其中包括兩個針對多模態設備端部署優化的新模型。 除了 3.5 版本中引入的文本和視覺功能之外,Gemma 現在還包括音頻。每個組件都集成了可信研究模型:適用于音頻的通用語音模型、適用于視覺的 MobileNet v4 和適用于文本的 MatFormer。 最大的使用進步是一項名為“逐層嵌入”的創新。它可以顯著減少參數的 RAM 使用量。Gemma 3n E4B 模型具有 80 億個參數的原始參數計數,但可以使用與 4B 模型相當的動態內存占用來運行。這使開發者能夠在資源受限的環境中使用更高質量的模型。 Gemma 系列模型在 NVIDIA Jetson 設備上運行良好,

Source

]]>
14468
借助 NVIDIA Isaac Manipulator 和 Vention Machine 提高工業機器人的靈活性 Motion AI http://www.open-lab.net/zh-cn/blog/making-industrial-robots-more-nimble-with-nvidia-isaac-manipulator-and-vention-machinemotion-ai/ Tue, 24 Jun 2025 04:45:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=14490 Continued]]> 隨著工業自動化的加速,工廠越來越依賴先進的機器人技術來提高生產力和運營彈性。機器人的成功部署取決于精確的運動規劃、準確的空間感知和可靠的避障等功能。支持 AI 的機器人和軟件定義的自動化有助于提高工廠的自主性、可擴展性和彈性。高性能機器人軟件對于現代制造業至關重要。 本博客探討了 NVIDIA Isaac Manipulator 中的 cuMotion、nvblox、FoundationPose 和 FoundationStereo 軟件庫和 AI 模型如何顯著優化支持 AI 的機械臂(也稱為 Manipulator)的功能。這些先進的 GPU 加速工具可提供實時運動規劃、精確的環境映射和準確的立體感知,使制造商能夠以最小的集成復雜性快速部署復雜的自動化解決方案。 NVIDIA Isaac Manipulator 是一款全面的軟件解決方案,可利用 NVIDIA 先進的 GPU…

Source

]]>
14490
使用世界基礎模型生成的合成軌跡數據提高機器人學習效果 http://www.open-lab.net/zh-cn/blog/enhance-robot-learning-with-synthetic-trajectory-data-generated-by-world-foundation-models/ Mon, 16 Jun 2025 07:17:01 +0000 http://www.open-lab.net/zh-cn/blog/?p=14215 Continued]]> 在機電一體化和機器人 AI 基礎模型的進步的推動下,通用型機器人技術已經問世。但關鍵的瓶頸依然存在:機器人需要大量的訓練數據來訓練裝配和檢查等技能,而且手動演示不可擴展。NVIDIA Isaac GR00T-Dreams 藍圖基于 NVIDIA Cosmos 構建,只需一個圖像和語言提示即可生成大量合成軌跡數據,從而應對這一挑戰。 借助 Cosmos 世界基礎模型 (WFMs) 和生成式 AI,開發者可以快速為 NVIDIA Isaac GR00T N1.5 等模型創建訓練數據。 本文將介紹 Isaac GR00T-Dreams 藍圖,詳細介紹其高級功能及其在開發 Isaac GR00T N1.5 基礎模型中發揮的作用。 Isaac GR00T-Dreams 藍圖是一個用于生成大量合成軌跡數據的參考工作流。這些數據用于教人形機器人在新環境中執行新動作。

Source

]]>
14215
NVIDIA Holoscan 傳感器橋接技術賦予開發者實時數據處理能力 http://www.open-lab.net/zh-cn/blog/nvidia-holoscan-sensor-bridge-empowers-developers-with-real-time-data-processing/ Thu, 12 Jun 2025 08:06:17 +0000 http://www.open-lab.net/zh-cn/blog/?p=14264 Continued]]> 在快速發展的機器人和邊緣 AI 領域,高效處理和傳輸傳感器數據的能力至關重要。許多邊緣應用正在擺脫單傳感器固定功能解決方案,轉而采用多樣化的傳感器陣列。其中包括視覺、音頻、溫度、力/扭矩和通信傳感器、IMU、lidaradar 系統、超聲波、電機和執行器。 NVIDIA Holoscan 傳感器橋接器 (HSB) 是一種先進的以太網串流傳感器技術,旨在實現實時數據串流并簡化高速傳感器和執行器集成。NVIDIA Holoscan 將 HSB 作為連接物理傳感器和處理管道的接口。在實現硬件和 AI 處理之間的緊密集成至關重要的低延遲端到端工作流方面,它發揮著至關重要的作用。 本博文將深入探討高速傳感器處理所面臨的挑戰。還重點介紹了 HSB 如何通過超低延遲、易用性、可擴展性和強大的安全功能為機器人、醫學成像和工業自動化等行業解決這些問題 由于幾個關鍵因素,

Source

]]>
14264
人工智能聚焦珊瑚礁生態系統 http://www.open-lab.net/zh-cn/blog/ai-brings-coral-reefs-into-focus/ Fri, 30 May 2025 08:38:26 +0000 http://www.open-lab.net/zh-cn/blog/?p=14148 Continued]]> 研究人員推出了一種新的 AI 模型,可以將難以看到的水下圖像轉換為清晰、高度準確的 3D 場景。它可以幫助生態學家更準確地觀察和理解珊瑚礁等環境。 馬薩諸塞州 Woods Hole 海洋學研究所 (WHOI) 和麻省理工學院的研究人員設計了名為 SeaSplat 的模型,以抵消水對照片的兩大扭曲效應:薄霧和著色。 SeaSplat 可以重建如果去除水體及其失真,水下場景會是什么樣子。它可以將看起來無色或沖淡的照片轉換為明亮、清晰的圖像,以反映物體或動物的真實顏色。 該模型還可以生成精確的 360 度重建圖像。一種稱為 3D 高斯射的技術可幫助模型精確預測并以數字方式重現二維水下照片中的完整 3D 圖像。 研究人員使用由潛水員和機器人收集的大量水下圖像,調整了 3D 重建模型,以自動糾正水的固有失真,并描繪出出現在陸地上的水下物體。

Source

]]>
14148
輕量級、多模態、多語種 Gemma 3 模型實現性能優化 http://www.open-lab.net/zh-cn/blog/lightweight-multimodal-multilingual-gemma-3-models-are-streamlined-for-performance/ Wed, 12 Mar 2025 06:34:32 +0000 http://www.open-lab.net/zh-cn/blog/?p=13351 Continued]]> 使用基礎模型構建 AI 系統需要在內存、延遲、存儲、計算等資源之間實現微妙的平衡。在將生成式 AI 功能引入快速發展的 AI 應用生態系統時,管理成本和用戶體驗的開發者無法做到一刀切。 您需要高質量、可定制的模型選項,以便支持在數據中心、邊緣計算和設備端用例等不同計算環境中托管和部署的大規模服務,例如使用 GPU、DPU 和 Jetson 等硬件加速。 Google DeepMind 剛剛宣布推出 Gemma 3,這是一系列新的多模態和多語言開放模型。Gemma 3 由一個 1B 純文本小語言模型 (SLM) 和三個大小為 4B、12B 和 27B 的圖像文本模型組成。您可以使用 Hugging Face 中的模型,并在 NVIDIA API Catalog 中演示 1B 模型。 Gemma 3 1B 模型經過優化,可在需要低內存占用的設備應用程序或環境中高效運行,

Source

]]>
13351
NVIDIA JetPack 6.2 為 NVIDIA Jetson Orin Nano 和 Jetson Orin NX 模塊引入超級模式 http://www.open-lab.net/zh-cn/blog/nvidia-jetpack-6-2-brings-super-mode-to-nvidia-jetson-orin-nano-and-jetson-orin-nx-modules/ Thu, 16 Jan 2025 06:11:18 +0000 http://www.open-lab.net/zh-cn/blog/?p=12690 Continued]]> NVIDIA Jetson Orin Nano 超級開發者套件 的推出為小型邊緣設備開啟了 生成式 AI 的新時代。新的 超級模式 在開發者套件上實現了前所未有的生成式 AI 性能提升,最高可達 1.7 倍,使其成為最經濟實惠的生成式 AI 超級計算機。 JetPack 6.2 現已支持 Jetson Orin Nano 和 Jetson Orin NX 生產模組的超級模式,可將生成式 AI 模型的性能提升高達 2 倍。現在,您可以為新的和現有的機器人和邊緣 AI 應用釋放更多價值并降低總體擁有成本。 本文討論了 Super Mode 的詳細信息,包括新的功率模式、Jetson Orin Nano 和 Orin NX 模組上熱門生成式 AI 模型的基準測試、文檔更新,以及對支持 Super Mode 的 NPN 合作伙伴的見解。 JetPack 6.2…

Source

]]>
12690
NVIDIA Jetson Orin Nano 開發者套件得到“超級”提升 http://www.open-lab.net/zh-cn/blog/nvidia-jetson-orin-nano-developer-kit-gets-a-super-boost/ Tue, 17 Dec 2024 04:52:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=12519 Continued]]> 生成式 AI 格局正在迅速發展,新的 大語言模型 (LLMs)、視覺語言模型 (VLMs) 和視覺語言動作 (VLAs) 模型每天都在涌現。為了在這個變革時代站在前沿,開發者需要一個足夠強大的平臺,通過使用 CUDA 的優化推理和開放 ML 框架,將最新模型從云端無縫部署到邊緣。 為了支持機器人和多模態智能體中生成式 AI 工作負載的新興應用,NVIDIA 正在通過軟件更新來更新 NVIDIA Jetson Orin Nano 開發者套件 ,以 249 美元的驚人新價格將性能提升高達 1.7 倍。為表彰 Jetson Orin Nano 開發者套件在性能和可訪問性方面的出色提升,我們將 Jetson Orin Nano 開發者套件更名為 NVIDIA Jetson Orin Nano Super Developer Kit。 只需更新軟件,

Source

]]>
12519
NVIDIA JetPack 6.1 通過攝像頭堆棧優化和固件 TPM 實現性能和安全性提升 http://www.open-lab.net/zh-cn/blog/nvidia-jetpack-6-1-boosts-performance-and-security-through-camera-stack-optimizations-and-introduction-of-firmware-tpm/ Thu, 21 Nov 2024 08:15:33 +0000 http://www.open-lab.net/zh-cn/blog/?p=12169 Continued]]> NVIDIA JetPack 不斷演進,為滿足 邊緣 AI 和機器人開發者 的不斷增長需求提供最新的軟件。每個版本中,JetPack 都會增強性能,引入新功能,并優化現有工具,為用戶提供更大的價值。這意味著,您現有的基于 Jetson Orin 的產品可以通過升級到最新版本的 JetPack 體驗到性能優化。 JetPack 6 于 2023 年第三季度發布,標志著這一進程中的一個重要里程碑。它引入了強大的功能,如 自帶內核 (Bring Your Own Kernel),提供了靈活性,可以引入任何 LTS Linux 內核,并擴展了對更廣泛的 Linux 發行版的支持,為不同的開發環境提供了更大的靈活性。 它采用模塊化設計,無需升級 Jetson Linux ,即可輕松升級到最新的 JetPack 計算堆棧。伴隨這些進步,性能改進(包括增強的硬件加速)可確保…

Source

]]>
12169
AI 探索南極消失的苔蘚,揭示氣候變化的秘密 http://www.open-lab.net/zh-cn/blog/ai-investigates-antarcticas-disappearing-moss-to-uncover-climate-change-clues/ Thu, 03 Oct 2024 08:30:22 +0000 http://www.open-lab.net/zh-cn/blog/?p=11468 Continued]]> 南極洲在調節地球氣候方面發揮著至關重要的作用。大多數氣候研究都集中在世界上最寒冷、最多風的大陸的南大洋周圍的二氧化碳吸收,或其廣闊的陽光反射冰河上。 一群澳大利亞科學家正在采用不同的方法。研究人員正在深入探索南極苔蘚床,使用人工智能驅動的邊緣計算平臺來尋找關于南極變暖可能對世界其他地區產生何種影響的線索。 覆蓋南極表面的面積不到 1%。但苔蘚的存在及其持續的健康狀態在其生態系統中發揮著十分重要的作用。 與其他植物一樣,苔蘚吸收大氣中的 CO2 進行生長。苔蘚床就像微型森林,為關鍵的微生物、真菌和微動物(如水熊蟲和螨類)提供了棲息地,它們構成了南極食物鏈中的一些最底層。這些植物和動物可以在南極洲生存,因為它們可以干燥和冷凍,在為期 9 個月的南極冬季生存下來,這也使它們非常適合進行太空實驗(和旅行)。 在過去二十年中,科學家們對南極洲許多地方的苔蘚健康狀況惡化日益感到震驚。

Source

]]>
11468
縮小模擬現實的差距: NVIDIA Isaac 實驗室的訓練點四肢運動 http://www.open-lab.net/zh-cn/blog/closing-the-sim-to-real-gap-training-spot-quadruped-locomotion-with-nvidia-isaac-lab/ Mon, 17 Jun 2024 08:48:05 +0000 http://www.open-lab.net/zh-cn/blog/?p=10467 Continued]]> 由于四足動物的運動策略涉及復雜的動力學,對機器人技術提出了重大挑戰。在現實世界中,訓練四足動物上下樓梯可能會損壞設備和環境。因此,模擬器在學習過程中的安全和時間約束方面都發揮著關鍵作用。 利用深度強化學習(RL)在模擬環境中訓練機器人可以更有效、更安全地執行復雜任務然而,這種方法帶來了一個新的挑戰:如何確保這種在模擬中訓練的策略能夠無縫地轉移到現實世界換句話說,我們如何縮小模擬與現實的差距? 要縮小模擬與真實的差距,需要一個高保真的、基于物理的訓練模擬器、一臺高性能的人工智能計算機(如NVIDIA Jetson)和一個具有關節級控制的機器人。強化學習研究員套件是與波士頓動力公司、NVIDIA和人工智能研究所合作開發的,它將這些功能結合在一起,實現了從虛擬世界到現實世界的四足動物無縫部署。這套件包括Spot 四足機器人的聯合控制 API,以控制機器人的移動方式,

Source

]]>
10467
借助 NVIDIA Metropolis 微服務和 API 構建邊緣視覺 AI 應用 http://www.open-lab.net/zh-cn/blog/how-to-build-vision-ai-applications-at-the-edge-with-nvidia-metropolis-microservices-and-apis/ Tue, 23 Jan 2024 08:49:52 +0000 http://www.open-lab.net/zh-cn/blog/?p=8824 Continued]]> 通過 NVIDIA Metropolis 微服務,開發者可以利用功能強大的云原生 API 和微服務來構建和定制視覺 AI 應用和解決方案。該框架現已與 NVIDIA Jetson 相結合,使得開發者能夠在邊緣快速開發高性能、成熟的視覺 AI 應用,并實現產品化。 API 通過實現不同應用和服務之間的無縫通信和集成,提高了軟件開發的靈活性、互操作性和效率。用于構建視頻分析應用的兩個常見功能是視頻流和基于 AI 的見解和分析生成。 本文介紹了用于構建視覺 AI 應用并將其集成到任何客戶端應用中的 API 工作流程。我們將介紹構建應用的三個關鍵步驟: 適用于 Jetson 的 NVIDIA Metropolis 微服務提供了一個模塊化架構,該架構包含大量可自定義、可重復使用的微服務,這些微服務用于構建視覺 AI 應用。該套件還為基礎設施功能和參考云提供了平臺服務。

Source

]]>
8824
宣布推出適用于 Jetson 的 NVIDIA Metropolis 微服務,助力 Rapid Edge AI 開發 http://www.open-lab.net/zh-cn/blog/announcing-metropolis-microservices-on-nvidia-jetson-orin-for-rapid-edge-ai-development/ Tue, 23 Jan 2024 08:10:37 +0000 http://www.open-lab.net/zh-cn/blog/?p=8818 Continued]]> 為邊緣構建視覺 AI 應用通常需要漫長且昂貴的開發周期。與此同時,快速開發原生云、靈活且安全的邊緣 AI 應用比以往任何時候都更加重要。現在,新的 NVIDIA Metropolis 微服務可提供強大而簡單的 API 驅動的邊緣 AI 開發工作流。 NVIDIA Metropolis 微服務 是一套可定制的云原生構建塊,用于開發視覺 AI 應用和解決方案。此版本在 NVIDIA Jetson 平臺上可進一步加速邊緣視覺 AI 應用的開發和部署。 這些新的 Jetson 微服務使開發者能夠實現 AI 應用程序堆棧的現代化,簡化流程,并為未來的應用程序提供保護。您可以輕松地將最新的 生成式 AI 進展集成到您的應用程序中,這些進展是通過 API 和微服務實現的,例如視頻存儲和管理、預構建的 AI 感知流程、跟蹤算法、系統監控、用于安全邊緣到云連接的物聯網服務等。

Source

]]>
8818
2023 年最熱門的 NVIDIA 技術博客文章:生成式 AI、LLM、機器人開發和虛擬世界的突破 http://www.open-lab.net/zh-cn/blog/year-in-review-trending-posts-of-2023/ Tue, 19 Dec 2023 04:58:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=8555 Continued]]> 在 NVIDIA 激動人心的又一年即將結束之際,是時候回顧 2023 年 NVIDIA 技術博客中最熱門的案例了。 生成式 AI、大型語言模型 (LLM)、高性能計算 (HPC) 和機器人等領域的突破性研究和開發正在引領變革性 AI 解決方案的發展,并吸引了讀者的興趣。其他熱門文章探討了視頻技術和視頻會議領域的進步、增強用戶體驗以及 AI 安全方面的突破。 以下是 2023 年的部分亮點。 借助生成式 AI 快速生成虛擬世界的 3D 素材 NVIDIA Omniverse 上的新生成式 AI 技術增強了虛擬環境中的 3D 素材創建。這些進步旨在使元宇宙中的虛擬世界創建更快、更輕松。 利用 NVIDIA Maxine 眼神交流功能,增強視頻會議中的人際互動 NVIDIA Maxine 眼神交流技術利用 AI 實時調整您對攝像頭的注視點,

Source

]]>
8555
使用 NVIDIA Isaac 模擬和本地化 Husky 機器人 http://www.open-lab.net/zh-cn/blog/simulate-and-localize-a-husky-robot-with-nvidia-isaac/ Thu, 14 Dec 2023 05:51:10 +0000 http://www.open-lab.net/zh-cn/blog/?p=8596 Continued]]> 由 Clearpath Robotics 開發的 Husky 機器人,是一款專為室內和室外研究用途設計的多功能四輪平臺。通過添加其他傳感器和更換高級主板,可以輕松進行升級改造。本文介紹了如何使用官方 ROS 2 Husky 軟件包,將機器人導入到 NVIDIA Isaac Sim 并進行模擬創建。 在此演示中,Husky 機器人搭載了 NVIDIA Jetson Orin Nano,并使用最新版本的 Isaac ROS 2 驅動。該系統包含了多個 Isaac ROS 軟件包,用于機器人定位的 NVIDIA Isaac ROS VSLAM、地圖構建的 NVIDIA Isaac ROS NvBlox 以及 Apriltag 檢測的 NVIDIA Isaac ROS Apriltag。 Husky 統一機器人描述格式 (URDF) 從 ROS 2 主題中動態加載。

Source

]]>
8596
人人超碰97caoporen国产