Jetson – NVIDIA 技術博客

Jetson – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Fri, 11 Apr 2025 06:31:28 +0000 zh-CN hourly 1 196178272 利用 AI 更好地了解海洋 http://www.open-lab.net/zh-cn/blog/using-ai-to-better-understand-the-ocean/ Tue, 08 Apr 2025 06:27:46 +0000 http://www.open-lab.net/zh-cn/blog/?p=13518 Continued]]> 人類對深空的了解比我們對地球最深的海洋的了解更多。但科學家計劃在 AI 的幫助下改變這種狀況。美國政府資助的非營利研究組織 MITRE 的 BlueTech 首席戰略師 Nick Rotker 說：“我們擁有的火星地圖比我們專屬經濟區的地圖要好。”“地球上大約 70% 的區域都被水覆蓋著，我們幾乎沒有探索過。” 在 GTC 大會上，Rotker 和兩位同事在一個擠滿了人的宴會廳發言，其中包括著名海洋學家兼泰坦尼克號發現者 Robert Ballard，他概述了繪制詳細的地球海洋地圖的計劃，并勾勒出了一項涉及科學、學術和企業社區的合作戰略。有關更多信息，請參閱探索地球海洋：使用數字孿生推動 NVIDIA On-Demand 上的數字海洋協作。 Rotker 解釋了 MITRE 的努力如何 (至少部分) 建立在實施三臺計算機的策略上，

]]>

13518

輕量級、多模態、多語種 Gemma 3 模型實現性能優化 http://www.open-lab.net/zh-cn/blog/lightweight-multimodal-multilingual-gemma-3-models-are-streamlined-for-performance/ Wed, 12 Mar 2025 06:34:32 +0000 http://www.open-lab.net/zh-cn/blog/?p=13351 Continued]]> 使用基礎模型構建 AI 系統需要在內存、延遲、存儲、計算等資源之間實現微妙的平衡。在將生成式 AI 功能引入快速發展的 AI 應用生態系統時，管理成本和用戶體驗的開發者無法做到一刀切。您需要高質量、可定制的模型選項，以便支持在數據中心、邊緣計算和設備端用例等不同計算環境中托管和部署的大規模服務，例如使用 GPU、DPU 和 Jetson 等硬件加速。 Google DeepMind 剛剛宣布推出 Gemma 3，這是一系列新的多模態和多語言開放模型。Gemma 3 由一個 1B 純文本小語言模型 (SLM) 和三個大小為 4B、12B 和 27B 的圖像文本模型組成。您可以使用 Hugging Face 中的模型，并在 NVIDIA API Catalog 中演示 1B 模型。 Gemma 3 1B 模型經過優化，可在需要低內存占用的設備應用程序或環境中高效運行，

Source

]]>

13351

NVIDIA Cosmos World 基礎模型平臺助力物理 AI 進步 http://www.open-lab.net/zh-cn/blog/advancing-physical-ai-with-nvidia-cosmos-world-foundation-model-platform/ Thu, 09 Jan 2025 08:43:45 +0000 http://www.open-lab.net/zh-cn/blog/?p=12593 Continued]]> 隨著機器人和自動駕駛汽車的發展，加速物理 AI 的發展變得至關重要，而物理 AI 使自主機器能夠感知、理解并在現實世界中執行復雜的操作。這些系統的核心是世界基礎模型 (WFMs)，即通過物理感知視頻模擬物理狀態的 AI 模型，使機器能夠做出準確決策并與周圍環境無縫交互。 NVIDIA Cosmos 平臺可幫助開發者大規模為物理 AI 系統構建自定義世界模型。它為從數據管護、訓練到定制的每個開發階段提供開放世界基礎模型和工具。本文將介紹 Cosmos 及其加速物理 AI 開發的主要功能。Cosmos 是一種開源的 Python 庫，用于加速物理 AI 開發。構建物理 AI 極具挑戰性，需要精確的模擬以及真實世界的行為理解和預測。克服這些挑戰的一個關鍵工具是世界模型，該模型根據過去的觀察結果和當前的輸入結果預測未來的環境狀態。

]]>

12593

NVIDIA JetPack 6.1 通過攝像頭堆棧優化和固件 TPM 實現性能和安全性提升 http://www.open-lab.net/zh-cn/blog/nvidia-jetpack-6-1-boosts-performance-and-security-through-camera-stack-optimizations-and-introduction-of-firmware-tpm/ Thu, 21 Nov 2024 08:15:33 +0000 http://www.open-lab.net/zh-cn/blog/?p=12169 Continued]]> NVIDIA JetPack 不斷演進，為滿足邊緣 AI 和機器人開發者的不斷增長需求提供最新的軟件。每個版本中，JetPack 都會增強性能，引入新功能，并優化現有工具，為用戶提供更大的價值。這意味著，您現有的基于 Jetson Orin 的產品可以通過升級到最新版本的 JetPack 體驗到性能優化。 JetPack 6 于 2023 年第三季度發布，標志著這一進程中的一個重要里程碑。它引入了強大的功能，如自帶內核（Bring Your Own Kernel），提供了靈活性，可以引入任何 LTS Linux 內核，并擴展了對更廣泛的 Linux 發行版的支持，為不同的開發環境提供了更大的靈活性。它采用模塊化設計，無需升級 Jetson Linux ，即可輕松升級到最新的 JetPack 計算堆棧。伴隨這些進步，性能改進（包括增強的硬件加速）可確保…

]]>

12169

Llama 3.2 全棧優化釋放 NVIDIA GPU 的高性能 http://www.open-lab.net/zh-cn/blog/llama-3-2-full-stack-optimizations-unlock-high-performance-on-nvidia-gpus/ Tue, 19 Nov 2024 09:20:22 +0000 http://www.open-lab.net/zh-cn/blog/?p=12199 Continued]]> Meta 最近發布了 Llama 3.2 系列視覺語言模型（VLM），其中包含 11B 參數和 90B 參數變體。這些模型是多模態模型，支持文本和圖像輸入。此外，Meta 還推出了 Llama 3.2 的純文本小語言模型（SLM）變體，具有 1B 和 3B 參數。NVIDIA 已對 Llama 3.2 模型集合進行優化，以便在全球數百萬個 GPU 上提供出色的性能和經濟高效的服務 – 從我們功能強大的數據中心和云 GPU 到本地 NVIDIA RTX 工作站，甚至是使用 NVIDIA Jetson 的低功耗邊緣設備。 Llama 3.2 VLM 支持長達 128K 的文本標記，以及分辨率為 1120 x 1120 像素的單張圖像輸入。為了實現低延遲響應，提供出色的用戶體驗，同時提供高吞吐量以經濟高效地提供這些模型，NVIDIA 平臺在技術堆棧的每一層都進行了優化。

]]>

12199

利用腦機交互式神經調節和 NVIDIA Jetson 改善腦部疾病治療 http://www.open-lab.net/zh-cn/blog/treating-brain-disease-with-brain-machine-interactive-neuromodulation-and-nvidia-jetson/ Wed, 16 Oct 2024 07:00:50 +0000 http://www.open-lab.net/zh-cn/blog/?p=11730 Continued]]> Neuromodulation 是一種通過直接干預神經活動來增強或恢復大腦功能的技術。它常用于治療帕金森癥、癲癇和抑郁癥等病癥。從開環神經調節策略轉向閉環神經調節策略可以實現按需調制，在減少副作用的同時改善治療效果。這可能會顯著提高精準度和個性化的電子醫學。閉環神經調節策略在實時神經解碼和編碼方面面臨挑戰。機器學習算法和神經網絡被用來解釋與各種病理狀態相關的復雜神經活動。然而，我們需要精確的干預來恢復受疾病影響的神經功能。移動系統有助于研究處于自由移動和慢性治療條件下的患者。為了應對這些挑戰，研究人員開發了腦機交互式神經調節研究工具（Brain-Machine Interactive Neuromodulation Research Tool，BMINT）。該工具可感知神經活動，使用機器學習算法和神經網絡處理數據，并提供實時電刺激。它支持大腦和工具之間的雙向信息傳輸，

]]>

11730

Llama 3.2 加速部署從邊緣到云端實現提速 http://www.open-lab.net/zh-cn/blog/deploying-accelerated-llama-3-2-from-the-edge-to-the-cloud/ Wed, 25 Sep 2024 03:13:01 +0000 http://www.open-lab.net/zh-cn/blog/?p=11516 Continued]]> 擴展開源 Meta Llama 模型集合，Llama 3.2 集合包括視覺語言模型（VLM）、小語言模型（SLM）和更新版的 Llama Guard 模型，后者支持視覺功能。當與 NVIDIA 加速計算平臺配對使用時，Llama 3.2 為開發者、研究人員和企業提供了寶貴的新功能和優化，以實現其生成式 AI 應用案例。在 NVIDIA H100 Tensor Core GPU 上訓練的 SLM，尺寸為 1B 和 3B 的 SLM 非常適合部署在邊緣設備上的基于 Llama 的 AI 助手。尺寸為 11B 和 90B 的 VLM 支持文本和圖像輸入以及輸出文本。VLM 提供多模態支持，可幫助開發者構建需要視覺接地、推理和理解的強大應用程序。例如，他們可以構建用于圖像字幕、圖像文本檢索、視覺問答和文檔問答等的 AI 代理。Llama Guard 模型現在除了支持文本輸入之外，

]]>

11516

借助 ReMEmbR，生成式 AI 賦予機器人推理和行動能力 http://www.open-lab.net/zh-cn/blog/using-generative-ai-to-enable-robots-to-reason-and-act-with-remembr/ Mon, 23 Sep 2024 07:14:58 +0000 http://www.open-lab.net/zh-cn/blog/?p=11362 Continued]]> 視覺語言模型（VLM）通過將文本和圖像投影到同一嵌入空間，將基礎 LLM 的強大語言理解能力與視覺 Transformer （ViT）的視覺功能相結合。它們可以獲取非結構化多模態數據并對其進行推理，然后以結構化格式返回輸出。這些模型基于廣泛的預訓練基礎構建，可以通過提供新提示或參數高效微調輕松適應不同的視覺相關任務。它們還可以與實時數據源和工具集成，以便在不知道答案時請求獲取更多信息，或在知道答案時采取行動。LLMs 和 VLMs 可以充當代理，對數據進行推理，幫助機器人執行可能難以定義的有意義任務。在之前的文章“ 使用 NVIDIA Jetson 實現生成式 AI ”中，我們展示了您可以在 NVIDIA Jetson Orin 設備上運行 LLM 和 VLM，從而實現各種新功能，例如零樣本物體檢測、視頻字幕和在邊緣設備上生成文本。但是，

]]>

11362

AI 工具助力農民抗擊作物損失和氣候變化影響 http://www.open-lab.net/zh-cn/blog/ai-tool-helps-farmers-combat-crop-loss-and-climate-change/ Wed, 11 Sep 2024 08:05:35 +0000 http://www.open-lab.net/zh-cn/blog/?p=11281 Continued]]> 機器學習算法開始徹底改變現代農業，該技術使農民能夠實時抗擊病蟲害，提高作物產量和利潤，同時減少浪費、溫室氣體排放和殺蟲劑的使用。全球約 6% 的 CO2 排放量來自農業，每年高達 40% 的作物因病蟲害而損失。對于已經從事低利潤產業的農民而言，浪費在未使用的作物上的關鍵資源使得生存變得更加困難，更不用說蓬勃發展了。但是，初創公司 Fermata 推出的全新AI賦能平臺為農民提供了一種減輕蟲害和作物病害影響的方法，同時還提高了農業的可持續性和對工人的友好性。由 ML 提供支持的新型計算機視覺系統名為 Croptimus，全天候持續掃描作物。當該平臺檢測到作物病蟲害或作物病害的早期跡象時，會立即向農民發出警報，使他們能夠將資源用于受影響的作物，并將威脅保持在局部性。該平臺使用高質量數據進行訓練，使其計算機視覺軟件能夠準確區分健康作物和高風險作物，

]]>

11281

NVIDIA Blackwell 平臺在 MLPerf Inference v4.1 中創下新的 LLM 推理記錄 http://www.open-lab.net/zh-cn/blog/nvidia-blackwell-platform-sets-new-llm-inference-records-in-mlperf-inference-v4-1/ Wed, 28 Aug 2024 07:05:54 +0000 http://www.open-lab.net/zh-cn/blog/?p=11091 Continued]]> 大型語言模型 (LLM) 推理是一項全棧挑戰。實現高吞吐量、低延遲推理需要強大的 GPU、高帶寬 GPU 之間的互連、高效的加速庫和高度優化的推理引擎。 MLPerf Inference v4.1 是廣受認可的熱門 MLPerf Inference 基準測試的最新版本，由 MLCommons 聯盟開發。該基準測試包括許多熱門 AI 模型，涵蓋從 LLM 和生成式 AI 到推薦系統和計算機視覺的各種用例。這些基準測試會定期更新，以確保市場相關性。在這一輪中，NVIDIA 憑借整個 NVIDIA 技術堆棧的創新提交了許多出色的結果。亮點包括：本文將對這些結果進行詳細介紹。 NVIDIA Blackwell 架構在 NVIDIA GTC 2024 上推出，是一種新型 AI 超級芯片。它由 2080 億個晶體管精心制作而成，并采用專為 NVIDIA 定制的 TSMC…

]]>

11091

為邊緣開發生成式 AI 驅動的視覺 AI 代理 http://www.open-lab.net/zh-cn/blog/develop-generative-ai-powered-visual-ai-agents-for-the-edge/ Wed, 17 Jul 2024 05:04:23 +0000 http://www.open-lab.net/zh-cn/blog/?p=10648 Continued]]> AI 技術領域的一項令人興奮的突破是視覺語言模型（VLM），它為視頻分析提供了一種更動態、更靈活的方法。VLM 使用戶能夠使用自然語言與圖像和視頻輸入進行交互，使技術更具可訪問性和適應性。這些模型可以在 NVIDIA Jetson Orin 邊緣 AI 平臺上運行，也可以通過 NIM 在獨立的 GPU 上運行。本文將探討如何構建基于 VLM 的視覺 AI 代理，以便從邊緣到云端運行。視覺 AI 智能體由 VLM 提供支持，在其中您可以使用自然語言提出各種問題，并在錄制或直播視頻中獲得反映真實意圖和上下文的見解。這些智能體可以通過易于使用的 REST API 進行交互，并與其他服務甚至移動應用集成。新一代視覺 AI 智能體具有多種功能，包括總結場景、創建各種警報，以及使用自然語言從視頻中提取可行見解。 NVIDIA Metropolis 帶來了視覺 AI 代理工作流，

]]>

10648

使用 YOLOv8 和 NVIDIA JetPack 6.0 生成交通洞察 http://www.open-lab.net/zh-cn/blog/generate-traffic-insights-using-yolov8-and-nvidia-jetpack-6-0/ Tue, 18 Jun 2024 07:57:57 +0000 http://www.open-lab.net/zh-cn/blog/?p=10447 Continued]]> 智能交通系統（ITS）的應用在現代城市環境中變得越來越有價值和普遍。使用 ITS 應用程序的好處包括：重要的是，這些系統需要在邊緣處理信息，以獲得可靠的帶寬、隱私、實時分析等。這篇文章解釋了如何使用 NVIDIA JetPack 6.0 的新Jetson 平臺服務來實現邊緣的端到端流量分析解決方案，該系統包括使用NVIDIA JetPack 6.0的視頻存儲工具包（VST）服務的視頻攝取和存儲、使用 YOLOv8 和 DeepStream AI Perception 服務的實時物體檢測和車輛跟蹤，以及車輛運動的時空分析，一旦創建了管道，就使用 API 來生成分析。使用 Jetson 平臺服務和 NVIDIA Jetpack 構建和部署人工智能應用程序可提供以下好處：要了解最新 JetPack SDK 的更多功能信息，

]]>

10447

縮小模擬現實的差距： NVIDIA Isaac 實驗室的訓練點四肢運動 http://www.open-lab.net/zh-cn/blog/closing-the-sim-to-real-gap-training-spot-quadruped-locomotion-with-nvidia-isaac-lab/ Mon, 17 Jun 2024 08:48:05 +0000 http://www.open-lab.net/zh-cn/blog/?p=10467 Continued]]> 由于四足動物的運動策略涉及復雜的動力學，對機器人技術提出了重大挑戰。在現實世界中，訓練四足動物上下樓梯可能會損壞設備和環境。因此，模擬器在學習過程中的安全和時間約束方面都發揮著關鍵作用。利用深度強化學習（RL）在模擬環境中訓練機器人可以更有效、更安全地執行復雜任務然而，這種方法帶來了一個新的挑戰：如何確保這種在模擬中訓練的策略能夠無縫地轉移到現實世界換句話說，我們如何縮小模擬與現實的差距？要縮小模擬與真實的差距，需要一個高保真的、基于物理的訓練模擬器、一臺高性能的人工智能計算機（如NVIDIA Jetson）和一個具有關節級控制的機器人。強化學習研究員套件是與波士頓動力公司、NVIDIA和人工智能研究所合作開發的，它將這些功能結合在一起，實現了從虛擬世界到現實世界的四足動物無縫部署。這套件包括Spot 四足機器人的聯合控制 API，以控制機器人的移動方式，

]]>

10467

借助 NVIDIA JetPack 6.0 助力邊緣云原生微服務，現已正式發布 http://www.open-lab.net/zh-cn/blog/power-cloud-native-microservices-at-the-edge-with-nvidia-jetpack-6-0-now-ga/ Tue, 04 Jun 2024 07:34:51 +0000 http://www.open-lab.net/zh-cn/blog/?p=10204 Continued]]> NVIDIA JetPack SDK 為 NVIDIA Jetson 模組提供支持，為構建端到端加速的人工智能應用提供全面的解決方案。JetPack 6 通過微服務和一系列新功能擴展了 Jetson 平臺的靈活性和可擴展性。這是 JetPack 2024 年下載次數最多的版本。隨著 JetPack 6.0 正式發布，開發者可以滿懷信心地將這些新功能引入更先進的嵌入式 AI 和機器人應用。本文重點介紹了主要功能和新的 AI 工作流程。 JetPack 6 支持在 Jetson 上擴展一系列基于 Linux 的發行版。其中包括 Canonical 的 Ubuntu 服務器、Redhat 的 RHEL 9.4、SUSE、Wind River Linux、Redhawk Real Time OS 以及各種基于 Yocto 的發行版。這些基于 Linux 的發行版在 Jetson…

]]>

10204

使用新的 NVIDIA Isaac 基礎模型和工作流程創建、設計和部署機器人應用 http://www.open-lab.net/zh-cn/blog/create-design-and-deploy-robotics-applications-using-new-nvidia-isaac-foundation-models-and-workflows/ Sun, 02 Jun 2024 08:37:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=10246 Continued]]> 機器人在智能制造設施、商業廚房、醫院、倉庫物流和農業領域等不同環境中的應用正在迅速擴展。該行業正在向智能自動化轉變，這需要增強的機器人功能來執行感知、地圖構建、導航、負載處理、物體抓取和復雜的裝配任務等功能。 AI 在這一變革中發揮著關鍵作用，提高了機器人的性能。通過集成 NVIDIA AI 加速，機器人可以更高的精度和效率處理復雜的任務，在各種應用中充分發揮自己的潛力。在 COMPUTEX，我們宣布了一些新功能，可幫助機器人專家和工程師構建智能機器人。這些功能包括： AMR 和 AGV 對于裝配線效率、物料搬運和醫療健康物流至關重要。隨著這些機器人在復雜和非結構化環境中導航，感知周圍環境并作出反應的能力變得至關重要。 Isaac Perceptor，基于 NVIDIA Isaac 機器人操作系統 (ROS)，助力原始設備制造商 (OEM)、貨運服務提供商、

]]>

10246

人人超碰97caoporen国产