邊緣計算 – NVIDIA 技術博客

邊緣計算 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Thu, 17 Apr 2025 05:49:19 +0000 zh-CN hourly 1 196178272 在大型語言模型時代，通過消息量化和流式傳輸實現高效的聯邦學習 http://www.open-lab.net/zh-cn/blog/efficient-federated-learning-in-the-era-of-llms-with-message-quantization-and-streaming/ Wed, 16 Apr 2025 05:23:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=13572 Continued]]> 聯邦學習 (Federated Learning, FL) 已成為一種在分布式數據源中訓練機器學習模型的有前景的方法，同時還能保護數據隱私。但是，在平衡模型要求和通信能力時，FL 面臨著與通信開銷和本地資源限制相關的重大挑戰。特別是在當前的大語言模型 (LLMs) 時代，FL 在部署具有數十億參數的 LLMs 時面臨著計算挑戰。這些模型的龐大規模加劇了通信和內存限制。由于帶寬限制，一次性傳輸完整的模型更新可能不可行，并且本地內存限制可能會使處理大型模型進行通信具有挑戰性。解決這些問題需要創新策略。 NVIDIA FLARE 是一款與領域無關、開源且可擴展的聯邦學習 SDK，通過引入可靠的通信功能、對多個并發訓練作業的支持以及針對可能因網絡條件而中斷的作業的魯棒性，增強了現實世界的聯邦學習體驗。 NVFlare 2.4.0 版本引入了流式傳輸 API，

]]>

13572

借助 NVIDIA FLARE 和 Meta ExecuTorch，在移動設備上輕松進行聯邦學習 http://www.open-lab.net/zh-cn/blog/effortless-federated-learning-on-mobile-with-nvidia-flare-and-meta-executorch/ Fri, 11 Apr 2025 05:41:04 +0000 http://www.open-lab.net/zh-cn/blog/?p=13578 Continued]]> NVIDIA 和 Meta 的 PyTorch 團隊宣布開展突破性合作，通過集成 NVIDIA FLARE 和 ExecuTorch ，將聯邦學習 (FL) 功能引入移動設備。 NVIDIA FLARE 是一款與領域無關、開源、可擴展的 SDK，使研究人員和數據科學家能夠根據聯合范式調整現有的機器學習或深度學習工作流程。它還使平臺開發者能夠為分布式多方協作構建安全、隱私保護的產品。 ExecuTorch 是一種端到端解決方案，可跨移動和邊緣設備實現設備端推理和訓練功能。它是 PyTorch Edge 生態系統的一部分，支持將各種 PyTorch 模型高效部署到邊緣設備。通過集成這兩者，我們為您提供了一個解決方案，讓您在移動設備上利用 FL 的強大功能，同時保護用戶隱私和數據安全。要啟用跨設備 FL，有兩個關鍵組件：借助 NVIDIA FLARE 和…

]]>

13578

利用 AI 更好地了解海洋 http://www.open-lab.net/zh-cn/blog/using-ai-to-better-understand-the-ocean/ Tue, 08 Apr 2025 06:27:46 +0000 http://www.open-lab.net/zh-cn/blog/?p=13518 Continued]]> 人類對深空的了解比我們對地球最深的海洋的了解更多。但科學家計劃在 AI 的幫助下改變這種狀況。美國政府資助的非營利研究組織 MITRE 的 BlueTech 首席戰略師 Nick Rotker 說：“我們擁有的火星地圖比我們專屬經濟區的地圖要好。”“地球上大約 70% 的區域都被水覆蓋著，我們幾乎沒有探索過。” 在 GTC 大會上，Rotker 和兩位同事在一個擠滿了人的宴會廳發言，其中包括著名海洋學家兼泰坦尼克號發現者 Robert Ballard，他概述了繪制詳細的地球海洋地圖的計劃，并勾勒出了一項涉及科學、學術和企業社區的合作戰略。有關更多信息，請參閱探索地球海洋：使用數字孿生推動 NVIDIA On-Demand 上的數字海洋協作。 Rotker 解釋了 MITRE 的努力如何 (至少部分) 建立在實施三臺計算機的策略上，

]]>

13518

輕量級、多模態、多語種 Gemma 3 模型實現性能優化 http://www.open-lab.net/zh-cn/blog/lightweight-multimodal-multilingual-gemma-3-models-are-streamlined-for-performance/ Wed, 12 Mar 2025 06:34:32 +0000 http://www.open-lab.net/zh-cn/blog/?p=13351 Continued]]> 使用基礎模型構建 AI 系統需要在內存、延遲、存儲、計算等資源之間實現微妙的平衡。在將生成式 AI 功能引入快速發展的 AI 應用生態系統時，管理成本和用戶體驗的開發者無法做到一刀切。您需要高質量、可定制的模型選項，以便支持在數據中心、邊緣計算和設備端用例等不同計算環境中托管和部署的大規模服務，例如使用 GPU、DPU 和 Jetson 等硬件加速。 Google DeepMind 剛剛宣布推出 Gemma 3，這是一系列新的多模態和多語言開放模型。Gemma 3 由一個 1B 純文本小語言模型 (SLM) 和三個大小為 4B、12B 和 27B 的圖像文本模型組成。您可以使用 Hugging Face 中的模型，并在 NVIDIA API Catalog 中演示 1B 模型。 Gemma 3 1B 模型經過優化，可在需要低內存占用的設備應用程序或環境中高效運行，

]]>

13351

借助 NVIDIA DriveOS LLM SDK 簡化自動駕駛汽車應用的 LLM 部署 http://www.open-lab.net/zh-cn/blog/streamline-llm-deployment-for-autonomous-vehicle-applications-with-nvidia-driveos-llm-sdk/ Mon, 10 Mar 2025 06:57:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=13098 Continued]]> 大語言模型 (LLMs) 在自然語言處理 (NLP) 中表現出非凡的泛化能力。它們廣泛應用于翻譯、數字助理、推薦系統、上下文分析、代碼生成、網絡安全等。汽車應用對基于 LLMs 的自動駕駛和座艙功能解決方案的需求與日俱增。在通常資源受限的汽車平臺上部署 LLMs 和視覺語言模型 (VLMs) 已成為一項嚴峻的挑戰。本文將介紹 NVIDIA DriveOS LLM SDK，該庫旨在優化自動駕駛汽車 DRIVE AGX 平臺上先進 LLM 和 VLM 的推理。它是基于 NVIDIA TensorRT 推理引擎構建的輕量級工具包。它整合了針對 LLM 的特定優化，例如自定義注意力內核和量化技術，以便在汽車平臺上部署 LLM。該工具包提供易于使用的 C++ 庫和示例代碼，用于導出、構建 TensorRT 引擎、執行推理，以及使用完整的端到端工作流對 LLM 進行基準測試。

]]>

13098

NVIDIA JetPack 6.2 為 NVIDIA Jetson Orin Nano 和 Jetson Orin NX 模塊引入超級模式 http://www.open-lab.net/zh-cn/blog/nvidia-jetpack-6-2-brings-super-mode-to-nvidia-jetson-orin-nano-and-jetson-orin-nx-modules/ Thu, 16 Jan 2025 06:11:18 +0000 http://www.open-lab.net/zh-cn/blog/?p=12690 Continued]]> NVIDIA Jetson Orin Nano 超級開發者套件的推出為小型邊緣設備開啟了生成式 AI 的新時代。新的超級模式在開發者套件上實現了前所未有的生成式 AI 性能提升，最高可達 1.7 倍，使其成為最經濟實惠的生成式 AI 超級計算機。 JetPack 6.2 現已支持 Jetson Orin Nano 和 Jetson Orin NX 生產模組的超級模式，可將生成式 AI 模型的性能提升高達 2 倍。現在，您可以為新的和現有的機器人和邊緣 AI 應用釋放更多價值并降低總體擁有成本。本文討論了 Super Mode 的詳細信息，包括新的功率模式、Jetson Orin Nano 和 Orin NX 模組上熱門生成式 AI 模型的基準測試、文檔更新，以及對支持 Super Mode 的 NPN 合作伙伴的見解。 JetPack 6.2…

]]>

12690

利用最新的 NVIDIA Isaac 版本推進機器人學習、感知和操控技術 http://www.open-lab.net/zh-cn/blog/advancing-robot-learning-perception-and-manipulation-with-latest-nvidia-isaac-release/ Mon, 06 Jan 2025 06:33:06 +0000 http://www.open-lab.net/zh-cn/blog/?p=12575 Continued]]> 在 CES 2025 上，NVIDIA 宣布了對 NVIDIA Isaac 的重要更新。NVIDIA Isaac 是一個由加速庫、應用框架和 AI 模型組成的平臺，可加速 AI 機器人的開發。 NVIDIA Isaac 簡化了從仿真到實際部署的機器人系統開發過程。在本文中，我們將討論 NVIDIA Isaac 的所有新進展： NVIDIA Isaac Sim 是一款基于 NVIDIA Omniverse 構建的參考應用，使您能夠在基于物理的虛擬環境中開發、模擬和測試 AI 驅動的機器人。新的 Isaac Sim 4.5 將于 1 月底推出，將帶來一系列重大變化，包括： Isaac Sim 經過重新設計，是一款可定制的參考應用。用于加快啟動速度的最小模板和具有完整功能以及所有依賴項的完整模板。

]]>

12575

AI 視覺技術助力綠色回收工廠智能化 http://www.open-lab.net/zh-cn/blog/ai-vision-helps-green-recycling-plants/ Thu, 19 Dec 2024 09:05:16 +0000 http://www.open-lab.net/zh-cn/blog/?p=12480 Continued]]> 全球每年僅回收約 13% 的 20 多億噸城市垃圾。到 2050 年，全球每年的城市廢棄物量將達到 3.88 億噸。但全球回收行業的效率遠遠不夠。每年，價值高達 120 億美元的可回收塑料 (更不用說紙張或金屬了) 最終進入垃圾填埋場，而不是使用回收材料制造的新產品。英國的初創公司 Greyparrot 開發了一款由 AI 驅動的小型設備，可提供“廢棄物智能”功能，旨在幫助回收工廠變得更高效、更環保。這款名為 Greyparrot Analyzer 的兩英尺方形時尚設備使用嵌入式攝像頭來識別和區分流經回收工廠的傳送帶上的材料。該分析器使用機器學習物體檢測模型（ODM）連接到回收工廠，并幫助改造其基礎設施。ODM 根據數千萬張廢棄物圖像進行訓練，捕獲和分析快速廢棄物圖像只需不到 60 毫秒。分析器的 ODM 使用 NVIDIA H100 Tensor…

]]>

12480

2024 年 NVIDIA 6G 開發者日的 5 大關鍵收獲 http://www.open-lab.net/zh-cn/blog/five-takeaways-from-nvidia-6g-developer-day-2024/ Wed, 18 Dec 2024 09:30:38 +0000 http://www.open-lab.net/zh-cn/blog/?p=12495 Continued]]> 2024 年 NVIDIA 6G 開發者日讓 6G 研發社區成員共聚一堂，分享見解，并學習使用 NVIDIA 6G 研究工具的新方式。來自世界各地的 1,300 多名學術和行業研究人員參加了此次虛擬活動。會上，NVIDIA、ETH Zürich、Keysight、Northeastern University、Samsung、Softbank 和 University of Oulu 發表了演講。本文將探討本次活動的五個要點。預計 6G 將駕 AI 浪潮，為消費者和企業釋放新的潛力，并改變電信基礎設施。這是 NVIDIA 高級副總裁 Ronnie Vasishta 發表的主題演講的關鍵信息。隨著生成式 AI 和 AI 應用的采用率迅速增長，AI 增強型端點正在進行交互并在移動中做出決策，從而在電信網絡上產生大量語音、視頻、數據和 AI 流量。

]]>

12495

NVIDIA Jetson Orin Nano 開發者套件得到“超級”提升 http://www.open-lab.net/zh-cn/blog/nvidia-jetson-orin-nano-developer-kit-gets-a-super-boost/ Tue, 17 Dec 2024 04:52:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=12519 Continued]]> 生成式 AI 格局正在迅速發展，新的大語言模型 (LLMs)、視覺語言模型 (VLMs) 和視覺語言動作 (VLAs) 模型每天都在涌現。為了在這個變革時代站在前沿，開發者需要一個足夠強大的平臺，通過使用 CUDA 的優化推理和開放 ML 框架，將最新模型從云端無縫部署到邊緣。為了支持機器人和多模態智能體中生成式 AI 工作負載的新興應用，NVIDIA 正在通過軟件更新來更新 NVIDIA Jetson Orin Nano 開發者套件，以 249 美元的驚人新價格將性能提升高達 1.7 倍。為表彰 Jetson Orin Nano 開發者套件在性能和可訪問性方面的出色提升，我們將 Jetson Orin Nano 開發者套件更名為 NVIDIA Jetson Orin Nano Super Developer Kit。只需更新軟件，

]]>

12519

NVIDIA JetPack 6.1 通過攝像頭堆棧優化和固件 TPM 實現性能和安全性提升 http://www.open-lab.net/zh-cn/blog/nvidia-jetpack-6-1-boosts-performance-and-security-through-camera-stack-optimizations-and-introduction-of-firmware-tpm/ Thu, 21 Nov 2024 08:15:33 +0000 http://www.open-lab.net/zh-cn/blog/?p=12169 Continued]]> NVIDIA JetPack 不斷演進，為滿足邊緣 AI 和機器人開發者的不斷增長需求提供最新的軟件。每個版本中，JetPack 都會增強性能，引入新功能，并優化現有工具，為用戶提供更大的價值。這意味著，您現有的基于 Jetson Orin 的產品可以通過升級到最新版本的 JetPack 體驗到性能優化。 JetPack 6 于 2023 年第三季度發布，標志著這一進程中的一個重要里程碑。它引入了強大的功能，如自帶內核（Bring Your Own Kernel），提供了靈活性，可以引入任何 LTS Linux 內核，并擴展了對更廣泛的 Linux 發行版的支持，為不同的開發環境提供了更大的靈活性。它采用模塊化設計，無需升級 Jetson Linux ，即可輕松升級到最新的 JetPack 計算堆棧。伴隨這些進步，性能改進（包括增強的硬件加速）可確保…

]]>

12169

NVIDIA DOCA 2.9 借助新性能和安全功能強化人工智能和云計算基礎設施 http://www.open-lab.net/zh-cn/blog/nvidia-doca-2-9-enhances-ai-and-cloud-computing-infrastructure-with-new-performance-and-security-features/ Thu, 14 Nov 2024 07:22:47 +0000 http://www.open-lab.net/zh-cn/blog/?p=12041 Continued]]> NVIDIA DOCA 通過為開發者提供全面的軟件框架來利用硬件加速來增強 NVIDIA 網絡平臺的功能，從而提高性能、安全性和效率。它的 API、庫和工具生態系統可簡化數據中心基礎設施的開發，實現工作負載卸載、加速和隔離，以支持現代、高效的數據中心。如今，許多主要的 CSP 和 NVIDIA 云合作伙伴（NCP）都在使用 DOCA，并為快速開發和部署創新解決方案提供了標準化平臺。這種方法可縮短上市時間、降低成本，并使合作伙伴能夠在使用 NVIDIA 硬件加速的同時專注于自身的核心優勢。 DOCA 培育的開放生態系統促進了協作和互操作性，創造了各種互補解決方案。合作伙伴可以探索 AI 驅動的網絡、高級安全性和高性能存儲等新興市場，將自己定位在數據中心創新前沿。 DOCA 2.9 的最新版本標志著 AI 計算結構和云計算基礎設施的重大進步。這次全面更新引入了許多新功能和改進，

]]>

12041

AI-RAN 上線，為電信公司帶來新的 AI 機遇 http://www.open-lab.net/zh-cn/blog/ai-ran-goes-live-and-unlocks-a-new-ai-opportunity-for-telcos/ Tue, 12 Nov 2024 08:05:42 +0000 http://www.open-lab.net/zh-cn/blog/?p=11867 Continued]]> AI 正在以新的方式改變行業、企業和消費者體驗。生成式 AI 模型正在轉向推理，代理 AI 正在實現新的成果導向型工作流，而物理 AI 則使攝像頭、機器人、無人機和汽車等終端能夠實時做出決策并進行交互。所有這些用例的共同點是，需要普遍、可靠、安全和超快的連接。電信網絡必須為這種新型 AI 流量做好準備，此類流量可以直接通過前向回傳無線接入網，也可以從公有云或私有云作為由企業應用生成的完全獨立的 AI 推理流量進行回傳。本地無線基礎設施提供了處理 AI 推理的理想場所。這是一種新的電信網絡方法，即 AI-RAN 。基于傳統 CPU 或 ASIC 的 RAN 系統專為 RAN 使用而設計，目前無法處理 AI 流量。AI-RAN 支持基于 GPU 的共同基礎設施，可同時運行無線和 AI 工作負載，從而將網絡從單一用途的基礎設施轉變為多用途的基礎設施，

]]>

11867

AI 驅動的設備追蹤嚎叫以拯救狼群 http://www.open-lab.net/zh-cn/blog/ai-powered-devices-track-howls-to-save-wolves/ Tue, 29 Oct 2024 05:23:05 +0000 http://www.open-lab.net/zh-cn/blog/?p=11776 Continued]]> 一種可部署在廣大偏遠地區的手機大小的新型設備正在使用人工智能識別和地理定位野生動物，以幫助保護主義者追蹤瀕危物種，包括黃石國家公園周圍的狼群。這款名為 GrizCams 的電池供電設備由蒙大拿州的一家小型初創公司 Grizzly Systems 設計。他們與生物學家合作，在整個大黃石生態系統中部署一系列設備，以錄制有關狼或狼群叫的時間和地點的音頻和視頻。一旦完全部署，這些數據可以幫助科學家和環保人士更好地了解狼的行為，并制定新的策略來阻止狼攻擊牲畜。環保人士每隔幾個月就會在遠程錄音機上從 SD 卡中檢索音頻數據。這些數據由使用數 TB 的狼嚎叫數據訓練的 AI 模型輸入和分析。該模型是一種卷積神經網絡，可將音頻轉換為頻譜圖，然后分析數據，識別狼嚎叫的不同方面，并對聲音的來源進行地理定位。 Grizzly Systems 使用 Azure 云中的 NVIDIA…

]]>

11776

利用腦機交互式神經調節和 NVIDIA Jetson 改善腦部疾病治療 http://www.open-lab.net/zh-cn/blog/treating-brain-disease-with-brain-machine-interactive-neuromodulation-and-nvidia-jetson/ Wed, 16 Oct 2024 07:00:50 +0000 http://www.open-lab.net/zh-cn/blog/?p=11730 Continued]]> Neuromodulation 是一種通過直接干預神經活動來增強或恢復大腦功能的技術。它常用于治療帕金森癥、癲癇和抑郁癥等病癥。從開環神經調節策略轉向閉環神經調節策略可以實現按需調制，在減少副作用的同時改善治療效果。這可能會顯著提高精準度和個性化的電子醫學。閉環神經調節策略在實時神經解碼和編碼方面面臨挑戰。機器學習算法和神經網絡被用來解釋與各種病理狀態相關的復雜神經活動。然而，我們需要精確的干預來恢復受疾病影響的神經功能。移動系統有助于研究處于自由移動和慢性治療條件下的患者。為了應對這些挑戰，研究人員開發了腦機交互式神經調節研究工具（Brain-Machine Interactive Neuromodulation Research Tool，BMINT）。該工具可感知神經活動，使用機器學習算法和神經網絡處理數據，并提供實時電刺激。它支持大腦和工具之間的雙向信息傳輸，

]]>

11730

人人超碰97caoporen国产