邊緣計算 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Wed, 02 Jul 2025 04:50:38 +0000 zh-CN hourly 1 196178272 AI 分析護士觀察記錄以降低患者危險 http://www.open-lab.net/zh-cn/blog/ai-analyzes-nurses-observations-to-reduce-patient-danger/ Fri, 27 Jun 2025 04:11:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=14465 Continued]]> 研究人員開發了一款 AI 賦能的工具,可以分析護士的輪班筆記,從而比傳統方法更早地識別入院患者的健康狀況可能惡化或處于“崩潰”的邊緣 在早期試驗中,名為“關注早期警報系統 ( CONCERN EWS) ”的 AI 工具幫助將患者的死亡風險降低了 35% 以上,同時將平均住院時間減少了半天以上。 從 2020 年到 2022 年,臨床試驗共涉及超過 6 萬名患者,在部署 CONCERN EWS 的醫院收治的患者中,毒癥風險降低了 7.5%。如果廣泛復制這些結果,可以為醫院系統提供一種可靠的方法來改善患者的治療效果,同時降低住院治療的相關成本。 在 4 月份發表在《自然醫學》 (Nature Medicine) 上的一項研究中,由哥倫比亞大學和賓夕法尼亞州大學的研究人員領導的 AI 背后的團隊概述了機器學習算法如何優先考慮護士的敏銳醫學觀察。護士通常會頻繁與患者互動,

Source

]]>
14465
借助 NVIDIA Isaac Manipulator 和 Vention Machine 提高工業機器人的靈活性 Motion AI http://www.open-lab.net/zh-cn/blog/making-industrial-robots-more-nimble-with-nvidia-isaac-manipulator-and-vention-machinemotion-ai/ Tue, 24 Jun 2025 04:45:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=14490 Continued]]> 隨著工業自動化的加速,工廠越來越依賴先進的機器人技術來提高生產力和運營彈性。機器人的成功部署取決于精確的運動規劃、準確的空間感知和可靠的避障等功能。支持 AI 的機器人和軟件定義的自動化有助于提高工廠的自主性、可擴展性和彈性。高性能機器人軟件對于現代制造業至關重要。 本博客探討了 NVIDIA Isaac Manipulator 中的 cuMotion、nvblox、FoundationPose 和 FoundationStereo 軟件庫和 AI 模型如何顯著優化支持 AI 的機械臂(也稱為 Manipulator)的功能。這些先進的 GPU 加速工具可提供實時運動規劃、精確的環境映射和準確的立體感知,使制造商能夠以最小的集成復雜性快速部署復雜的自動化解決方案。 NVIDIA Isaac Manipulator 是一款全面的軟件解決方案,可利用 NVIDIA 先進的 GPU…

Source

]]>
14490
NVIDIA Holoscan 傳感器橋接技術賦予開發者實時數據處理能力 http://www.open-lab.net/zh-cn/blog/nvidia-holoscan-sensor-bridge-empowers-developers-with-real-time-data-processing/ Thu, 12 Jun 2025 08:06:17 +0000 http://www.open-lab.net/zh-cn/blog/?p=14264 Continued]]> 在快速發展的機器人和邊緣 AI 領域,高效處理和傳輸傳感器數據的能力至關重要。許多邊緣應用正在擺脫單傳感器固定功能解決方案,轉而采用多樣化的傳感器陣列。其中包括視覺、音頻、溫度、力/扭矩和通信傳感器、IMU、lidaradar 系統、超聲波、電機和執行器。 NVIDIA Holoscan 傳感器橋接器 (HSB) 是一種先進的以太網串流傳感器技術,旨在實現實時數據串流并簡化高速傳感器和執行器集成。NVIDIA Holoscan 將 HSB 作為連接物理傳感器和處理管道的接口。在實現硬件和 AI 處理之間的緊密集成至關重要的低延遲端到端工作流方面,它發揮著至關重要的作用。 本博文將深入探討高速傳感器處理所面臨的挑戰。還重點介紹了 HSB 如何通過超低延遲、易用性、可擴展性和強大的安全功能為機器人、醫學成像和工業自動化等行業解決這些問題 由于幾個關鍵因素,

Source

]]>
14264
使用 NVIDIA TensorRT for RTX 運行高性能 AI 應用 http://www.open-lab.net/zh-cn/blog/run-high-performance-ai-applications-with-nvidia-tensorrt-for-rtx/ Thu, 12 Jun 2025 08:01:12 +0000 http://www.open-lab.net/zh-cn/blog/?p=14261 Continued]]> NVIDIA TensorRT for RTX 現可作為 SDK 下載,該 SDK 可集成到 Windows 和 Linux 的 C++ 和 Python 應用中。在 Microsoft Build 上,我們推出了這款用于高性能 AI 推理的精簡解決方案,支持從 NVIDIA Turing 到 NVIDIA Blackwell 各代產品 (包括最新的 NVIDIA RTX PRO 系列) 的 NVIDIA GeForce RTX GPU。 此首個版本可為各種工作負載(包括卷積神經網絡(CNN)、語音模型和擴散模型)提供高性能推理。TensorRT for RTX 是創意、游戲和生產力應用的理想選擇。我們還有一個 GitHub 項目資源庫,其中包含入門 API 示例和演示,可幫助開發者快速入門。 TensorRT for RTX 基于 NVIDIA TensorRT…

Source

]]>
14261
借助 EoRA 快速恢復 LLM 壓縮錯誤的免微調方法 http://www.open-lab.net/zh-cn/blog/a-fine-tuning-free-approach-for-rapidly-recovering-llm-compression-errors-with-eora/ Mon, 09 Jun 2025 05:08:54 +0000 http://www.open-lab.net/zh-cn/blog/?p=14397 Continued]]> 模型壓縮技術已經過廣泛探索,可減少為大語言模型 (LLM) 或其他大型神經網絡提供服務所需的計算資源。 但是,與未壓縮的模型相比,大多數現有方法的準確性顯著下降,或者訓練時間較長。此外,其適應性通常受到硬件支持的壓縮格式(例如 2:4 sparsity、3/4-bit quantization)范圍有限的限制,難以滿足用戶對準確性和效率的各種要求。 NVIDIA Research 臺灣、Learning & Perception Research Group、AI Accelerator & VLSI Research Group 以及 NeMo Group 將模型壓縮重構為自定義補償。他們開發了 Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation…

Source

]]>
14397
人工智能幫助定位海上丟失的危險漁網 http://www.open-lab.net/zh-cn/blog/ai-helps-locate-dangerous-fishing-nets-lost-at-sea/ Sun, 08 Jun 2025 05:14:41 +0000 http://www.open-lab.net/zh-cn/blog/?p=14400 Continued]]> 環保人士推出了一款新的 AI 工具,可以從世界任何地方篩選 PB 級的水下影像,以識別廢棄或丟失的魚網 (即所謂的“幽靈網”) 的跡象。 每年,全球約有 2% 的漁具(包括約 80,000 平方公里的魚網)丟失在海洋中。這些魚網會威脅到海豹、海龜和 Dolphins 等海洋野生動物,它們會糾結于廢棄的魚網中并溺死。丟失的漁具也會在水中分解,成為塑料污染的主要誘因。 檢測停泊在海洋或海底的廢棄漁網極其困難。網通常像手指一樣薄,人類在觀看水下圖像時幾乎看不到。 為了識別幽靈網的確切位置,以便將其移除,WWF Germany 和合作伙伴 Accenture 以及 Microsoft 的 AI for Good Lab 共同創建了 GhostNetZero.ai。該在線平臺從科研機構、政府、海上風電公司和其他經常收集此類掃描圖像的團體處眾包高分辨率水下數據(稱為 side scan…

Source

]]>
14400
全球五大洲電信運營商正建立 NVIDIA 賦能的主權人工智能基礎設施 http://www.open-lab.net/zh-cn/blog/telcos-across-five-continents-are-building-nvidia-powered-sovereign-ai-infrastructure/ Fri, 30 May 2025 08:40:52 +0000 http://www.open-lab.net/zh-cn/blog/?p=14151 Continued]]> AI 正在成為各行各業創新的基石,將創造力和生產力提升到新的水平,并從根本上重塑我們的生活和工作方式。AI 工廠是一種新型基礎設施,可大規模制造智能,并為許多人認為的下一次工業革命奠定基礎。 AI 工廠代表著傳統云計算架構向專為 AI 工作負載設計和優化的加速計算基礎設施的重置。這種架構轉變為新參與者 (包括有時被稱為“新云”的專業 AI 工廠提供商) 創造了機會。這些參與者通過向研究人員、初創公司和企業提供高性能、以 GPU 為中心的 AI 云服務來訓練模型、微調和推理,從而取得了快速的成功。 新云提供商的成功推動了 AI 的普及,將強大的新 LLM 和 AI 模型帶給數百萬人。它還表明,從醫療健康到汽車,各行各業對 AI 工廠的需求是前所未有的,而且服務水平低下。 對 AI 工廠的巨大需求為電信服務提供商帶來了新的商機。麥肯錫最近的研究表明,到 2030 年,

Source

]]>
14151
人工智能聚焦珊瑚礁生態系統 http://www.open-lab.net/zh-cn/blog/ai-brings-coral-reefs-into-focus/ Fri, 30 May 2025 08:38:26 +0000 http://www.open-lab.net/zh-cn/blog/?p=14148 Continued]]> 研究人員推出了一種新的 AI 模型,可以將難以看到的水下圖像轉換為清晰、高度準確的 3D 場景。它可以幫助生態學家更準確地觀察和理解珊瑚礁等環境。 馬薩諸塞州 Woods Hole 海洋學研究所 (WHOI) 和麻省理工學院的研究人員設計了名為 SeaSplat 的模型,以抵消水對照片的兩大扭曲效應:薄霧和著色。 SeaSplat 可以重建如果去除水體及其失真,水下場景會是什么樣子。它可以將看起來無色或沖淡的照片轉換為明亮、清晰的圖像,以反映物體或動物的真實顏色。 該模型還可以生成精確的 360 度重建圖像。一種稱為 3D 高斯射的技術可幫助模型精確預測并以數字方式重現二維水下照片中的完整 3D 圖像。 研究人員使用由潛水員和機器人收集的大量水下圖像,調整了 3D 重建模型,以自動糾正水的固有失真,并描繪出出現在陸地上的水下物體。

Source

]]>
14148
NVIDIA TensorRT for RTX 在 Windows 11 上推出優化的推理 AI 庫 http://www.open-lab.net/zh-cn/blog/nvidia-tensorrt-for-rtx-introduces-an-optimized-inference-ai-library-on-windows/ Mon, 19 May 2025 05:35:42 +0000 http://www.open-lab.net/zh-cn/blog/?p=13929 Continued]]> 在 Windows 上,創意、游戲和生產力應用方面的 AI 體驗正在迅速擴展。有各種框架可用于在臺式機、筆記本電腦或工作站上本地加速這些應用中的 AI 推理。開發者需要適應廣泛的生態系統。他們必須在特定于硬件的庫或跨供應商框架 (如 DirectML) 之間進行選擇,以實現最高性能。DirectML 可簡化 CPU、GPU 和 NPU 之間的部署,但并不總是充分發揮每個設備的潛力。在性能和兼容性之間取得適當平衡對于開發者至關重要。 今天,我們宣布推出適用于 RTX 的 NVIDIA TensorRT ,以應對這些挑戰。它作為 Windows ML 的一部分在 Windows 11 上提供,Windows ML 是 Microsoft 在 Microsoft Build 上新發布的 AI 推理框架 。它們共同通過標準化 API 為開發者提供經 NVIDIA 優化的加速,

Source

]]>
13929
借助 NVIDIA ARC-Compact 在基站部署 AI-RAN http://www.open-lab.net/zh-cn/blog/deploy-ai-ran-at-cell-sites-with-nvidia-arc-compact/ Sun, 18 May 2025 06:39:09 +0000 http://www.open-lab.net/zh-cn/blog/?p=13958 Continued]]> 無線網絡是現代連接的支柱,通過全球數百萬個蜂窩基站為數十億 5G 用戶提供服務。AI-RAN 的機遇和優勢正在推動電信網絡和生態系統向 AI 原生無線網絡 轉型。 該公司的使命是創建一個智能網絡結構,連接智能手機、攝像頭、機器人和 AI 智能體等數千億 AI 賦能的端點。這需要將 AI 嵌入到無線電信號處理中,以實現 X 因子性能和效率提升,并加速基站以提供 AI 流量,使 AI 推理盡可能接近用戶。 AI-RAN 通過將當前基于 ASIC 的單用途 5G/RAN 純系統發展為多用途商用現成 (COTS) 系統,能夠在同一平臺上托管 AI 和 RAN 工作負載、適用于 RAN 算法的 AI 以及 AI-on-RAN 應用,使其成為可能。這一轉型有望為電信運營商帶來諸多好處,包括支持新的 AI 服務、創造新的收入、提高網絡利用率、頻譜效率、能效和性能。AI-RAN 通過 100%

Source

]]>
13958
在大型語言模型時代,通過消息量化和流式傳輸實現高效的聯邦學習 http://www.open-lab.net/zh-cn/blog/efficient-federated-learning-in-the-era-of-llms-with-message-quantization-and-streaming/ Wed, 16 Apr 2025 05:23:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=13572 Continued]]> 聯邦學習 (Federated Learning, FL) 已成為一種在分布式數據源中訓練機器學習模型的有前景的方法,同時還能保護數據隱私。但是,在平衡模型要求和通信能力時,FL 面臨著與通信開銷和本地資源限制相關的重大挑戰。 特別是在當前的大語言模型 (LLMs) 時代,FL 在部署具有數十億參數的 LLMs 時面臨著計算挑戰。這些模型的龐大規模加劇了通信和內存限制。由于帶寬限制,一次性傳輸完整的模型更新可能不可行,并且本地內存限制可能會使處理大型模型進行通信具有挑戰性。解決這些問題需要創新策略。 NVIDIA FLARE 是一款與領域無關、開源且可擴展的聯邦學習 SDK,通過引入可靠的通信功能、對多個并發訓練作業的支持以及針對可能因網絡條件而中斷的作業的魯棒性,增強了現實世界的聯邦學習體驗。 NVFlare 2.4.0 版本引入了流式傳輸 API,

Source

]]>
13572
借助 NVIDIA FLARE 和 Meta ExecuTorch,在移動設備上輕松進行聯邦學習 http://www.open-lab.net/zh-cn/blog/effortless-federated-learning-on-mobile-with-nvidia-flare-and-meta-executorch/ Fri, 11 Apr 2025 05:41:04 +0000 http://www.open-lab.net/zh-cn/blog/?p=13578 Continued]]> NVIDIA 和 Meta 的 PyTorch 團隊宣布開展突破性合作,通過集成 NVIDIA FLARE 和 ExecuTorch ,將聯邦學習 (FL) 功能引入移動設備。 NVIDIA FLARE 是一款與領域無關、開源、可擴展的 SDK,使研究人員和數據科學家能夠根據聯合范式調整現有的機器學習或深度學習工作流程。它還使平臺開發者能夠為分布式多方協作構建安全、隱私保護的產品。 ExecuTorch 是一種端到端解決方案,可跨移動和邊緣設備實現設備端推理和訓練功能。它是 PyTorch Edge 生態系統的一部分,支持將各種 PyTorch 模型高效部署到邊緣設備。 通過集成這兩者,我們為您提供了一個解決方案,讓您在移動設備上利用 FL 的強大功能,同時保護用戶隱私和數據安全。要啟用跨設備 FL,有兩個關鍵組件: 借助 NVIDIA FLARE 和…

Source

]]>
13578
利用 AI 更好地了解海洋 http://www.open-lab.net/zh-cn/blog/using-ai-to-better-understand-the-ocean/ Tue, 08 Apr 2025 06:27:46 +0000 http://www.open-lab.net/zh-cn/blog/?p=13518 Continued]]> 人類對深空的了解比我們對地球最深的海洋的了解更多。但科學家計劃在 AI 的幫助下改變這種狀況。 美國政府資助的非營利研究組織 MITRE 的 BlueTech 首席戰略師 Nick Rotker 說:“我們擁有的火星地圖比我們專屬經濟區的地圖要好。”“地球上大約 70% 的區域都被水覆蓋著,我們幾乎沒有探索過。” 在 GTC 大會上,Rotker 和兩位同事在一個擠滿了人的宴會廳發言,其中包括著名海洋學家兼泰坦尼克號發現者 Robert Ballard,他概述了繪制詳細的地球海洋地圖的計劃,并勾勒出了一項涉及科學、學術和企業社區的合作戰略。 有關更多信息,請參閱 探索地球海洋:使用數字孿生推動 NVIDIA On-Demand 上的數字海洋協作 。 Rotker 解釋了 MITRE 的努力如何 (至少部分) 建立在實施三臺計算機的策略上,

Source

]]>
13518
輕量級、多模態、多語種 Gemma 3 模型實現性能優化 http://www.open-lab.net/zh-cn/blog/lightweight-multimodal-multilingual-gemma-3-models-are-streamlined-for-performance/ Wed, 12 Mar 2025 06:34:32 +0000 http://www.open-lab.net/zh-cn/blog/?p=13351 Continued]]> 使用基礎模型構建 AI 系統需要在內存、延遲、存儲、計算等資源之間實現微妙的平衡。在將生成式 AI 功能引入快速發展的 AI 應用生態系統時,管理成本和用戶體驗的開發者無法做到一刀切。 您需要高質量、可定制的模型選項,以便支持在數據中心、邊緣計算和設備端用例等不同計算環境中托管和部署的大規模服務,例如使用 GPU、DPU 和 Jetson 等硬件加速。 Google DeepMind 剛剛宣布推出 Gemma 3,這是一系列新的多模態和多語言開放模型。Gemma 3 由一個 1B 純文本小語言模型 (SLM) 和三個大小為 4B、12B 和 27B 的圖像文本模型組成。您可以使用 Hugging Face 中的模型,并在 NVIDIA API Catalog 中演示 1B 模型。 Gemma 3 1B 模型經過優化,可在需要低內存占用的設備應用程序或環境中高效運行,

Source

]]>
13351
借助 NVIDIA DriveOS LLM SDK 簡化自動駕駛汽車應用的 LLM 部署 http://www.open-lab.net/zh-cn/blog/streamline-llm-deployment-for-autonomous-vehicle-applications-with-nvidia-driveos-llm-sdk/ Mon, 10 Mar 2025 06:57:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=13098 Continued]]> 大語言模型 (LLMs) 在自然語言處理 (NLP) 中表現出非凡的泛化能力。它們廣泛應用于翻譯、數字助理、推薦系統、上下文分析、代碼生成、網絡安全等。汽車應用對基于 LLMs 的自動駕駛和座艙功能解決方案的需求與日俱增。在通常資源受限的汽車平臺上部署 LLMs 和 視覺語言模型 (VLMs) 已成為一項嚴峻的挑戰。 本文將介紹 NVIDIA DriveOS LLM SDK,該庫旨在優化自動駕駛汽車 DRIVE AGX 平臺 上先進 LLM 和 VLM 的推理。它是基于 NVIDIA TensorRT 推理引擎構建的輕量級工具包。它整合了針對 LLM 的特定優化,例如自定義注意力內核和量化技術,以便在汽車平臺上部署 LLM。 該工具包提供易于使用的 C++ 庫和示例代碼,用于導出、構建 TensorRT 引擎、執行推理,以及使用完整的端到端工作流對 LLM 進行基準測試。

Source

]]>
13098
人人超碰97caoporen国产