open-source software – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Tue, 18 Mar 2025 19:48:17 +0000 zh-CN hourly 1 196178272 借助 NVIDIA 全棧解決方案提升 AI 推理性能 http://www.open-lab.net/zh-cn/blog/optimize-ai-inference-performance-with-nvidia-full-stack-solutions/ Tue, 24 Dec 2024 05:43:02 +0000 http://www.open-lab.net/zh-cn/blog/?p=12923 Continued]]> AI 驅動的應用的爆炸式發展對開發者提出了前所未有的要求,他們必須在提供先進的性能與管理運營復雜性和成本以及 AI 基礎設施之間取得平衡。 NVIDIA 正在為開發者提供涵蓋芯片、系統和軟件的全棧創新,重新定義 AI 推理 的可能性,使其比以往更快、更高效、更具可擴展性。 六年前,NVIDIA 著手打造 AI 推理服務器,專為構建高吞吐量、延遲關鍵型生產應用的開發者而設計。當時,許多開發者都在努力使用定制的、特定于框架的服務器,這些服務器增加了復雜性,增加了運營成本,并且難以滿足嚴格的服務水平協議(service-level agreements)關于延遲和吞吐量的要求。 為解決這一問題,NVIDIA 開發了 NVIDIA Triton Inference Server ,這是一個開源平臺,能夠為來自任何 AI 框架的模型提供服務。通過整合特定于框架的推理服務器,

Source

]]>
12923
使用 NVIDIA Isaac ROS 開發人員預覽版 3 構建高性能機器人應用程序 http://www.open-lab.net/zh-cn/blog/build-high-performance-robotic-applications-with-nvidia-isaac-ros-developer-preview-3/ Tue, 18 Apr 2023 03:11:56 +0000 http://www.open-lab.net/zh-cn/blog/?p=6719 Continued]]> 機器人的復雜性正在增加,具有更高的自主性、更多的傳感器數量和多樣性,以及更多基于傳感器融合的算法。硬件加速對于運行這些日益復雜的工作負載至關重要,從而使機器人應用程序能夠以更高的速度和能效運行更大的工作負載。 NVIDIA Isaac ROS的使命一直致力于為 ROS 開發人員提供開發高性能、節能機器人應用所需的加速計算包和工具 NVIDIA 還在 ROS2 中開創了加速計算的先河,并在每個版本中不斷改進。在過去的兩年里,已經添加了 20 多個硬件加速 ROS 包,并支持最新的 ROS 2 分發。 該團隊去年與 Open Robotics 合作,包括自適應和類型協商,以提高提供硬件加速器的計算平臺上的 ROS 性能。他們還實施了 ISAAC ROS 的適應和類型協商,稱為 NITROS (NVIDIA Isaac Transport for ROS).

Source

]]>
6719
基于物理的機器學習平臺 NVIDIA PhysicsNeMo 現已開源 http://www.open-lab.net/zh-cn/blog/physics-ml-platform-physicsnemo-is-now-open-source/ Thu, 23 Mar 2023 08:37:54 +0000 http://www.open-lab.net/zh-cn/blog/?p=6592 Continued]]> 基于物理的機器學習( Physics ML )正在轉型高性能計算( HPC )跨學科的模擬工作流程,包括計算流體動力學、結構力學和計算化學。由于其廣泛的應用,物理 ML 非常適合建模物理系統,并在從制造業到氣候科學的各個行業部署數字孿生。 NVIDIA PhysicsNeMo是一個最先進的物理 ML 平臺,它將物理與深度學習訓練數據相結合,以建立高保真、參數化的代理模型,并具有接近實時的延遲。使用 NVIDIA PhysicsNeMo 構建的代理模型有助于廣泛的解決方案,包括天氣預報,減少發電廠溫室氣體和加速清潔能源轉型. NVIDIA PhysicsNeMo 客戶的成功案例正在證明該平臺在各個行業中具有令人難以置信的實用性。然而,物理 ML 在深度學習領域是一個相對較新的領域,在研究層面和應用方面都面臨著重大挑戰。這是由于滿足物理 ML 規則所需的獨特要求:

Source

]]>
6592
NVIDIA 發布開源 GPU 內核模塊 http://www.open-lab.net/zh-cn/blog/nvidia-releases-open-source-gpu-kernel-modules/ Wed, 11 May 2022 10:27:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=3943 Continued]]> NVIDIA 現在將 Linux GitHub 內核模塊發布為具有雙 GPL / MIT 許可證的開放源代碼,從 R515 驅動程序版本開始。您可以在 GPU 上的 NVIDIA Open GPU kernel modules repo 中找到這些內核模塊的源代碼。 本次發布是改善在 Linux 中使用 NVIDIA GPU 的體驗、與操作系統更緊密集成以及開發人員調試、集成和反饋的重要一步。對于 Linux 發行商來說,開源模塊增加了易用性。他們還改進了開箱即用的用戶體驗,以簽署和分發 NVIDIA GPU 驅動程序。 Canonical 和 SUSE 能夠立即用 Ubuntu 和 SUSE Linux 企業版打包開放內核模塊。 開發人員可以追蹤代碼路徑,了解內核事件調度如何與他們的工作負載交互,以更快地進行根本原因調試。此外,

Source

]]>
3943
使用 Container Canary 在多個平臺上測試容器圖像 http://www.open-lab.net/zh-cn/blog/testing-container-images-against-multiple-platforms-with-container-canary/ Tue, 10 May 2022 09:10:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=3934 Continued]]> 自帶容器模型在當今的現代計算平臺上得到廣泛支持。換句話說,您可以在自定義軟件環境中提供自己的容器映像。 然而,用戶提供的容器必須滿足每個平臺的獨特要求,這可能因平臺而異。例如,您可能需要: 保持容器圖像符合這些任意要求可能是一項挑戰。因此,我們迫切希望引入一個名為 Container Canary 的新開源工具來捕獲這些需求,并針對它們進行自動測試。 Container Canary 提供了一個規范,用于將這些需求記錄為可檢入版本控制的清單。然后,可以使用 CLI 工具根據該清單驗證容器。 這在測試和持續集成( CI )環境中非常有用,可以避免容器中的回歸,同時允許容器開發人員快速移動。 Container Canary 是用 Golang 編寫的,并以靜態二進制文件的形式分發,使其易于移植,易于在 CI 環境中安裝。 要安裝它,

Source

]]>
3934
Jupyter 實驗室中的 GPU 儀表板 http://www.open-lab.net/zh-cn/blog/gpu-dashboards-in-jupyter-lab/ Fri, 24 Sep 2021 06:46:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=1806 Continued]]> 這篇文章最初發表在 RAPIDS AI 博客here上。 NVDashboard 是一個開源軟件包,用于在交互式Jupyter 實驗室環境中實時可視化 NVIDIA GPU 指標。 NVDashboard 是所有 GPU 用戶監視系統資源的好方法。然而,它對于RAPIDS, NVIDIA 的 GPU 開源套件加速數據科學軟件庫的用戶尤其有價值。 考慮到現代數據科學算法的計算強度,在許多情況下 GPU 可以提供改變游戲規則的工作流加速。為了獲得最佳性能,底層軟件有效地使用系統資源是絕對關鍵的。盡管加速庫(如 cuDNN 和 RAPIDS )是專門設計用于執行性能優化方面的繁重任務的,但對于開發人員和最終用戶來說,驗證他們的軟件是否真正按照預期利用了 GPU 資源是非常有用的。雖然這可以通過 NVIDIA -smi 等命令行工具實現,

Source

]]>
1806
人人超碰97caoporen国产