Networking / Communications – NVIDIA 技術博客
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 22 May 2025 06:44:49 +0000
zh-CN
hourly
1
196178272 -
借助 NVIDIA ARC-Compact 在基站部署 AI-RAN
Sun, 18 May 2025 06:39:09 +0000
http://www.open-lab.net/zh-cn/blog/?p=13958
Continued]]>
無線網絡是現代連接的支柱，通過全球數百萬個蜂窩基站為數十億 5G 用戶提供服務。AI-RAN 的機遇和優勢正在推動電信網絡和生態系統向 AI 原生無線網絡 轉型。 該公司的使命是創建一個智能網絡結構，連接智能手機、攝像頭、機器人和 AI 智能體等數千億 AI 賦能的端點。這需要將 AI 嵌入到無線電信號處理中，以實現 X 因子性能和效率提升，并加速基站以提供 AI 流量，使 AI 推理盡可能接近用戶。 AI-RAN 通過將當前基于 ASIC 的單用途 5G/RAN 純系統發展為多用途商用現成 (COTS) 系統，能夠在同一平臺上托管 AI 和 RAN 工作負載、適用于 RAN 算法的 AI 以及 AI-on-RAN 應用，使其成為可能。這一轉型有望為電信運營商帶來諸多好處，包括支持新的 AI 服務、創造新的收入、提高網絡利用率、頻譜效率、能效和性能。AI-RAN 通過 100%
Source
]]>
13958
-
NVIDIA ConnectX-8 SuperNIC 通過 PCIe Gen6 連接推動 AI 平臺架構發展
Sun, 18 May 2025 06:34:44 +0000
http://www.open-lab.net/zh-cn/blog/?p=13955
Continued]]>
從 大語言模型 (LLM) 到 代理式 AI 推理和 物理 AI ，隨著 AI 工作負載的復雜性和規模不斷增加，人們對更快、更可擴展的計算基礎設施的需求空前強烈。滿足這些需求需要從頭開始重新思考系統架構。 NVIDIA 正在通過 NVIDIA ConnectX-8 SuperNIC 推動平臺架構的發展。NVIDIA ConnectX-8 SuperNIC 是業內首款在單個設備中集成支持 PCIe Gen6 的交換機和超高速網絡的 SuperNIC。ConnectX-8 專為現代 AI 基礎架構設計，可提供更高的吞吐量，同時簡化系統設計并提高功耗和成本效益。 在基于 PCIe 的平臺中，尤其是配備 8 個或更多 GPU 的平臺，PCIe 交換機對于更大限度地提高 GPU 間通信帶寬和實現可擴展的 GPU 拓撲至關重要。現有設計依賴于獨立的 PCIe 交換機，
Source
]]>
13955
-
借助 NVIDIA NVLink Fusion 將半自定義計算集成到機架級架構中
Sun, 18 May 2025 06:19:43 +0000
http://www.open-lab.net/zh-cn/blog/?p=13944
Continued]]>
數據中心正在重新構建，以高效交付 AI 工作負載。這是一項非常復雜的工作，NVIDIA 目前正在提供基于 NVIDIA 機架級架構的 AI 工廠。為了為 AI 工廠提供最佳性能，許多加速器需要以更大的帶寬和更低的延遲在機架規模上協同工作，以最節能的方式支持盡可能多的用戶。 設計滿足這些需求的機架會帶來許多技術挑戰。人們需要高密度的加速器、網絡接口卡 (NICs) 、交換機以及縱向擴展和橫向擴展結構，這些結構都緊密互聯。密集配置對于提供當今 AI 所需的高計算和背板帶寬至關重要。 傳統的風冷方法通常不足以滿足此類密集部署的需求，因此需要高密度液冷機架，例如 NVIDIA GB300 NVL72 或使用 NVIDIA NVLink 高速縱向擴展互聯技術的 NVIDIA GB200 NVL72。圖 1 說明了 NVLink 和更大的縱向擴展域如何提供最佳性能。
Source
]]>
13944
-
使用 NVIDIA Air 服務將模擬與現實世界連接
Tue, 13 May 2025 05:12:41 +0000
http://www.open-lab.net/zh-cn/blog/?p=13788
Continued]]>
NVIDIA Air 通過創建真實數據中心基礎設施部署的相同副本來實現云規模效率。借助 NVIDIA Air，您可以啟動數百臺交換機和服務器，并使用單個腳本進行配置。 NVIDIA Air 的眾多優勢之一是能夠將您的模擬與現實世界連接起來。在您的環境中啟用外部連接可以顯著增強其功能、性能和靈活性。集成云資源、API、第三方數據、協作工具或高級機器學習模型，以提高仿真的質量、規模和實時性。它還促進了協作、可擴展性，以及在本地實施難以或成本高昂的先進技術的使用。 本文介紹了通過使用 NVIDIA Air 中的服務將 NVIDIA Air 模擬連接到外部世界所提供的各種用例和優勢。 通過在仿真中啟用服務，可以從外部連接到仿真。服務在 sim-by-sim 的基礎上啟用。您可以在具有外部公開接口的任何節點上啟用服務。常見服務包括 HTTP、HTTPS 和 SSH 服務，
Source
]]>
13788
-
NVIDIA Secure AI 正式發布
Wed, 23 Apr 2025 05:39:05 +0000
http://www.open-lab.net/zh-cn/blog/?p=13608
Continued]]>
隨著許多企業開始對其數據進行 AI 訓練或推理，需要保護數據和代碼，尤其是大語言模型 (LLMs) 。由于數據敏感性，許多客戶無法冒險將數據放在云端。此類數據可能包含個人身份信息 (PII) 或公司專有信息，且經過訓練的模型擁有寶貴的知識產權 (IP) 。 NVIDIA Confidential Computing (CC) 是保護大型 AI 模型和數據的出色解決方案。借助 NVIDIA CC，企業無需在性能和安全性之間做出權衡。NVIDIA 最初于 2023 年發布了 CC，并繼續與 CPU 合作伙伴、云提供商和獨立軟件供應商 (ISVs) 合作，以確保從傳統的加速工作負載到機密的加速工作負載的轉變是流暢和透明的。 本文將介紹基于 NVIDIA HGX H100 8-GPU 和 NVIDIA HGX H200 8-GPU 的安全 AI（即 Protected…
Source
]]>
13608
-
AI Fabric 的彈性以及網絡融合的重要性
Fri, 11 Apr 2025 05:53:07 +0000
http://www.open-lab.net/zh-cn/blog/?p=13584
Continued]]>
高性能計算和深度學習工作負載對延遲極為敏感。數據包丟失會導致通信管道中的重傳或停頓，從而直接增加延遲并中斷 GPU 之間的同步。這可能會降低集合運算（例如 all-reduce 或 broadcast）的性能，因為這些運算需要每個 GPU 的參與才能進行。 本文重點介紹基于 NVIDIA 以太網的東西向 AI 網絡解決方案 Spectrum-X。我從 AI 工作負載的角度討論了 AI 結構的彈性、鏈路翼的后果、鏈路故障，以及 NVIDIA 集合通信庫 (NCCL) 。 NCCL 專為高速和低延遲環境而設計，通常通過支持 RDMA 的無損網絡 (例如 InfiniBand、NVLink 或適用于 Ethernet 的 Spectrum-X) 實現。其性能可能會受到網絡事件的顯著影響： 為獲得最佳性能，NCCL 應在網絡上運行，并盡可能減少延遲、抖動和丟包。
Source
]]>
13584
-
NVIDIA 借助 NVIDIA DGX SuperPOD 加快 AI 工廠建設速度
Fri, 11 Apr 2025 05:49:56 +0000
http://www.open-lab.net/zh-cn/blog/?p=13581
Continued]]>
在日本一個秘密地點的洞穴狀房間里，一場數字革命正在展開。服務器機架像巨人一樣立著，它們的光滑框架由數千條電纜連接，充滿了潛力。 直到去年，這個龐大的 AI 工廠還不存在。現在，它將鞏固 SoftBank Corporation 的 AI 驅動創新愿景，這一愿景植根于創建一個與 AI 共存的社會，使用先進的基礎設施推動進步。 對于 SoftBank 而言，每天縮短部署時間，不僅僅是一場技術上的勝利。相反，它具有各種競爭優勢。在 AI 超級計算飛速發展的世界中，速度就是一切。 日本領先的科技巨頭之一軟銀集團與 NVIDIA 合作打造了這一系統。他們共同構建了兩個世界上最先進的計算集群 —— 集群能夠以創紀錄的速度處理大量數據，并加速由軟銀子公司 SB Intuitions 開發的大語言模型（LLM）的開發。 但是，創建 AI 工廠不僅僅是插入硬件。這是一項精心設計的工作，
Source
]]>
13581
-
借助 Rafay 為企業 AI 工作負載提供 NVIDIA 加速計算
Wed, 09 Apr 2025 06:11:58 +0000
http://www.open-lab.net/zh-cn/blog/?p=13506
Continued]]>
生成式 AI 在全球的應用推動了全球對加速計算硬件的巨大需求。在企業中，這加快了加速私有云基礎設施的部署。在地區層面，對計算基礎設施的需求催生了一類新的云提供商，他們為 AI 工作負載提供加速計算 (GPU) 能力，也稱為 GPU 云提供商或 AI 云。其中包括可能符合 NVIDIA 云合作伙伴 (NCP) 要求的云提供商。 這些云提供商提供 GPU 加速的硬件和專為其區域客戶群定制的更高級別的 AI 服務。對于企業私有云和云提供商來說，任務很明確：讓 AI 基礎設施更易于使用，同時提供精心制作的解決方案，以滿足其服務的企業和地區的特定需求。 在本文中，我們將討論構建自助 GPU 云的關鍵技術要求和挑戰，以及 NVIDIA 合作伙伴 Rafay 的平臺即服務 (PaaS) 模型如何應對這些挑戰。
Source
]]>
13506
-
NVIDIA 硅光網絡交換開啟數據中心網絡新時代
Thu, 27 Mar 2025 05:27:03 +0000
http://www.open-lab.net/zh-cn/blog/?p=13405
Continued]]>
NVIDIA 通過將硅光技術直接與 NVIDIA Quantum 和 NVIDIA Spectrum 交換機 IC 集成，開辟了新的領域。在 GTC 2025 上，我們推出了全球領先的硅光交換機系統，采用先進的 200G SerDes 技術，與傳統的可插拔光模塊相比，這種創新的硅光一體封裝技術具有顯著的優勢，例如3.5 倍的能耗降低、延遲的降低、以及顯著的網絡可靠性提升等，這些都是加速大規模 AI 模型開發和推理的關鍵因素。 硅光一體化封裝技術是硬件集成的一次演進。通過將硅光光收發器直接與交換機 IC 封裝在一起，NVIDIA 實現了： 降低功耗：與傳統的可插拔光模塊相比，硅光一體化封裝可實現3.5 倍的大幅功耗降低。通過消除耗電的外部 DSP 器件和將信號路徑從英寸縮小到毫米，這項突破性技術可顯著提高能效。這種更密集、更可持續的 AI 基礎設施，將推動更快的系統可見性和擴展性，
Source
]]>
13405
-
NVIDIA Aerial Omniverse 數字孿生提升AI原生無線開發和靈活部署能力
Wed, 19 Mar 2025 08:43:19 +0000
http://www.open-lab.net/zh-cn/blog/?p=13260
Continued]]>
在 AI 與先進 5G 和即將推出的 6G 技術融合的推動下，無線行業正處于轉型的邊緣，這些技術可為數十億 AI 驅動的端點提供無與倫比的速度、超低延遲和無縫連接。具體而言，6G 將采用 AI 原生技術，實現集成感知和通信，支持擴展現實和全息接口等沉浸式技術，并借助 AI 將網絡性能、頻譜效率和能效提升到新的水平。要充分發揮 AI 原生 5G 和 6G 無線網絡的潛力，需要在網絡設計、仿真、部署和測試方面采用創新方法。 在 NVIDIA GTC 2024 大會上，我們推出了 Aerial Omniverse 數字孿生 (AODT) ，這是一個使用 NVIDIA Omniverse 構建的 AI 原生數字孿生平臺，專為 5G 和 6G 無線系統的前沿研究和開發 (R&D) 而設計。 AODT 的主要特性包括： 今年，我們宣布擴展 AODT 功能，
Source
]]>
13260
-
AI 推理時代的 NVIDIA Blackwell Ultra
Wed, 19 Mar 2025 08:34:58 +0000
http://www.open-lab.net/zh-cn/blog/?p=13254
Continued]]>
多年來，AI 的進步一直通過預訓練擴展遵循清晰的軌跡：更大的模型、更多的數據和更豐富的計算資源帶來了突破性的功能。在過去 5 年中，預訓練擴展使計算需求以驚人的速度增加了 50M 倍。但是，構建更智能的系統不再只是預訓練更大的模型。相反，它是關于改進它們并讓它們思考。 通過將 AI 模型優化為專門任務，后訓練擴展可改進模型，以提供更多對話式響應。使用特定領域的合成數據調整模型，可增強其理解細微上下文并提供準確輸出的能力。合成數據生成作為訓練模型的可用內容沒有上限，這意味著在后訓練擴展中需要大量計算資源。 現在，一種增強智能的新 縮放定律 已經出現：測試時縮放（test-time scaling）。 測試時擴展也稱為 長思考 ，可在 AI 推理過程中動態增加計算量，從而實現更深入的推理。AI 推理模型不僅能一次性生成答案，還能積極思考、權衡多種可能性，并實時優化答案。
Source
]]>
13254
-
借助 NVIDIA NIM 和 NVIDIA Holoscan for Media 增強直播媒體工作流程效率
Wed, 05 Mar 2025 05:44:44 +0000
http://www.open-lab.net/zh-cn/blog/?p=13134
Continued]]>
NVIDIA Holoscan for Media 是一個 NVIDIA 加速平臺，專為多供應商實時制作和 AI 而設計。它將在 GTC 上展示，重點介紹可增強實時制作工作流的 NVIDIA NIM、AI SDK 和微服務。 容器編排平臺基于 Kubernetes 構建，通過 NVIDIA 組件 (例如 GPU 和網絡運算符)、ST 2110 的性能調優和監控堆棧簡化了媒體計時、同步和管理。參考應用使用 NVIDIA Rivermax、NVIDIA NMOS 和 NVIDIA DeepStream SDK，使您能夠從一開始就運行真實的直播媒體工作流。 Holoscan for Media 通過將新一代模型與未壓縮的直播媒體管線連接起來，提供創新的觀眾體驗和制作流程，從而加速行業對 AI 的采用。 NIM 作為通過 Helm 圖表部署在 Kubernetes…
Source
]]>
13134
-
NVIDIA Spectrum-X 網絡平臺和合作伙伴提升 AI 存儲性能達48%
Tue, 04 Feb 2025 06:56:25 +0000
http://www.open-lab.net/zh-cn/blog/?p=12761
Continued]]>
AI 工廠依靠的不僅僅是計算網。當然，連接 GPU 的東西向網絡對于 AI 應用的性能至關重要，而連接高速存儲陣列的存儲網也不容忽視。存儲性能在運行 AI 業務過程中的多個階段中發揮著關鍵作用, 包括訓練過程中的Checkpoint操作、 推理過程中的檢索增強生成 (RAG) 等。 為了滿足這些需求，NVIDIA 和存儲生態合作伙伴正在將 NVIDIA Spectrum-X 網絡平臺 擴展到數據存儲網，從而帶來更高的性能和更快的實現AI的時間。由于 Spectrum-X 動態路由技術能夠緩解網絡中的流量沖突并增加有效帶寬，從而使存儲性能遠高于 RoCE v2，RoCE v2是大多數數據中心用于 AI 計算網和存儲網的以太網網絡協議。 Spectrum-X 將讀取帶寬加速了高達 48%，寫入帶寬加速了高達 41%。帶寬的增加可以更快地完成 AI 工作流中與存儲相關的操作，
Source
]]>
12761
-
NVIDIA 集合通信庫 2.23 促使新的縮放算法和初始化方法的誕生
Fri, 31 Jan 2025 04:47:14 +0000
http://www.open-lab.net/zh-cn/blog/?p=12886
Continued]]>
NVIDIA 集合通信庫 (NCCL) 可實現針對 NVIDIA GPU 和網絡進行優化的多 GPU 和多節點通信基元。NCCL 是多 GPU 深度學習訓練軟件的核心部分。它可以處理任何類型的 GPU 間通信，無論是通過 PCI、NVLink 還是網絡進行通信。它采用先進的拓撲檢測、優化的通信圖形和調整模型，可在 NVIDIA GPU 平臺上直接獲得開箱即用的最佳性能。 在本文中，我們將討論 NCCL 2.23 中發布的新功能和修復程序。查看 NVIDIA/nccl Github 存儲庫。 NVIDIA Magnum IO NCCL 是一個旨在優化 GPU 間和多節點通信的庫，對于 AI 和高性能計算 (HPC) 應用中的高效并行計算至關重要。此版本的價值在于其新功能： 以下各節將深入探討新功能的詳細信息： PAT 算法是 Bruck 算法的變體，
Source
]]>
12886
-
借助 NVIDIA DOCA 平臺框架，助力新一代 DPU 加速云基礎設施
Mon, 13 Jan 2025 08:06:11 +0000
http://www.open-lab.net/zh-cn/blog/?p=12623
Continued]]>
越來越多的企業組織開始采用加速計算來滿足生成式 AI、5G 電信和主權云的需求。NVIDIA 發布了 DOCA 平臺框架 (DPF)，該框架提供了基礎構建塊來釋放 NVIDIA BlueField DPU 的強大功能，并優化 GPU 加速的計算平臺。作為一種編排框架和實施藍圖，DPF 使開發者、服務提供商和企業能夠無縫創建 BlueField 加速的云原生軟件平臺。 通過簡化 DPU 調配、生命周期管理和服務編排，DPF 使 BlueField DPU 可在 Kubernetes 環境中廣泛使用，以加速 AI 和其他現代工作負載。此外，DPF 還強化了由 BlueField 加速的應用和服務組成的生態系統，推動可擴展云平臺的發展。 NVIDIA 對 CPU-GPU-DPU 三功能的承諾眾所周知，隨著 DPF 的推出，NVIDIA 正在此架構的 DPU 方面實現大膽的飛躍。
Source
]]>
12623
人人超碰97caoporen国产