電信 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Wed, 25 Jun 2025 04:56:46 +0000 zh-CN hourly 1 196178272 微調 LLMOps 以實現快速模型評估和持續優化 http://www.open-lab.net/zh-cn/blog/fine-tuning-llmops-for-rapid-model-evaluation-and-ongoing-optimization/ Tue, 17 Jun 2025 04:52:16 +0000 http://www.open-lab.net/zh-cn/blog/?p=14384 Continued]]> 大語言模型 (LLM) 為各行各業帶來了前所未有的機遇。然而，將 LLM 從研發轉向可靠、可擴展和可維護的生產系統會帶來獨特的運營挑戰。 LLMOps（大語言模型操作）旨在應對這些挑戰。它基于傳統機器學習操作（MLOps）的原則而構建，為管理從數據準備和模型微調到部署、監控和持續改進的整個LLM生命周期提供了框架。實施LLM會在整個制作流程和部署階段帶來一些重大挑戰，包括： Amdocs 是一家專門從事電信解決方案的公司，他們正在應對這些挑戰，以克服實施自定義 LLM 的復雜性，并加速其 AI 計劃。Amdocs 基于 NVIDIA AI Blueprint 構建了強大的 LLMOps 流程，用于構建數據飛輪，該流程使用 NVIDIA NeMo 微服務進行簡化的微調、評估、guardrailing 和 serving，并將其作為 NVIDIA NIM 提供，以實現高效、

Source

]]> 14384 全球五大洲電信運營商正建立 NVIDIA 賦能的主權人工智能基礎設施 http://www.open-lab.net/zh-cn/blog/telcos-across-five-continents-are-building-nvidia-powered-sovereign-ai-infrastructure/ Fri, 30 May 2025 08:40:52 +0000 http://www.open-lab.net/zh-cn/blog/?p=14151 Continued]]> AI 正在成為各行各業創新的基石，將創造力和生產力提升到新的水平，并從根本上重塑我們的生活和工作方式。AI 工廠是一種新型基礎設施，可大規模制造智能，并為許多人認為的下一次工業革命奠定基礎。 AI 工廠代表著傳統云計算架構向專為 AI 工作負載設計和優化的加速計算基礎設施的重置。這種架構轉變為新參與者 (包括有時被稱為“新云”的專業 AI 工廠提供商) 創造了機會。這些參與者通過向研究人員、初創公司和企業提供高性能、以 GPU 為中心的 AI 云服務來訓練模型、微調和推理，從而取得了快速的成功。 新云提供商的成功推動了 AI 的普及，將強大的新 LLM 和 AI 模型帶給數百萬人。它還表明，從醫療健康到汽車，各行各業對 AI 工廠的需求是前所未有的，而且服務水平低下。 對 AI 工廠的巨大需求為電信服務提供商帶來了新的商機。麥肯錫最近的研究表明，到 2030 年，

Source

]]> 14151 借助 NVIDIA ARC-Compact 在基站部署 AI-RAN http://www.open-lab.net/zh-cn/blog/deploy-ai-ran-at-cell-sites-with-nvidia-arc-compact/ Sun, 18 May 2025 06:39:09 +0000 http://www.open-lab.net/zh-cn/blog/?p=13958 Continued]]> 無線網絡是現代連接的支柱，通過全球數百萬個蜂窩基站為數十億 5G 用戶提供服務。AI-RAN 的機遇和優勢正在推動電信網絡和生態系統向 AI 原生無線網絡 轉型。 該公司的使命是創建一個智能網絡結構，連接智能手機、攝像頭、機器人和 AI 智能體等數千億 AI 賦能的端點。這需要將 AI 嵌入到無線電信號處理中，以實現 X 因子性能和效率提升，并加速基站以提供 AI 流量，使 AI 推理盡可能接近用戶。 AI-RAN 通過將當前基于 ASIC 的單用途 5G/RAN 純系統發展為多用途商用現成 (COTS) 系統，能夠在同一平臺上托管 AI 和 RAN 工作負載、適用于 RAN 算法的 AI 以及 AI-on-RAN 應用，使其成為可能。這一轉型有望為電信運營商帶來諸多好處，包括支持新的 AI 服務、創造新的收入、提高網絡利用率、頻譜效率、能效和性能。AI-RAN 通過 100%

Source

]]> 13958 聚焦：個人 AI 借助 NVIDIA Riva 為小企業主帶來 AI 接待員 http://www.open-lab.net/zh-cn/blog/spotlight-personal-ai-brings-ai-receptionists-to-small-business-owners-with-nvidia-riva/ Tue, 29 Apr 2025 08:27:20 +0000 http://www.open-lab.net/zh-cn/blog/?p=13660 Continued]]> 星期二晚上 10 點，Sapochnick Law Firm (一家位于加利福尼亞州圣地亞哥的專業律師事務所) 的電話鈴響了。作為這家公司的客戶，打電話的人在電話鈴響時焦急萬分。他們收到了一封包含可能改變生活的消息的重要信件，并向律師提出了緊急問題。 客戶很快意識到 Sapochnick 團隊可能在幾小時前離開了辦公室，但他們一直在排隊等待，希望至少有一個語音郵件問候可以提供某種幫助。沒有錄音，聲音用熱情、專業的問候打破了沉默。雙方之間自然而然地展開了對話，很明顯，律師事務所發出的聲音遠不止接電話。該公司精通細致入微的移民程序，熟悉該公司處理特定法律場景的方法，最重要的是，該公司擁有公司創始人 Jacob Sapochnick 廣泛的專有知識。 這種真正的互動之所以能夠實現，是因為 Personal AI Receptionist 是一項由 Personal AI 和…

Source

]]> 13660 NVIDIA Aerial Omniverse 數字孿生提升AI原生無線開發和靈活部署能力 http://www.open-lab.net/zh-cn/blog/nvidia-aerial-omniverse-digital-twin-boosts-development-of-ai-native-wireless-and-deployment-flexibility/ Wed, 19 Mar 2025 08:43:19 +0000 http://www.open-lab.net/zh-cn/blog/?p=13260 Continued]]> 在 AI 與先進 5G 和即將推出的 6G 技術融合的推動下，無線行業正處于轉型的邊緣，這些技術可為數十億 AI 驅動的端點提供無與倫比的速度、超低延遲和無縫連接。具體而言，6G 將采用 AI 原生技術，實現集成感知和通信，支持擴展現實和全息接口等沉浸式技術，并借助 AI 將網絡性能、頻譜效率和能效提升到新的水平。要充分發揮 AI 原生 5G 和 6G 無線網絡的潛力，需要在網絡設計、仿真、部署和測試方面采用創新方法。 在 NVIDIA GTC 2024 大會上，我們推出了 Aerial Omniverse 數字孿生 (AODT) ，這是一個使用 NVIDIA Omniverse 構建的 AI 原生數字孿生平臺，專為 5G 和 6G 無線系統的前沿研究和開發 (R&D) 而設計。 AODT 的主要特性包括： 今年，我們宣布擴展 AODT 功能，

Source

]]> 13260 借助 NVIDIA DOCA 平臺框架，助力新一代 DPU 加速云基礎設施 http://www.open-lab.net/zh-cn/blog/powering-the-next-wave-of-dpu-accelerated-cloud-infrastructures-with-nvidia-doca-platform-framework/ Mon, 13 Jan 2025 08:06:11 +0000 http://www.open-lab.net/zh-cn/blog/?p=12623 Continued]]> 越來越多的企業組織開始采用加速計算來滿足生成式 AI、5G 電信和主權云的需求。NVIDIA 發布了 DOCA 平臺框架 (DPF)，該框架提供了基礎構建塊來釋放 NVIDIA BlueField DPU 的強大功能，并優化 GPU 加速的計算平臺。作為一種編排框架和實施藍圖，DPF 使開發者、服務提供商和企業能夠無縫創建 BlueField 加速的云原生軟件平臺。 通過簡化 DPU 調配、生命周期管理和服務編排，DPF 使 BlueField DPU 可在 Kubernetes 環境中廣泛使用，以加速 AI 和其他現代工作負載。此外，DPF 還強化了由 BlueField 加速的應用和服務組成的生態系統，推動可擴展云平臺的發展。 NVIDIA 對 CPU-GPU-DPU 三功能的承諾眾所周知，隨著 DPF 的推出，NVIDIA 正在此架構的 DPU 方面實現大膽的飛躍。

Source

]]> 12623 2024 年 NVIDIA 6G 開發者日的 5 大關鍵收獲 http://www.open-lab.net/zh-cn/blog/five-takeaways-from-nvidia-6g-developer-day-2024/ Wed, 18 Dec 2024 09:30:38 +0000 http://www.open-lab.net/zh-cn/blog/?p=12495 Continued]]> 2024 年 NVIDIA 6G 開發者日讓 6G 研發社區成員共聚一堂 ，分享見解，并學習使用 NVIDIA 6G 研究工具的新方式。來自世界各地的 1,300 多名學術和行業研究人員參加了此次虛擬活動。會上，NVIDIA、ETH Zürich、Keysight、Northeastern University、Samsung、Softbank 和 University of Oulu 發表了演講。本文將探討本次活動的五個要點。 預計 6G 將駕 AI 浪潮，為消費者和企業釋放新的潛力，并改變電信基礎設施。這是 NVIDIA 高級副總裁 Ronnie Vasishta 發表的主題演講 的關鍵信息。隨著生成式 AI 和 AI 應用的采用率迅速增長，AI 增強型端點正在進行交互并在移動中做出決策，從而在電信網絡上產生大量語音、視頻、數據和 AI 流量。

Source

]]> 12495 AI-RAN 上線，為電信公司帶來新的 AI 機遇 http://www.open-lab.net/zh-cn/blog/ai-ran-goes-live-and-unlocks-a-new-ai-opportunity-for-telcos/ Tue, 12 Nov 2024 08:05:42 +0000 http://www.open-lab.net/zh-cn/blog/?p=11867 Continued]]> AI 正在以新的方式改變行業、企業和消費者體驗。生成式 AI 模型正在轉向推理， 代理 AI 正在實現新的成果導向型工作流，而 物理 AI 則使攝像頭、機器人、無人機和汽車等終端能夠實時做出決策并進行交互。 所有這些用例的共同點是，需要普遍、可靠、安全和超快的連接。 電信網絡必須為這種新型 AI 流量做好準備，此類流量可以直接通過前向回傳無線接入網，也可以從公有云或私有云作為由企業應用生成的完全獨立的 AI 推理流量進行回傳。 本地無線基礎設施提供了處理 AI 推理的理想場所。這是一種新的電信網絡方法，即 AI-RAN 。 基于傳統 CPU 或 ASIC 的 RAN 系統專為 RAN 使用而設計，目前無法處理 AI 流量。AI-RAN 支持基于 GPU 的共同基礎設施，可同時運行無線和 AI 工作負載，從而將網絡從單一用途的基礎設施轉變為多用途的基礎設施，

Source

]]> 11867 轉變電信網絡以管理和優化 AI 工作負載 http://www.open-lab.net/zh-cn/blog/transforming-telecom-networks-to-manage-and-optimize-ai-workloads/ Fri, 08 Nov 2024 08:18:31 +0000 http://www.open-lab.net/zh-cn/blog/?p=12072 Continued]]> 今年年初，5G 全球連接數量接近 20 億，預計到 2028 年將達到 77 億。雖然 5G 帶來了更快的速度、更高的容量和更低的延遲，特別是在視頻和數據流量方面，但網絡運營商創造新收入的初步承諾仍然未能實現。 大多數移動應用程序現在都已路由到云端。與此同時，基于傳統設計的無線接入網（RAN）和數據包核心解決方案隨著軟件增強和更高效的硬件不斷改進。這些運行傳統語音、數據和視頻工作負載的單一用途系統并沒有顯著增加電信公司的每個用戶的平均收入。相反，這些系統主要支持連接，并被視為運營支出，從而降低了投資回報。然而，這種方法即將改變。 ChatGPT 和 快速大語言模型（LLM） 創新讓我們初步了解了一種需要加速計算的新型應用，這就需要不同類型的多用途網絡來優化 AI 和生成式 AI 工作負載。最初，AI 網絡部署側重于繁重的訓練工作負載，這些工作負載是集中式的，并且需要大型數據中心。

Source

]]> 12072 多代理 AI 和 GPU 驅動的聲音轉文本技術創新 http://www.open-lab.net/zh-cn/blog/multi-agent-ai-and-gpu-powered-innovation-in-sound-to-text-technology/ Tue, 22 Oct 2024 03:29:45 +0000 http://www.open-lab.net/zh-cn/blog/?p=11629 Continued]]> 自動音頻字幕 (Automated Audio Captioning) 任務的核心是從音頻輸入中生成自然語言描述。鑒于輸入 (音頻) 和輸出 (文字) 之間的不同模式，AAC 系統通常依靠 audio encoder 從聲音中提取相關信息，表示為 feature vectors，然后 decoder 用于生成文本描述。 這一研究領域對于開發使機器能夠更好地解釋周圍聲學環境并與之交互的系統至關重要。意識到其重要性的 Detection and Classification of Acoustic Scenes and Events（DCASE）社區自 2020 年以來舉辦了年度 AAC 競賽，吸引了全球超過 26 個學術界和行業的團隊參加。 收聽 Audio Example of a Recording Environment in a Forest 的結果。

Source

]]> 11629 NVIDIA NIM 微服務助力電信 O-RAN 規范高級 RAG 技術實現 http://www.open-lab.net/zh-cn/blog/advanced-rag-techniques-for-telco-o-ran-specifications-using-nvidia-nim-microservices/ Thu, 10 Oct 2024 05:06:14 +0000 http://www.open-lab.net/zh-cn/blog/?p=11755 Continued]]> 移動通信標準通過協調技術協議來促進不同供應商的網絡和設備之間的互操作性，在電信生態系統中發揮著至關重要的作用。隨著這些標準的發展，電信公司面臨著管理復雜性和數量的持續挑戰。 通過利用 生成式 AI ，電信公司可以實現技術標準解釋和應用的自動化，從而減少瀏覽、分析和實施大量規范中的規則和協議所需的時間和精力。為了展示生成式 AI 在處理標準文檔方面的強大功能，我們針對 O-RAN（開放無線接入網）標準開發了一個聊天機器人演示。 O-RAN 提供了一套規范，旨在通過使用開放接口和模塊化硬件和軟件，促進電信網絡的無線接入網 (RAN) 組件的互操作性、開放性和創新性。 本文詳細介紹了我們的方法，該方法使用 NVIDIA NIM 微服務和 檢索增強生成技術（RAG），高效生成對涉及大量技術規格和工作流程的復雜查詢的響應。

Source

]]> 11755 將 AI-RAN 引入您附近的電信公司 http://www.open-lab.net/zh-cn/blog/bringing-ai-ran-to-a-telco-near-you/ Tue, 08 Oct 2024 07:54:36 +0000 http://www.open-lab.net/zh-cn/blog/?p=11453 Continued]]> 生成式 AI 和 AI 智能體的推理將推動 AI 計算基礎設施從邊緣分配到中央云的需求。 IDC 預測 ，“商業 AI (消費者除外) 將為全球經濟貢獻 19.9 萬億美元，并占 GDP 的 3.5% 直到 2030 年。” 5G 網絡還必須不斷發展，以服務于新傳入的人工智能流量。在此過程中，電信公司有機會成為托管企業人工智能工作負載的本地人工智能計算基礎設施，獨立于網絡連接，同時滿足其數據隱私和主權要求。這是加速計算基礎設施的亮點所在，能夠加速無線電信號處理和人工智能工作負載。最重要的是，相同的計算基礎設施可用于處理人工智能和無線電接入網（RAN）服務。這種組合被電信行業稱為 AI-RAN 。 NVIDIA 正在推出 Aerial RAN Computer-1，這是全球首個 AI-RAN 部署平臺，可以在通用加速基礎設施上同時服務 AI 和 RAN 工作負載。

Source

]]> 11453 NVIDIA Aerial Omniverse 數字孿生助力打造新一代無線網絡 http://www.open-lab.net/zh-cn/blog/developing-next-gen-wireless-networks-with-nvidia-aerial-omniverse-digital-twin/ Tue, 24 Sep 2024 05:58:53 +0000 http://www.open-lab.net/zh-cn/blog/?p=11353 Continued]]> 6G 之旅已經開始，為提供高性能、高效、彈性和適應性強的網絡基礎設施提供了機會。6G 網絡將比前代網絡復雜得多，并且將依賴于各種新技術，特別是人工智能（AI）和機器學習（ML）。 為了推進這些新技術并優化網絡性能和效率，我們需要一個無線網絡數字孿生平臺進行研究和開發。網絡數字孿生依賴于真實物理無線電環境中移動網絡的數字副本，如圖 1 所示。 NVIDIA Aerial Omniverse 數字孿生（AODT） 提供了一個網絡數字孿生平臺，可加速 6G 研發。AODT 利用關鍵的 NVIDIA 技術——包括 NVIDIA RTX GPU 的近實時光線追蹤功能和 NVIDIA Omniverse ——為無線網絡實現物理精準、高性能和模塊化的數字孿生平臺。 無線接入網（RAN）的研究和模擬通常可以細分為兩個主要領域： NVIDIA AODT 可以對整個 6G…

Source

]]> 11353 實現可定制的 GPU 加速視頻轉碼流程 http://www.open-lab.net/zh-cn/blog/enabling-customizable-gpu-accelerated-video-transcoding-pipelines/ Wed, 11 Sep 2024 07:45:42 +0000 http://www.open-lab.net/zh-cn/blog/?p=11270 Continued]]> 如今，視頻占據互聯網流量的80％以上。這些內容由各種設備生成并在各種設備上使用，包括IoT設備、智能手機、計算機和電視。隨著像素密度和連接設備數量的增長，在快速、高效、高質量的視頻編碼和解碼方面的持續投資至關重要。 最新的 NVIDIA 數據中心 GPU（例如 NVIDIA L40S 和 NVIDIA L4 Tensor Core）可處理要求嚴苛的用例，包括 AI 訓練、推理、視覺計算、云游戲和視頻轉碼。通過將多個 NVIDIA 視頻解碼（NVDEC）和視頻編碼（NVENC）視頻引擎與高級計算能力相結合，這些 GPU 可幫助合作伙伴加速和定制轉碼流程。 V-Nova 已將 MPEG-5 第 2 部分低復雜度增強視頻編碼 (LCEVC) 標準的實施移植到 NVIDIA GPU 上。LCEVC 利用 NVENC 視頻引擎和 NVIDIA Ada 架構 GPU…

Source

]]> 11270 實時神經接收器推動 AI-RAN 創新 http://www.open-lab.net/zh-cn/blog/real-time-neural-receivers-drive-ai-ran-innovation/ Tue, 03 Sep 2024 04:55:23 +0000 http://www.open-lab.net/zh-cn/blog/?p=11149 Continued]]> 當今的 5G New Radio (5G NR) 無線通信系統依靠高度優化的信號處理算法，在短短幾微秒內重建從雜信道觀察到的傳輸消息。這一非凡的成就是電信工程師和研究人員數十年不懈努力的成果，他們不斷改進信號處理算法，以滿足無線通信嚴苛的實時限制。 最初，一些算法因其在發現時過于復雜而被廣泛遺忘。Gallager 在 20 世紀 60 年代發現的低密度奇偶校驗（LDPC）代碼就是一個明顯的例子。David MacKay 在 20 世紀 90 年代重新發現了這些算法，現在它們已成為 5G NR 的支柱。這說明，即使是最好的算法也不切實際，除非它們滿足電信行業嚴格的計算和延遲要求。 無線通信領域的 AI 技術已經引起了學術界和行業研究人員的廣泛關注，如在《An Introduction to Deep Learning for the Physical Layer》和《An…

Source

]]> 11149 人人超碰97caoporen国产