數據中心/云端/邊緣 – NVIDIA 技術博客
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 25 Jan 2024 04:10:34 +0000
zh-CN
hourly
1
196178272 -
借助 NVIDIA DOCA 2.5 提供高效、高性能的 AI 云
Wed, 24 Jan 2024 04:06:54 +0000
http://www.open-lab.net/zh-cn/blog/?p=8798
Continued]]>
作為面向數據中心基礎設施開發者的全面軟件框架， NVIDIA DOCA 已被領先的 AI、云、企業和 ISV 創新者采用。DOCA 2.5 的發布標志著其發布的第三個周年。此外，由于代碼庫的穩定性和可靠性，以及多項網絡和平臺升級，DOCA 2.5 是首個面向 AI 云部署的 NVIDIA BlueField-3 長期支持 (LTS) 版本。 DOCA 2.5 與 NVIDIA 交換機、BlueField DPU 和 SuperNIC 一起，是為支持要求嚴苛的 AI 工作負載而共同設計的平臺的重要元素。作為 NVIDIA 全棧架構的一部分， NVIDIA 的網絡組件可提供出色的應用程序性能以及安全性和數據中心效率。當與 NVIDIA 計算平臺和軟件工具一起部署時，它們可以提供更多的優勢和協同作用。 以下是 NVIDIA 的一些新網絡產品，以及 DOCA 2.5…
Source
]]>
8798
-
NVIDIA AX800 在一個通用云基礎設施上提供高性能 5G vRAN 和 AI 服務
Sun, 28 May 2023 06:10:50 +0000
http://www.open-lab.net/zh-cn/blog/?p=7119
Continued]]>
5G 投資和采用的步伐正在加快。根據GSMA Mobile Economy 2023報告稱， 2023 年至 2030 年間，近 1 . 4 萬億美元將用于 5G 資本支出。無線電接入網絡（ RAN ）可能占超過 60% 的支出。 資本支出越來越多地從傳統的專有硬件方法轉向虛擬化 RAN （ vRAN ）和開放式 RAN 架構，這些架構可以從云經濟中受益，不需要專用硬件。盡管有這些好處，但開放式 RAN 的采用卻舉步維艱，因為現有技術尚未提供云經濟的好處，而且無法同時提供高性能和靈活性。 NVIDIA 通過NVIDIA AX800 融合加速器，在可以在任何云上運行的商品硬件上提供真正的云原生和高性能加速 5G 解決方案（圖 1 ）。 為了從云經濟中受益，RAN 的未來會在云端（云中的 RAN ）。云經濟之路與克萊頓·克里斯滕森在其著作創新者的困境：
Source
]]>
7119
-
通過 AI 的全棧優化在 MLPerf 推理 v3.0 中創下新紀錄
Wed, 05 Apr 2023 03:03:51 +0000
http://www.open-lab.net/zh-cn/blog/?p=6677
Continued]]>
目前最令人興奮的計算應用程序依賴于在復雜的人工智能模型上進行訓練和運行推理，通常是在要求苛刻的實時部署場景中。需要高性能、加速的人工智能平臺來滿足這些應用程序的需求，并提供最佳的用戶體驗 新的人工智能模型不斷被發明，以實現新的功能，而人工智能驅動的應用程序往往依賴于許多這樣的模型協同工作。這意味著人工智能平臺必須能夠運行最廣泛的工作負載，并在所有工作負載上提供優異的性能。MLPerf Inference– 現在， v3.0 的第七版是一套值得信賴的、經過同行評審的標準化推理性能測試，代表了許多這樣的人工智能模型。 人工智能應用程序無處不在，從最大的超大規模數據中心到緊湊的邊緣設備。 MLPerf 推理同時代表數據中心和邊緣環境。它還代表了一系列真實世界的場景，如離線（批處理）處理、延遲受限的服務器、單流和多流場景。
Source
]]>
6677
-
使用 NVIDIA Jetson Orin Nano 開發套件開發人工智能機器人、智能視覺系統等
Tue, 21 Mar 2023 08:47:51 +0000
http://www.open-lab.net/zh-cn/blog/?p=6567
Continued]]>
NVIDIA Jetson Orin Nano Developer Kit 為創建入門級人工智能機器人、智能無人機和智能視覺系統設定了一個新標準，如 NVIDIA announced 和 NVIDIA GTC 2023 。它還簡化了 NVIDIA Jetson Orin Nano 系列的入門。緊湊的設計、眾多的連接器和高達 40 項人工智能性能，使這款開發套件成為將您富有遠見的概念轉化為現實的理想選擇。 該開發套件由一個 Jetson Orin Nano 8GB模塊和一個參考承載板組成，該承載板可容納所有 NVIDIA Jetson Orin Nano-和 NVIDIA ZVK4]Orin NX模塊，為下一代邊緣人工智能產品的原型設計提供了理想的平臺。 Jetson Orin Nano 8 GB 模塊采用 NVIDIA Ampere architecture GPU ，
Source
]]>
6567
-
使用 NVIDIA TAO Toolkit 5.0 訪問最新的視覺 AI 模型開發工作流
Tue, 21 Mar 2023 07:20:06 +0000
http://www.open-lab.net/zh-cn/blog/?p=6558
Continued]]>
NVIDIA TAO Toolkit 提供了一個低代碼人工智能框架，用于加速視覺人工智能模型開發，適用于從新手到專家數據科學家的所有技能水平。借助 NVIDIA TAO （訓練、適應、優化）工具包，開發人員可以利用遷移學習的力量和效率，通過適應和優化，在創紀錄的時間內實現最先進的精度和生產級吞吐量。 在 NVIDIA GTC 2023 上， NVIDIA 發布了 NVIDIA TAO Toolkit5.0 ，帶來了突破性的功能來增強任何人工智能模型的開發。新功能包括開源架構、基于 transformer 的預訓練模型、人工智能輔助的數據注釋，以及在任何平臺上部署模型的能力。 NVIDIA TAO Toolkit 5.0 支持 ONNX 中的模型導出。這使得在邊緣或云中的任何計算平臺 GPU 、 CPU 、 MCU 、 DLA 、
Source
]]>
6558
-
面向數據中心運營商的開源時間同步服務
Mon, 06 Mar 2023 04:40:38 +0000
http://www.open-lab.net/zh-cn/blog/?p=6418
Continued]]>
從分布式數據庫和 5G 無線接入網絡（ RAN ）到游戲、視頻流、高性能計算（ HPC ）和元宇宙，應用程序越來越實時和延遲敏感。納秒分辨率時間同步在許多方面增強了傳統計算，包括： 通過一系列合作， NVIDIA 、 Meta 和 Open Compute Project Time Appliance Project （ OCP-TAP ）中的其他公司為開放、可靠和可擴展的現代時間同步解決方案制定了藍圖。 Meta 在其遍布全球的龐大數據中心內實現了亞微米級的精度。這是通過商品服務器上的硬件時間戳實現的，即使在 CPU 和網絡負載下，也會受到溫度變化的影響。 直到最近，以如此高的規模部署 Precision Time Protocol （ PTP ）還需要專用的硬件和軟件組件。此外，對于如何在數據中心實現精確的時間服務，還缺乏良好的藍圖。
Source
]]>
6418
-
通過 AI 和加速計算推動 5G 時代創新
Mon, 06 Feb 2023 04:46:20 +0000
http://www.open-lab.net/zh-cn/blog/?p=6232
Continued]]>
電信行業在推動整個社會的數字化轉型方面發揮著關鍵作用。一個多世紀以來，從固定通信到移動通信，該行業培育了為全球人民提供連接結構的技術。在 5G 時代，這一關鍵角色現在包括為眾多始終連接的終端用戶和計算節點提供無約束和無處不在的高速數據連接。 IHS Markit 估計，由于移動支持的普及連接，到 2035 年， 5G 支持的價值鏈將為工業部門和企業市場帶來超過 13 萬億美元的總產值（圖 1 ）。 GSMA 預測，到 2025 年，僅移動電信行業就將為全球經濟貢獻 4.9 萬億美元（約占全球 GDP 的 5% ）。要了解更多信息，請參見 后新冠時代的 5G 經濟 和 2022 年移動經濟 。 電信業和整個社會的持續成功不能被視為理所當然。從歷史上看，該行業的成功很大程度上歸功于通過技術、標準、經濟和政策創新來解決關鍵挑戰的協調一致的方法。
Source
]]>
6232
-
針對 NVIDIA GPU 的低延遲交易和快速回測的深度神經網絡基準
Thu, 02 Feb 2023 03:02:44 +0000
http://www.open-lab.net/zh-cn/blog/?p=6217
Continued]]>
降低對新市場事件的響應時間是算法交易的一個驅動力。對延遲敏感的交易公司通過在其系統中部署諸如現場可編程門陣列（ FPGA ）和專用集成電路（ ASIC ）等低級別硬件設備來跟上金融電子市場不斷增長的步伐。 然而，隨著市場變得越來越高效，交易者需要依靠更強大的模型，如深度神經網絡（ DNN ）來提高盈利能力。由于在低級別硬件設備上實現此類復雜模型需要大量投資，通用 GPU 為 FPGA 和 ASIC 提供了一種可行、經濟高效的替代方案。 NVIDIA 在 STAC 審計的 STAC-ML 推理基準 中證明，1 NVIDIA A100 Tensor Core GPU 可以以低延遲一致地運行 LSTM 模型推斷。這表明， GPU 可以替代或補充現代交易環境中通用性較差的低級硬件設備。 具有長短期記憶的深度神經網絡（ LSTM ）是時間序列預測的成熟工具。它們也適用于現代金融。
Source
]]>
6217
-
關于擴展 AI 訓練和推理存儲的提示
Wed, 25 Jan 2023 07:43:25 +0000
http://www.open-lab.net/zh-cn/blog/?p=6132
Continued]]>
GPU 在擴展 AI 方面有許多好處，從更快的模型訓練到 GPU 加速的欺詐檢測。在規劃 AI 模型和部署應用程序時，必須考慮可擴展性挑戰，尤其是性能和存儲。 無論使用何種情況，人工智能解決方案都有四個共同點： 在這些元素中， 數據存儲 通常是規劃過程中最被忽視的元素。為什么？因為隨著時間的推移，在創建和部署 AI 解決方案時并不總是考慮數據存儲需求。 AI 部署的大多數需求都可以通過 POC 或測試環境快速確認。 然而，挑戰在于 POC 傾向于解決單個時間點。培訓或推斷部署可能會持續數月或數年。由于許多公司迅速擴大了其人工智能項目的范圍，基礎設施也必須進行擴展，以適應不斷增長的模型和數據集。 這篇博客解釋了如何提前計劃和擴展數據存儲以進行訓練和推理。 首先，了解 AI 的數據存儲層次結構，包括 GPU 內存、數據結構和存儲設備（圖 2 ）。
Source
]]>
6132
-
將數據中心管理功能推向邊緣
Mon, 23 Jan 2023 08:58:07 +0000
http://www.open-lab.net/zh-cn/blog/?p=6145
Continued]]>
NVIDIA Fleet Command 宣布了新功能，為 IT 管理員提供了更高級的控制和邊緣環境保護。 與傳統數據中心在單個位置有數百臺服務器不同，邊緣部署在數千個位置有一臺或兩臺服務器。傳統的 IT 管理工具很難滿足這些分布式環境的需求，尤其是在人工智能方面。 Fleet Command 是專門為管理邊緣 AI 環境而構建的，為容器編排提供了一個簡單、受管理的平臺。這使得從單個基于云的控制臺在數千個分布式環境中安全地調配和部署 AI 應用程序和系統變得容易。 視頻 1 。任何技能級別的管理員都可以在幾分鐘內跨其邊緣基礎設施部署 AI 憑借用于管理邊緣環境的更強大的選項和工具， Fleet Command 現在提供了高級功能，包括邊緣群集的高可用性、高級存儲定制、安全的應用程序通信隧道和零停機管理更新。
Source
]]>
6145
-
使用 Python 和 C 快速構建 AI 流應用程序++
Mon, 09 Jan 2023 02:59:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=6050
Continued]]>
邊緣傳感器流的 AI 處理的計算需求越來越高。邊緣設備必須跟上高速率的傳入數據流、處理、顯示、存檔和流結果，或實時關閉控制循環。這需要能夠進行高性能計算的強大、高效、準確的硬件和軟件解決方案。 邊緣設備還必須快速安全地將數據傳輸到其他邊緣設備、預數據中心或云，以存儲和分析接收到的數據。先進的邊緣 AI 處理解決方案可快速處理大量傳感器數據，并實時產生可操作的見解。 NVIDIA Holoscan SDK v0.4 現在為邊緣的流式 AI 應用程序提供了更高效的處理。開發人員可以使用包含加速庫、預訓練 AI 模型和參考應用程序的 SDK ，使用 Python 和 C ++構建自己的流式應用程序。 Holoscan 最初用于醫療 AI 用例，現在已準備好在多個行業中應用更廣泛的應用，以實現邊緣的高性能計算。 新的 Holoscan SDK v0.4 功能包括： 此外，
Source
]]>
6050
-
通過 MONAI 部署將 AI 帶入臨床生產
Mon, 28 Nov 2022 11:00:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=5797
Continued]]>
隨著廣泛的開源加速人工智能框架觸手可及，醫療人工智能開發人員和數據科學家正以驚人的速度為臨床應用引入新算法。這些模型中的許多都是開創性的，然而 87% 的數據科學項目從未投入生產 。 在大多數數據科學團隊中，模型開發人員缺乏一種快速、一致、易于使用和可擴展的方法，無法將經過訓練的人工智能模型開發并打包到市場上的醫療人工智能應用程序中。這些應用程序可以幫助臨床醫生簡化成像工作流程，發現隱藏的見解，提高生產力，并連接多模式患者信息以加深患者理解。 MONAI ，人工智能醫療開放網絡，正在用 MONAI Deploy 彌補從開發到臨床部署的這一差距。 MONAI Deploy 提供了一套用于開發、打包、測試、部署和運行醫療 AI 應用程序的開源工具。它允許開發人員構建 AI 應用程序，協調臨床 AI 工作流，并通過 DICOM, FHIR, and HL7 等標準與 PACS…
Source
]]>
5797
-
使用 NVIDIA Arm HPC 開發套件評估應用程序
Wed, 16 Nov 2022 07:38:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=5699
Continued]]>
NVIDIA Arm HPC 開發者套件 是一個集成的硬件和軟件平臺，用于在異構 GPU 和 CPU 加速計算系統上創建、評估和基準測試 HPC 、 AI 和科學計算應用程序。 NVIDIA 于 2021 3 月宣布上市。 該套件被設計為 HPC 和 AI 應用的下一代 NVIDIA Grace Hopper 超級芯片 的墊腳石。它可用于識別不明顯的 x86 依賴關系，并確保 1H23 中 NVIDIA Grace Hopper 系統 之前的軟件準備就緒。有關詳細信息，請參閱 NVIDIA Grace Hopper 超級芯片白皮書 。 Oak Ridge National Laboratory Leadership Computing Facility （ OLCF ）將 NVIDIA Arm HPC 開發套件集成到其現有的 Wombat Arm cluster 中。
Source
]]>
5699
-
領先的 MLPerf Training 2.1 ，具有針對 AI 的全棧優化
Wed, 09 Nov 2022 06:26:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=5672
Continued]]>
MLCommons 開發的 MLPerf 基準是組織衡量其機器學習模型跨工作負載培訓性能的關鍵評估工具。 MLPerf Training v2.1- 這個以 AI 培訓為重點的基準套件的第七次迭代測試了廣泛流行的 AI 用例的性能，包括以下： 許多人工智能應用程序利用流水線中部署的多個人工智能模型。這意味著，人工智能平臺必須能夠運行當今可用的所有模型，并提供支持新模型創新的性能和靈活性。 NVIDIA AI platform 在此輪中提交了所有工作負載的結果，它仍然是唯一一個提交了所有 MLPerf 培訓工作負載結果的平臺。 在這一輪中， NVIDIA 使用新的 H100 Tensor Core GPU 提交了其首個 MLPerf 訓練結果，與首次提交的 A100 Tensor Core GPU 相比，性能提高了 6.7 倍，與最新的 A100 結果相比，
Source
]]>
5672
-
用于數據中心網絡的快速發展的光電芯片
Wed, 02 Nov 2022 06:19:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=5600
Continued]]>
歐洲 plaCMOS project 在超高速硅納米光子學/等離子體學方面的領先研究取得了成功。這個為期 51 個月的項目探索了鐵電材料以提高性能和可靠性。該團隊在光鏈路中使用的關鍵部件（調制器、光電二極管和光開關）方面取得了世界領先的進展。 演示了使用集成在硅上的鈦酸鋇的調制器，并測試了具有 BiCMOS 驅動器的單片集成調制器，最高可達 187GBaud 。生成了鍺光電二極管設計，實現了高達 265GHz 的 3dB 帶寬。鐵電非易失性光學 BTO 開關在閉環控制方案中具有 100 個狀態。 這些開創性的結果已發表在 Nature Photonics 期刊上的文章 A Ferroelectric Multilevel Nonvolatile Photonic Phase Shifter 中。 Nature Electronics 、
Source
]]>
5600
人人超碰97caoporen国产