圖形神經網絡 – NVIDIA 技術博客

使用 cuEmbed 加速嵌入查找

Thu, 15 May 2025 07:30:16 +0000

NVIDIA 最近發布了 cuEmbed，這是一個高性能、僅使用標頭的 CUDA 庫，可加速 NVIDIA GPU 上的嵌入查找。如果您要構建推薦系統，嵌入操作可能會消耗大量計算資源。嵌入查找是一項獨特的優化挑戰。它們是內存密集型操作，具有不規則的訪問模式。cuEmbed 專為應對這些挑戰而設計，其吞吐量是 power-law 分布式輸入索引的 HBM 內存帶寬峰值的兩倍以上。在本文中，我將解釋嵌入查找是什么，它們為什么對推薦系統至關重要，以及 cuEmbed 優化技術如何提供卓越性能。無論您是直接使用 C++ 還是使用 PyTorch，我都會提供將 cuEmbed 集成到項目中的實踐指導。 NVIDIA 認識到嵌入用例因應用而異，因此將 cuEmbed 完全開源。這使您能夠自定義和擴展核心性能內核。某些輸入自然會使用神經網絡進行處理，例如浮點數向量或像素值，

Source

]]>

應用基于自動編碼器的 GNN 檢測 NetFlow 數據中的高吞吐量網絡異常

Thu, 08 May 2025 05:50:13 +0000

隨著現代企業和云環境的擴展，網絡流量的復雜性和數量也在急劇增加。NetFlow 用于記錄有關通過路由器、交換機或主機等網絡設備的流量的元數據。NetFlow 數據對于理解網絡流量至關重要，可以有效建模為圖形，其中邊緣捕獲連接持續時間和數據量等屬性。表示主機的節點缺乏特定屬性。研究表明，NetFlow 數據量高達每秒數千萬個事件，這使得傳統的異常檢測方法效率低下。在孤立分析單個聯系時，識別攻擊尤其具有挑戰性，因為在沒有更廣泛的背景下，這些攻擊通常看起來很正常。通過利用圖形結構，可以添加拓撲上下文，從而更容易識別異常模式。在本文中，我們討論了一種應用基于自動編碼器的圖形神經網絡 (GNN) 來檢測大量 NetFlow 數據中異常的新方法。傳統的異常檢測解決方案可能依賴于靜態值或簡單的特征工程，無法適應惡意行為不斷演變的性質。

Source

]]>

使用 PyG 和圖形數據庫通過 GraphRAG 提高問答準確性

Wed, 26 Mar 2025 06:05:45 +0000

大語言模型（LLMs）在處理特定領域的問題時往往難以保證準確性，尤其是那些需要多跳推理或訪問專有數據的問題。雖然檢索增強生成（RAG）可以提供幫助，但傳統的向量搜索方法通常并不完善。在本教程中，我們將向您展示如何將 GraphRAG 與經過微調的 GNN+LLM 模型結合使用，以實現比標準基準高 2 倍的準確性。這種方法對于涉及以下情況的場景特別有價值：這種基于圖形驅動的檢索增強生成 (GraphRAG) 的特定方法建立在 G-Retriever 架構之上。G-Retriever 將接地數據表示為知識圖，將基于圖的檢索與神經處理相結合：此過程適用于訓練數據三元組{(Qi, Ai, Gi)}：管道遵循以下步驟： PyG 為 G-Retriever 提供模塊化設置。

Source

]]>

NVIDIA 在 MLPerf Training v4.0 中創造了新的生成式 AI 性能和規模記錄

Wed, 12 Jun 2024 06:26:36 +0000

生成式 AI 模型具有多種用途，例如幫助編寫計算機代碼、創作故事、作曲、生成圖像、制作視頻等。而且，隨著這些模型的大小不斷增加，并且使用更多數據進行訓練，它們將產生更高質量的輸出。構建和部署這些更智能的模型需要非常大的計算量，需要許多高性能處理器并行工作，并由高效、通用的軟件進行編排。例如，Meta 宣布訓練其最新的 Llama 3 系列中的大語言模型(LLMs)，使用搭載 24,576 個 NVIDIA H100 Tensor Core GPUs 的人工智能集群。模型越大，Llama 3 70B 就需要總計6.4 million H100 GPU-hours進行訓練。預訓練 LLM 后，可以通過各種技術包括模型微調，以提高特定任務的準確性。隨著企業開始在各種應用中采用 LLM，LLM 微調正迅速成為核心行業工作負載。 AI 訓練是一項全棧挑戰，

Source

]]>

使用 WholeGraph 優化圖形神經網絡的內存和檢索，第 2 部分

Wed, 03 Apr 2024 07:42:42 +0000

大規模圖形神經網絡 (GNN) 訓練帶來了艱巨的挑戰，特別是在圖形數據的規模和復雜性方面。這些挑戰不僅涉及神經網絡的正向和反向計算的典型問題，還包括帶寬密集型圖形特征收集和采樣以及單個 GPU 容量限制等問題。在上一篇文章中，WholeGraph 被作為 RAPIDS cuGraph 庫中的一項突破性功能，旨在優化大規模 GNN 訓練的內存存儲和檢索。在我的簡介文章奠定的基礎上，本文將更深入地探討 WholeGraph 的性能評估。我的重點還擴展到它作為存儲庫和 GNN 任務促進器的作用。借助 NVIDIA NVLink 技術的強大功能，我將探討 WholeGraph 如何應對 GPU 間通信帶寬的挑戰，有效打破通信瓶頸并簡化數據存儲。通過檢查其性能和實際應用，我的目標是展示 WholeGraph 在克服大規模 GNN 訓練中固有障礙方面的有效性。

Source

]]>

在 LLM 架構中應用多專家模型

Thu, 14 Mar 2024 07:13:19 +0000

多專家模型 (MoE) 大型語言模型 (LLM) 架構最近出現了，無論是在 GPT-4 等專有 LLM 中，還是在開源版本的社區模型中，如 Mistral Mixtral 8x7B。Mixtral 模型的強勁相對性能引起了極大的興趣，并引發了許多關于 MoE 及其在 LLM 架構中使用的問題。那么，什么是 MoE，為什么它很重要？多專家模型是神經網絡的架構模式，它將層或運算 (例如線性層、MLP 或注意力投影) 的計算拆分為多個“專家”子網絡。這些子網絡各自獨立執行自己的計算，并組合其結果以創建 MoE 層的最終輸出。MoE 架構可以是密集的，這意味著每個專家都用于每個輸入，也可以是稀疏的，這意味著每個輸入都使用一個專家子集。本文主要探討MoE在LLM架構中的應用。如需了解MoE在其他領域的應用，請參閱使用稀疏的專家混合模型擴展視覺、

Source

]]>

WholeGraph 存儲：優化圖形神經網絡的內存和檢索

Fri, 08 Mar 2024 08:20:14 +0000

圖形神經網絡 (GNN) 徹底改變了圖形結構數據的機器學習。與傳統神經網絡不同，GNN 擅長捕捉圖形中的復雜關系，為從社交網絡到化學領域的應用程序提供動力支持。在節點分類和邊鏈預測等場景中，GNN 可預測圖形節點的標簽，并決定節點之間的邊是否存在。在單個前向或反向通道中處理大型圖形會非常耗費計算資源和內存。大規模 GNN 訓練的工作流通常從子圖形采樣開始，以便使用 mini-batch 訓練。這包括收集特征，以便在子圖形中捕捉所需的上下文信息。隨后，提取的特征和子圖形將用于神經網絡訓練。在這一階段，GNN 能夠整合信息并實現節點知識的迭代傳播。但是，處理大型圖形會帶來挑戰。在社交網絡或個性化推薦等場景中，圖形可能包含大量節點和邊緣，每個節點都攜帶大量特征數據。節點特征數據每個頂點的大小可能達到幾千字節，因此節點特征數據的總大小可以輕松超過圖形拓撲數據的大小。

Source

]]>