轉換器 – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Wed, 14 May 2025 07:09:12 +0000
zh-CN
hourly
1
196178272 -
借助 NVIDIA cuBLAS 12.9 提高矩陣乘法速度和靈活性
http://www.open-lab.net/zh-cn/blog/boosting-matrix-multiplication-speed-and-flexibility-with-nvidia-cublas-12-9/
Thu, 01 May 2025 07:04:57 +0000
http://www.open-lab.net/zh-cn/blog/?p=13847
Continued]]>
NVIDIA CUDA-X 數學庫助力開發者為 AI、科學計算、數據處理等領域構建加速應用。 CUDA-X 庫的兩個最重要的應用是訓練和推理 LLM,無論是用于日常消費者應用,還是用于藥物研發等高度專業化的科學領域。要在 NVIDIA Blackwell 架構上高效訓練 LLM 和執行 具有突破性性能的推理任務 ,多個 CUDA-X 庫不可或缺。 cuBLAS 是一個 CUDA-X 庫,可提供高度優化的內核,用于執行最基本的線性代數任務,例如矩陣乘法 (matmuls) ,這些任務對于 LLM 訓練和推理至關重要。 NVIDIA CUDA 工具包 12.9 中新推出的 cuBLAS 支持進一步優化 cuBLAS matmul 性能的新功能。它還通過調整浮點精度和利用模擬的基礎模組,實現了更大的靈活性,以平衡準確性和能效等需求。 本文將介紹 cuBLAS 12.9…
Source
]]>
13847
-
新一代的 FlashAttention
http://www.open-lab.net/zh-cn/blog/next-generation-of-flashattention/
Thu, 11 Jul 2024 05:53:33 +0000
http://www.open-lab.net/zh-cn/blog/?p=10670
Continued]]>
NVIDIA 很高興能與 Colfax、Together.ai、Meta 和普林斯頓大學合作,利用 Hopper GPU 架構和 Tensor Core,加速關鍵的融合注意力內核,使用 CUTLASS 3。 FlashAttention-3 采用關鍵技術,相比使用 FP16 的 FlashAttention-2,性能提升 1.5–2.0 倍,最高可達 740 TFLOPS。另外,在使用 FP8 時,FlashAttention-3 可達到高達 1.2 PFLOPS,且誤差比基準 FP8 注意力小 2.6 倍。 CUTLASS 是一個開源 CUDA 庫,旨在支持深度學習和 HPC 從業者在 NVIDIA Tensor Core GPU 上實現高速性能,涵蓋自定義算法和研究、生產工作負載等多種場景。 有關協作的更多信息,請參閱 FlashAttention-3:
Source
]]>
10670
-
在 cuBLAS 中引入分組 GEMM API 以及更多性能更新
http://www.open-lab.net/zh-cn/blog/introducing-grouped-gemm-apis-in-cublas-and-more-performance-updates/
Wed, 12 Jun 2024 05:43:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=10332
Continued]]>
最新版本 NVIDIA cuBLAS 庫版本 12.5 將繼續為深度學習(DL)和高性能計算(HPC)工作負載提供功能和性能。本文將概述自版本 12.0以來 cuBLAS 矩陣乘法(matrix multiplications)中的以下更新: 分組的 GEMM API 可視為批量 API 的泛化,可在一次內核啟動中對不同的矩陣大小、轉置和縮放因子進行分組和并行化。 這種方法提供加速的一個示例是多專家 (MoE)模型的批量大小為 8 和 64,以及 FP16 輸入和輸出。在本示例中,分組的 GEMM API 可以使用批量 GEMM API 實現比單純循環快 1.2 倍的速度。 這一點令人印象深刻,因為當前分組的 GEMM 核函數僅利用線程束級 MMA 指令。它們已證明可以與利用線程束級 MMA (wgmma) 指令的分批 GEMM 核函數進行競爭。
Source
]]>
10332
人人超碰97caoporen国产