Szymon Karpiński – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Fri, 22 Nov 2024 06:46:17 +0000
zh-CN
hourly
1
196178272 -
使用 nvmath-python 實現 Epilog 運算與矩陣乘法的融合計算
http://www.open-lab.net/zh-cn/blog/fusing-epilog-operations-with-matrix-multiplication-using-nvmath-python/
Mon, 18 Nov 2024 06:37:55 +0000
http://www.open-lab.net/zh-cn/blog/?p=12017
Continued]]>
nvmath-python (Beta) 是一個開源 Python 庫，為 Python 程序員提供對 NVIDIA CUDA-X 數學庫的高性能數學運算訪問。nvmath-python 既提供底層庫的低級綁定，也提供更高級別的 Python 抽象。它可與 PyTorch 和 CuPy 等現有 Python 軟件包進行互操作。 在本文中，我將展示如何在 nvmath-python 中將 結語 與矩陣乘法結合使用。結語是可以與正在執行的數學運算（如 FFT 或矩陣乘法）融合的運算。可用的結語涵蓋了大多數常見的深度學習計算。我通過實施簡單神經網絡的常見正向和反向傳遞運算來演示其用法。 要安裝 nvmath-python，請 按照安裝說明 操作。 在本節中，我將演示如何使用 epilogs 實現簡單線性層的前向傳遞。此層首先將輸入向量乘以權重矩陣，
Source
]]>
12017
人人超碰97caoporen国产