Vijay Thakkar

Vijay Thakkar 是 NVIDIA 的高級計算架構師,也是 CUTLASS 3 的主要作者。除了在 CUTLASS 方面的工作之外,他還參與了 GPU 架構、編譯器和 CUDA 工程團隊的 Tensor Core 架構、PTX 曝光和編程模型的開發。

Posts by Vijay Thakkar

AI 平臺/部署

CUTLASS:基于張量和空間微核處理多維數據的原理抽象

在生成式 AI 時代,充分發揮 GPU 的潛力對于訓練更好的模型和大規模服務用戶至關重要。通常, 4 MIN READ
開發與優化

CUTLASS 3.x:用于 GEMM 內核設計的正交、可重用和組合抽象

GPU 上的 GEMM 優化是一個模塊化問題。高性能實現需要指定超參數,例如圖塊形狀、數學和復制指令以及線程束專用方案。 3 MIN READ
生成式人工智能/大語言模型

新一代的 FlashAttention

NVIDIA 很高興能與 Colfax、Together.ai、Meta 和普林斯頓大學合作,利用 Hopper GPU 架構和… 1 MIN READ