Posts by Carl (Izzy) Putterman
生成式人工智能/大語言模型
2024年 12月 17日
借助 NVIDIA TensorRT-LLM 預測解碼，將 Llama 3.3 的推理吞吐量提升 3 倍
隨著近期新增的 Llama 3.3 70B (一種純文本指令調整模型)，Meta 的開放 大語言模型 (LLMs) 集合將繼續增長。
4 MIN READ
數據中心/云端
2024年 11月 15日
NVIDIA NIM 1.4 現已部署可用，推理速度提升 2.4 倍
隨著 生成式 AI 重塑各行各業，對可立即部署的高性能推理的需求也在不斷增長。 NVIDIA NIM 為 AI…
1 MIN READ
計算機視覺/視頻分析
2022年 8月 30日
使用 GPUNet 在 NVIDIA GPU 上擊敗 SOTA 推理性能
GPUNet 由 AI 為 AI 精心打造，是一類卷積神經網絡，旨在使用 NVIDIA TensorRT 最大化 NVIDIA GPU…
2 MIN READ
數據科學
2022年 2月 15日
利用NVIDIA 時間序列預測平臺和 Triton 推理服務器進行時間序列預測
在這篇文章中，我們詳細介紹了最近發布的 NVIDIA 時間序列預測平臺（ TSPP ），這是一個設計用于輕松比較和實驗預測模型、
4 MIN READ