J Wyman

J Wyman 是 NVIDIA 的高級系統軟件架構師,專注于 AI 和分布式系統。他的工作重點是 NVIDIA Triton 推理服務器以及 NVIDIA 的新一代推理服務產品和解決方案。

Posts by J Wyman

對話式人工智能

利用 NVIDIA Triton 和 NVIDIA TensorRT-LLM 及 Kubernetes 實現 LLM 擴展

大語言模型 (LLMs) 已廣泛應用于聊天機器人、內容生成、摘要、分類、翻譯等領域。State-of-the-art LLMs 和基礎模型如… 5 MIN READ