NVIDIA On-demand – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Wed, 18 Sep 2024 08:10:55 +0000
zh-CN
hourly
1
196178272 -
借助 NVIDIA CUDA 實現高性能 GPU 編程的高級策略
http://www.open-lab.net/zh-cn/blog/advanced-strategies-for-high-performance-gpu-programming-with-nvidia-cuda/
Wed, 11 Sep 2024 08:08:06 +0000
http://www.open-lab.net/zh-cn/blog/?p=11284
Continued]]>
Stephen Jones 是杰出的專家，也是杰出的 NVIDIA CUDA 架構師。他提供指導和見解，深入探討將應用程序映射到大規模并行機器的復雜性。除了探索 GPU 編程復雜性的基礎知識之外，他還專注于實用技術，例如并行程序設計和 GPU 優化的具體細節，以提高應用程序的效率和性能。 作為正在進行的系列講座的一部分，本會議基于之前的講座。雖然不要求您看過之前的講座，但您可以探索 GPU 計算的工作原理、CUDA 編程的工作原理以及如何編寫 CUDA 程序等基礎主題。 無論您是剛接觸 CUDA，還是希望提高 GPU 編程技能，本課程都會提供在高性能計算方面取得出色表現所需的理論知識和可行策略。 歡迎閱讀會議的 PDF 格式，您將掌握編寫高效 CUDA 程序所需的高級技能和見解，從而充分發揮您的 GPU 的效用。您將深入了解：
Source
]]>
11284
-
LLM 推理規模和性能優化的實踐策略
http://www.open-lab.net/zh-cn/blog/practical-strategies-for-optimizing-llm-inference-sizing-and-performance/
Wed, 21 Aug 2024 07:43:33 +0000
http://www.open-lab.net/zh-cn/blog/?p=11025
Continued]]>
隨著聊天機器人和內容創建等許多應用越來越多地使用大型語言模型（LLM），了解擴展和優化推理系統的過程非常重要，以便就 LLM 推理的硬件和資源做出明智的決策。 在接下來的一場演講中，NVIDIA 的高級深度學習解決方案架構師Dmitry Mironov 和 Sergio Perez 將指導您了解 LLM 推理規模的關鍵方面。他們分享了他們的專業知識、最佳實踐和技巧，并將指導您如何高效地處理部署和優化 LLM 推理項目的復雜性。 請閱讀會議的 PDF，同時了解如何通過了解 LLM 推理規模中的關鍵指標為您的 AI 項目選擇正確的路徑。探索如何準確確定硬件和資源的規模、優化性能和成本，以及選擇最佳的部署策略，不論是在本地還是在云端。 您還將介紹NVIDIA NeMo推理規模計算器（使用此NIM進行LLM基準測試指南復制）和NVIDIA Triton性能分析器等高級工具，
Source
]]>
11025
人人超碰97caoporen国产