Onur Yilmaz – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Wed, 18 Sep 2024 08:50:29 +0000
zh-CN
hourly
1
196178272 -
使用 NVIDIA NeMo 和 NVIDIA TensorRT 模型優化器對 LLM 進行訓練后量化
http://www.open-lab.net/zh-cn/blog/post-training-quantization-of-llms-with-nvidia-nemo-and-nvidia-tensorrt-model-optimizer/
Tue, 10 Sep 2024 08:47:34 +0000
http://www.open-lab.net/zh-cn/blog/?p=11299
Continued]]>
隨著大語言模型（LLMs）的規模不斷擴大，提供易于使用且高效的部署路徑變得越來越重要，因為為此類 LLMs 提供服務的成本越來越高。一種降低這一成本的方法是應用訓練后量化（PTQ），其中包括減少為經過訓練的模型提供服務所需的計算和內存需求的技術。 在本文中，我們概述了如何在 NVIDIA NeMo 中實施 PTQ。這是通過使用 NVIDIA TensorRT Model Optimizer 庫實現的，該庫可量化和壓縮深度學習模型，以在 GPU 上優化推理。它還使用 NVIDIA TensorRT-LLM，這是一個開源庫，用于優化大語言模型（LLM）推理。我們展示了量化模型的準確性和性能結果。在整個示例中，我們使用了 Llama 3 模型。 PTQ 是 NeMo LLM 構建和自定義功能的自然擴展，使用 NVIDIA TensorRT 模型優化器和 NVIDIA TensorRT…
Source
]]>
11299
-
利用圖形神經網絡和 NVIDIA GPU 優化金融服務欺詐檢測
http://www.open-lab.net/zh-cn/blog/optimizing-fraud-detection-in-financial-services-with-graph-neural-networks-and-nvidia-gpus/
Tue, 04 Oct 2022 07:48:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=5362
Continued]]>
欺詐是許多金融服務公司的一個主要問題，據最近的一份報告 Federal Trade Commission report 稱，每年損失數十億美元。財務欺詐、虛假評論、機器人攻擊、賬戶接管和垃圾郵件都是在線欺詐和有害活動的例子。 盡管這些公司采用技術打擊在線欺詐，但這些方法可能有嚴重的局限性。簡單的基于規則的技術和基于特征的算法技術（邏輯回歸、貝葉斯信念網絡、 CART 等）不足以檢測所有欺詐或可疑的在線行為。 例如，欺詐者可能會建立許多協調賬戶，以避免觸發對個人賬戶的限制。此外，由于要篩選的數據量巨大（數十億行，數十 TB ），不斷改進方法的復雜性，以及訓練分類算法所需的欺詐活動真實案例的稀缺性，大規模檢測欺詐行為模式很困難。有關更多詳細信息，請參閱 Intelligent Financial Fraud Detection Practices: An Investigation 。
Source
]]>
5362
人人超碰97caoporen国产