LLM Techniques – NVIDIA 技術博客

構建 LLM 支持的數據代理以進行數據分析

Tue, 20 Feb 2024 05:19:12 +0000

AI 智能體是一個由規劃功能、內存和工具組成的系統，用于執行用戶請求的任務。對于數據分析或與復雜系統交互等復雜任務，您的應用可能依賴于不同類型智能體之間的協作。有關更多背景信息，請參閱 LLM 智能體簡介和構建您的首個 LLM 智能體應用。本文介紹了構建準確的 LLM 應用(可在查詢時處理細致入微的數據分析任務)所需的代理類型。本文將介紹構建數據分析代理應用(包括代碼片段)的示例用例。最后，本文將介紹 AI 開發者在優化和構建 LLM 代理應用時需要考慮的一些注意事項。首先，本節介紹兩種主要類型的 LLM 代理及其工作原理 – 數據代理和 API 或執行代理。我還將介紹代理集群用例，其中涉及多個代理合作解決問題。請注意，這些代理類型在某種程度上代表頻譜的端部。可以為特定用例創建混合的專用代理。數據代理通常專為提取目標而設計。換言之，

Source

]]>

生成式 AI 研究聚焦：個性化文本轉圖像模型

Tue, 06 Feb 2024 07:33:25 +0000

視覺效果生成式 AI是一個根據文本提示創建圖像的過程。該技術基于在互聯網規模的數據上預訓練的視覺語言基礎模型。通過提供多模態表示，這些基礎模型可以應用于許多領域。例如，包括圖像字幕和視頻檢索、創意3D和2D圖像合成以及機器人操作。所有這些任務都得益于視覺語言基礎模型的“開放世界”能力，從而能夠使用豐富、自由形式的文本和視覺類別的“長尾”。借助這些強大的表征，我們將面臨新的挑戰。也就是說，如何將這些模型與用戶特定的或個性化的視覺概念結合使用。如何教會這些模型將此類用戶特定的概念與他們之前從海量數據集中學到的知識相結合？例如，玩具品牌的創意總監正在計劃圍繞新的玩具熊產品開展廣告活動，并希望在不同的場景中展示玩具，這些場景包括扮演超級英雄或巫師的角色。或者，孩子希望創作家庭狗的搞笑動畫片。或者，室內設計師希望在使用傳家寶家庭沙發設計房間。所有這些個性化用例都需要合成新場景，

Source

]]>

借助 NVIDIA TensorRT-LLM 和 NVIDIA Triton 部署 AI 編碼助手

Thu, 01 Feb 2024 08:00:40 +0000

大型語言模型 (LLM) 的出現革新了人工智能領域，為與數字世界的交互提供了全新的方式。盡管 LLM 通常能夠提供良好的通用解決方案，但為了更好地支持特定領域和任務，它們往往需要進行調整。 AI 編碼助手（或代碼 LLM）已成為幫助實現這一目標的一個領域。到 2025 年，80% 的產品開發生命周期將使用生成式 AI 進行代碼生成，開發者將充當后端和前端組件及集成的驗證者和編排者。您可以調整用于代碼任務的 LLM，簡化開發者的工作流程，并降低新手編程人員的門檻。Code LLM 不僅可以生成代碼，還可以填充缺失的代碼、添加文檔，并提供解決難題的提示。本文將介紹如何部署端到端代碼 LLM，包括具體的提示指南、優化技術和客戶端 – 服務器部署。我們使用NVIDIA Triton 推理服務器并使用NVIDIA TensorRT-LLM，

Source

]]>