Annamalai Chockalingam – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。Wed, 26 Mar 2025 09:19:04 +0000zh-CN
hourly
1 196178272借助 NVIDIA NIM 微服務,在 RTX AI PC 和工作站上開啟您的 AI 之旅
http://www.open-lab.net/zh-cn/blog/kickstart-your-ai-journey-on-rtx-ai-pcs-and-workstations-with-nvidia-nim-microservices/
Tue, 25 Mar 2025 09:11:53 +0000http://www.open-lab.net/zh-cn/blog/?p=13372Continued]]>隨著數字人、智能體、播客、圖像和視頻生成等新興用例的出現, 生成式 AI 正在改變我們與 PC 的交互方式。這種范式轉變要求我們以新的方式與生成式 AI 模型進行交互和編程。然而,對于 PC 開發者和 AI 愛好者而言,入門可能會非常困難。 今天,NVIDIA 在 NVIDIA RTX AI PC 上發布了一套 NVIDIA NIM 微服務 ,以在 PC 上快速啟動 AI 開發和實驗。NIM 微服務目前處于 beta 階段,提供涵蓋語言、語音、動畫、內容生成和視覺功能的 AI 基礎模型。 這些易于使用的行業標準 API 可幫助您在 NVIDIA RTX AI PC 上使用 NVIDIA NIM,開啟從實驗到構建的 AI 之旅。它們易于下載和運行,涵蓋 PC 開發的主流模式,并與主流生態系統應用程序和工具兼容。 將 AI 引入 PC 會帶來獨特的挑戰。
]]>11480RTX AI PC 和工作站上部署多樣化 AI 應用支持 Multi-LoRA
http://www.open-lab.net/zh-cn/blog/deploy-diverse-ai-apps-with-multi-lora-support-on-rtx-ai-pcs-and-workstations/
Wed, 28 Aug 2024 07:15:06 +0000http://www.open-lab.net/zh-cn/blog/?p=11095Continued]]>今天的大型語言模型(LLMs)在許多用例中都取得了前所未有的成果。然而,由于基礎模型的通用性,應用程序開發者通常需要定制和調整這些模型,以便專門針對其用例開展工作。 完全微調需要大量數據和計算基礎設施,從而更新模型權重。此方法需要在GPU顯存上托管和運行模型的多個實例,以便在單個設備上提供多個用例。 示例用例包括多語言翻譯助手,用戶需要同時獲得多種語言的結果。這可能會給設備上的 AI 帶來挑戰,因為內存限制。 在設備顯存上同時托管多個LLM幾乎是不可能的,尤其是在考慮運行合適的延遲和吞吐量要求以與用戶進行交互時另一方面,用戶通常在任何給定時間運行多個應用和任務,在應用之間共享系統資源。 低秩適配(LoRA)等高效的參數微調技術可幫助開發者將自定義適配器連接到單個 LLM,以服務于多個用例。這需要盡可能減少額外的內存,同時仍可提供特定于任務的 AI 功能。
]]>11038借助適用于 Windows RTX PC 的 NVIDIA RTX AI 工具包,簡化 AI 驅動型應用的開發
http://www.open-lab.net/zh-cn/blog/streamline-ai-powered-app-development-with-nvidia-rtx-ai-toolkit-for-windows-rtx-pcs/
Sun, 02 Jun 2024 08:33:01 +0000http://www.open-lab.net/zh-cn/blog/?p=10241Continued]]>NVIDIA 今日發布了 NVIDIA RTX AI 工具包,這是一個工具和 SDK 集合,供 Windows 應用程序開發者為 Windows 應用程序自定義、優化和部署人工智能模型。它可以免費使用,不需要具備人工智能框架和開發工具方面的經驗,并為本地和云部署提供出色的人工智能性能。 生成式預訓練 Transformer (GPT) 模型的廣泛應用為 Windows 開發者將 AI 功能集成到應用程序中創造了巨大的機會。然而,提供這些功能仍然面臨重大挑戰。首先,您需要自定義模型以滿足應用程序的特定需求。其次,您需要優化模型,以適應各種硬件,同時仍能提供最佳性能。第三,您需要一個適用于云和本地 AI 的簡單部署路徑。 NVIDIA RTX AI 工具包為 Windows 應用開發者提供了端到端工作流程。您可以利用 Hugging Face 中的預訓練模型,