AI 正迅速超越集中式云和數據中心，成為可直接部署在專業工作站上的強大工具。借助先進的硬件和優化的軟件，您可以在桌面上或隨時隨地構建、運行和試驗復雜的 AI 模型 。歡迎來到本地 AI 開發的世界！
在工作站上本地運行和開發 AI 為開發者和組織帶來了顯著優勢：增強了數據隱私和安全性，敏感數據保留在內部，與持續云使用相比節省了成本，為應用程序提供了離線操作功能，以及無與倫比的動手開發和迭代環境。 NVIDIA RTX PRO Blackwell 系列 等高性能硬件和為利用其功能而構建的優化軟件生態系統推動了向強大、可訪問的本地 AI 的轉變。
本博文將使用專為專業工作流設計的 NVIDIA 生態系統，指導您選擇可管理的首個本地 AI 項目。
了解您的 NVIDIA RTX PRO Workstation
專業 AI 加速的核心是 NVIDIA RTX 專業 GPU ，每個 GPU 具有高達 96 GB VRAM、企業級驅動、ISV 認證和增強的 NVIDIA Tensor Core 性能，可為 AI 提供高達每秒 4,000 萬億次運算。
因此，它們非常適合處理更大的數據集、訓練更復雜的模型和運行復雜的 AI 推理任務。支持廣泛的高級數據格式（從低精度類型的 FP4 和 INT8 到更高精度的 FP16 和 FP32），使 AI 模型能夠高效運行，這對于快速迭代開發周期至關重要。
定義您的項目
對于 RTX PRO 工作站，下一步是選擇合適的第一個項目。請考慮以下因素：
- 重點領域：專注于掌握單一核心 AI 功能，例如高級文本分析、高分辨率圖像處理或特定類型的數據生成。
- 與您的目標保持一致：選擇與您的興趣、工作或行業相關的領域，例如 automating 數據分析、改進 visual 工作流程或生成專業內容。
- 資源評估：確保您的項目目標與特定工作站的功能 (尤其是 GPU VRAM 、CPU 功耗和存儲) 以及當前的 AI 技能水平保持一致。從您可以完成和學習的項目開始。
以下是一些開始使用 NVIDIA RTX PRO 工作站的項目想法。
項目 1：AI 賦能的聊天機器人
為本地 AI 聊天機器人項目選擇合適的起點是關鍵。 檢索增強生成 (Retrieval-Augmented Generation, RAG) 是使這些聊天機器人能夠處理您的特定數據的核心技術。借助 RAG，聊天機器人的底層大語言模型 (Large Language Model, LLM) 能夠在生成答案之前訪問和引用您的特定文檔或知識庫，確保回復準確、相關并基于您的上下文，而不是 LLM 的常規訓練數據。
從 NVIDIA ChatRTX 開始 ，創建無代碼 RAG 聊天機器人。只需下載應用程序，將其指向您的本地文件夾 (如項目文檔或筆記) ，從菜單中選擇兼容的模型，然后開始提問即可。ChatRTX 負責 RAG 流程，即檢索相關片段并自動將其輸入到 LLM。
當您準備好使用特定邏輯或集成不同的數據源來編寫代碼和構建更定制的 RAG 聊天機器人時，AI Workbench 可以幫助您設置開發環境。
下載適用于 Windows 或 Linux 系統的 AI Workbench 安裝程序。它可以管理必要的依賴項 (例如 Git) 、容器軟件 (例如 Docker 或 Podman) ，甚至是 Linux 操作系統上的 GPU 驅動程序。Windows 用戶必須從 NVIDIA 驅動程序 頁面手動安裝驅動程序。
為加速開發，請使用預構建示例，例如 多模態虛擬助手項目 。通過在 AI Workbench 中克隆此項目，您可以通過 RAG 管道搶占先機，您可以在其中開始集成您的特定文檔、圖像或視頻，定義自定義數據檢索方法，管理不同的 LLM，并迭代設計，以獲得真正定制的對話式 AI 體驗。
本地運行的 AI 聊天機器人的特定應用正在各行各業涌現。在 Architecture, Engineering, and Construction (AEC) 領域，公司正在試驗基于歷史 Requests for Proposals (RFP) 和項目文檔訓練的自定義聊天機器人，以幫助總結新的 RFP 或在過去的回復中快速找到答案，從而簡化提案流程。在 Financial Services 領域，合規團隊可以利用在工作站中安全存儲的大量 regulatory archives 和內部 policy documents 上訓練的本地聊天機器人，快速查詢和驗證需求，或在敏感數據不離開本地環境的情況下尋找先例。
項目 2：將 PDF 轉換為播客
將您的 PDF 文檔 (如研究論文或手冊) 轉換為引人入勝的音頻內容。這種 PDF-to-podcast 轉換功能在工作站上本地運行，并在各個領域提供優勢。例如，法律專業人士可以將冗長、機密的案例文件或發現文檔轉換為音頻以供審查，確保敏感的客戶數據在本地機器上保持安全。
工程或制藥領域的研發團隊可以將密集的技術規格、研究論文或內部手冊轉換為音頻格式，以便專家在多任務處理或遠離屏幕的同時吸收復雜信息，同時保護專有知識產權。
首先， 從 AI Workbench 界面中的 GitHub 資源庫克隆此項目 ，通過處理容器化環境配置和自動配置 GPU 訪問來簡化設置。
默認實現使用基于云的 NVIDIA NIM 端點。但是，AI Workbench 可讓您直接在本地 RTX PRO 工作站上靈活地運行關鍵組件（包括 NIM 微服務）。此方法可確保您的專有 PDF 數據保持安全和隱私，因為所有處理均可保留在本地機器上，而無需發送到云端
此藍圖靈活且可定制，因此您可以添加品牌、分析、實時翻譯或數字人機界面等其他功能，以深化參與度。您可以直接在功能強大的硬件上測試、原型設計和自定義 PDF-to-podcast 流水線。
項目 3：視頻搜索和總結智能體
自動搜索和總結視頻內容的能力非常有價值。解鎖先前隱藏在龐大錄音庫 (如體育亮點和廣播、安全錄像、會議檔案或教育講座) 中的見解，可以節省大量的人工審查時間。
您可以使用 NVIDIA AI Blueprint 在 RTX PRO 工作站上本地構建自己的視頻搜索和摘要 (VSS) 智能體。此藍圖提供了一個全面的參考架構，將 NIM 微服務用于視頻提取、視覺語言理解、LLM 推理和 RAG 等關鍵功能，在本地部署。
該藍圖的默認配置使用 meta/llama-3.1-70b-instruct LLM 。在本地運行此 70 B 參數模型需要 140 GB 或更多 VRAM，這可能超出 RTX PRO 工作站的容量。如需在 RTX PRO GPU 上進行實際本地部署，請修改藍圖配置，將 70B 模型替換為較小的 meta/llama-3.1-8b-instruct 版本，該版本顯存需求顯著降低，非常適合直接在工作站上運行推理。
開始您的 AI 項目
要開始您的第一個 AI 項目，請選擇符合您專業需求的項目，從可管理的步驟開始，并利用 NVIDIA 的開發者計劃 等資源。
對于尋求利用尖端技術的開發者而言，開啟您的第一個本地 AI 項目是一個戰略性步驟。使用 NVIDIA PRO RTX 工作站作為計算主干，使用 NVIDIA AI Workbench 進行簡化開發，并使用 NVIDIA AI Enterprise 軟件提供生產級工具和支持，您將獲得全面裝備。
