AI 智能體逐漸成為企業組織提高效率、提高生產力和加速創新的新方式。這些智能體比之前的 AI 應用更為先進，能夠自動推理任務、調用其他工具，以及整合企業數據和員工知識，以產生寶貴的業務成果。它們被嵌入到根據每個企業組織的需求定制的應用中。
NVIDIA AI Enterprise 的最新版本包括多項新功能，有助于提升 AI 代理的安全性、穩定性和易部署性。
簡化 AI 智能體流程管理?
新推出的 NVIDIA NIM Operator 可簡化用于在 Kubernetes 上部署 AI 工作流的 NIM 微服務 的部署和管理。NIM Operator 可自動部署 AI 工作流，并借助智能模型預緩存等功能增強性能，降低初始推理延遲，并加快自動擴展速度。
您可以根據 CPU、GPU 或 NIM 特定的指標（例如 NIM 最大請求、KVcache 等）選擇自動擴展。
它還通過提供輕松的滾動升級來簡化升級過程。更改 NIM 微服務的版本號，NIM Operator 即可更新集群中的部署。
NVIDIA 現提供以下部署路徑，以便為生產級 AI 工作流部署 NIM 微服務：
AI 模型的安全性和 API 穩定性?
NVIDIA AI Enterprise 包含適用于 AI 和數據科學軟件的每月功能分支版本，其中包含樹狀軟件更新，非常適合需要最新功能的 AI 開發者。
該軟件由 NVIDIA 維護一個月，直到下一個版本發布，并在每個版本發布之前應用可用的安全修復程序。雖然這非常適合希望借助最新功能保持領先優勢的客戶，但無法保證 API 不會逐月發生變化。這可能會使構建需要長期安全可靠的企業解決方案變得具有挑戰性，因為開發者可能需要在更新后調整應用程序。改進后的版本保持原樣，因為翻譯質量已經很高，沒有明顯的錯誤需要改進
為了滿足這一需求，NVIDIA AI Enterprise 還包括 AI 軟件的 生產分支 。生產分支確保 API 穩定性和定期安全更新，并用于在需要穩定性時在生產中部署 AI。生產分支每 6 個月發布一次，生命周期為 9 個月。
在每個生產分支的 9 個月生命周期中，NVIDIA 會持續監控關鍵和高常見漏洞和暴露 (CVE)，并每月發布安全補丁。這樣，NVIDIA AI Enterprise 中包含的 AI 框架、庫、模型和工具可以更新以進行安全修復，同時消除 API 中斷的風險。
新版本預計將在生產分支中添加以下 NIM 微服務：
- Meta’s Llama 3.1 family of models:
- Llama-3.1-Instruct – 8B
- Llama-3.1-Instruct-70B
- Llama-3.1-Instruct 405B
- Mistral AI’s Mistral 7B and mixture of experts (MoE) 8x7B and 8x22B models:
- Mixtral-8x7B
- Mixtral-8x22B
- Mistral-7B
- NVIDIA Nemotron-4-340B family of models for synthetic data generation:
- Nemotron-4 -340B-Instruct
- Nemotron-4 -340B-Reward
- NVIDIA NeMo Retriever QA E5 Embedding v5 text embedding model:
- NV-EmbedQA-E5-v5
您可以使用這些微服務構建 AI 代理，確信 NVIDIA 將保護和維護這些代理，且不會在生產分支的生命周期中中斷任何應用程序依賴項。
這些 NIM 微服務與生產分支上已有的許多其他 AI 庫和框架相結合，例如
- PyTorch
- TensorFlow
- RAPIDS
- NVIDIA TensorRT
- NVIDIA Triton 推理服務器
- NVIDIA Morpheus
- NVIDIA Holoscan
此版本新增的其他生產分支 AI 框架包括：
- 用于基于人工智能的視頻和圖像理解以及多傳感器處理的 Deepstream
- 用于訓練圖形神經網絡的 DGL 和 PyG
醫療健康領域的 AI?
高度監管行業的客戶通常需要更長的軟件支持期限。為此，NVIDIA AI Enterprise 還包括長期支持分支 (LTSB)，這些分支通過穩定的 API 支持 3 年。
LTSB 1 與 2021 年發布的 NVIDIA AI Enterprise 的第一個版本相吻合，包括基礎 AI 組件：
- PyTorch
- TensorFlow
- RAPIDS
- TensorRT
- Triton 推理服務器
- 基礎架構軟件，例如 vGPU 驅動程序
作為新版 NVIDIA AI Enterprise 的一部分，LTSB 2 添加了 Holoscan ，其中包括 Holoscan SDK 和 Holoscan 部署棧。
Holoscan 是 NVIDIA AI 傳感器處理平臺，它結合了用于低延遲傳感器和網絡連接的硬件系統、用于數據處理和 AI 的優化庫，以及運行實時流式傳輸、成像和其他應用的核心功能。Holoscan SDK 包含 C++ 和 Python API，可創建傳感器處理工作流程，并對傳感器 I/O、計算、AI 推理和可視化提供內在支持，同時利用 NVIDIA GPU 加速。
Holoscan 最普遍的用途之一是用于醫療設備，例如用于醫療影像和機器人手術的設備。由于醫療設備對長期可支持性有著嚴格的要求，因此將 Holoscan 添加到長期支持與長壽命硬件相結合，使設備制造商能夠構建新一代智能 AI 醫療設備，從而縮短上市時間并降低維護成本。
配備 LTSB 的 Holoscan 平臺是醫療設備以外的其他行業的有效解決方案，適用于需要工業級生產就緒型平臺來構建 AI 傳感器處理產品的場景。
部署 NIM 微服務的更多方法?
NVIDIA AI Enterprise 既支持本地，也支持公有云服務。您可以將 NIM 微服務和其他軟件容器部署到在云實例上運行的自我管理 Kubernetes 中，但許多人更喜歡使用由云提供商管理的 Kubernetes。
Google Cloud 現已將 NVIDIA NIM 集成到 Google Kubernetes Engine 中，為企業客戶提供直接從 Google Cloud 市場部署優化模型的簡化路徑。
可用性?
NVIDIA AI Enterprise 的下一個版本現已推出。許可證持有者可以立即下載大多數 AI 軟件容器的生產分支版本，但 NIM 微服務預計將于 11 月底添加到生產分支。與往常一樣，您還可以獲得企業支持，其中包括有保證的響應時間以及與 NVIDIA 專家聯系的機會，以便及時解決問題。
有關更多信息，請參閱 NVIDIA AI Enterprise 入門 。
?
