使用 NVIDIA NIM 和 Outerbounds 構建 LLM 驅動的生產系統

Wed, 02 Oct 2024 08:36:08 +0000

在過去 18 個月中，隨著語言模型的快速擴展，如今有數百種變體可供選擇。這些變體包括大語言模型（LLMs）、小語言模型（SLMs）和特定領域的模型，其中許多模型可以免費用于商業用途。特別是對于 LLMs，使用自定義數據集進行微調的過程也變得越來越經濟實惠和簡單。隨著 AI 模型的成本降低且更易于訪問，越來越多的現實世界流程和產品成為潛在應用。考慮任何涉及非結構化數據的流程，包括支持工單、醫療記錄、事故報告、劇本等。所涉及的數據通常很敏感，而結果對業務至關重要。雖然 LLMs 讓黑客快速演示變得輕而易舉，但為開發和部署 LLM 驅動的應用建立適當的流程和基礎設施并非易事。所有常見的企業問題仍然適用，包括如何：在企業環境中部署大型語言模型（LLMs）需要一種安全且結構良好的機器學習（ML）基礎架構、開發和部署方法。

Source

]]>

Ville Tuulos – NVIDIA 技術博客

使用 NVIDIA NIM 和 Outerbounds 構建 LLM 驅動的生產系統