AI21 Labs 推出了最新、最先進的 Jamba 1.5 模型系列，這是一個先進的大型語言模型（LLM）集合，旨在出色地處理各種生成式 AI 任務。這些模型能夠創建內容、總結和比較文檔，并從大量數據集中提取有價值的見解。
這種多專家模型 (MoE) 利用 Transformer 和 Mamba 架構提供出色的效率、延遲和長上下文處理。這一點，再加上在任何加速平臺上的輕松部署，使企業能夠在靠近數據所在的安全環境中運行應用程序。
NVIDIA 最近優化和托管了新的 Jamba 1.5 模型，這些模型現在可以在NVIDIA API目錄上體驗。
混合架構可提供卓越性能
Jamba 1.5 模型系列采用獨特的混合方法構建，結合了 Mamba 和 Transformer 架構的優勢，以及混合專家 (MoE) 模塊。具體來說，Mamba 架構擅長管理長上下文，并將計算開銷降至最低，而 Transformer 層可提供出色的準確性和推理能力。
MoE 模塊有助于增加模型容量（稱為可用參數的總數），而無需增加計算要求（活動參數的數量）。將 Transformer、Mamba 和 MoE 層合并為單個解碼器架構統稱為 Jamba 塊。每個 Jamba 塊可以裝入單個 NVIDIA H100 80 GB GPU 中，并配置由 8 層組成，其中注意力與 Mamba 比為 1：7 層。MoE 應用于所有其他層，共包含 16 個專家，其中兩個專家用于生成每個令牌。
通過將這些架構交織在一起，這些模型在顯存占用、減少長語境下的計算和提高模型準確性之間實現了平衡。有關模型準確性的具體指標，請參閱 AI21 Labs 新聞稿。
該模型還提供了一個龐大的 256K 令牌上下文窗口，可轉換為大約 800 頁文本。擴展的上下文功能使模型能夠通過保留更多相關信息來處理和生成更準確的響應。
通過函數調用和 JSON 支持增強人工智能交互性
Jamba 1.5 模型的突出功能之一是其強大的函數調用功能，并支持 JSON 數據交換。這項功能大大擴展了 AI 系統的功能，使其能夠根據用戶輸入執行復雜操作，并使用結構化數據輸出處理復雜查詢。
這不僅提高了響應的相關性和準確性，還增強了應用程序的整體交互性。通過通過外部函數和工具調用擴展模型功能，模型能夠處理尚未專門訓練過的各種下游用例。
例如，企業可以部署 Jamba 1.5 模型來處理各種查詢——從金融服務的貸款期限表生成到零售商店的購物助理——所有實時且高精度。
使用檢索增強生成以最大限度地提高準確性。
Jamba 1.5 模型有效地適合檢索增強生成（RAG），增強了提供準確且上下文相關的響應的能力。借助 256K 令牌上下文窗口，模型可以管理大量信息，而無需連續分塊。這非常適合需要全面數據分析的場景。RAG 在具有廣泛和分散知識庫的環境中特別有用，使 Jamba 1.5 能夠通過在更少的塊中提供更多相關信息來簡化檢索并提高準確性。
開始使用
在 NVIDIA API 目錄上體驗 Jamba 1.5 模型。這些模型加入了 100 多個熱門 AI 模型，這些模型由 NVIDIA NIM 微服務提供支持，旨在簡化性能優化的開放和專有基礎模型的部署。
NVIDIA 正在與領先的模型構建商合作，在完全加速的堆棧上支持其模型，包括 Llama 3.1 405B、Mistral 8x22B、Phi-3、Nemotron 340B Reward 等。訪問 ai.nvidia.com，在企業應用程序中體驗、自定義和部署這些模型。
?
