AI 推理

2024年 10月 1日

使用 NVIDIA AI 端點和 Ragas 對醫療 RAG 的評估分析

在快速發展的醫學領域，尖端技術的集成對于增強患者護理和推進研究至關重要。其中一項創新是 檢索增強生成（RAG），
3 MIN READ
2024年 9月 18日

使用 NVIDIA NIM 微服務實現語音和翻譯功能，快速賦予應用語音能力

NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，為自行托管的 GPU 加速推理微服務提供容器，用于跨云、
3 MIN READ
2024年 9月 10日

使用 NVIDIA NeMo 和 NVIDIA TensorRT 模型優化器對 LLM 進行訓練后量化

隨著大語言模型（LLMs）的規模不斷擴大，提供易于使用且高效的部署路徑變得越來越重要，因為為此類 LLMs 提供服務的成本越來越高。
3 MIN READ
2024年 8月 28日

NVIDIA Triton 推理服務器在 MLPerf Inference 4.1 基準測試中實現出色性能

六年前，我們踏上了開發 AI 推理服務解決方案的旅程，該解決方案專為高吞吐量和時間敏感型生產用例而設計。當時，ML 開發者正在部署定制的、
2 MIN READ
2024年 8月 21日

Google Cloud Run 現已支持 NVIDIA L4 GPU、NVIDIA NIM 及大規模無服務器 AI 推理部署

部署 AI 賦能的應用和服務給企業帶來了重大的挑戰： 應對這些挑戰需要一種全棧方法，該方法可以優化性能、有效管理可擴展性并駕部署的復雜性，
2 MIN READ
2024年 8月 21日

LLM 推理規模和性能優化的實踐策略

隨著聊天機器人和內容創建等許多應用越來越多地使用大型語言模型（LLM），了解擴展和優化推理系統的過程非常重要，
1 MIN READ
2024年 8月 20日

首個設備上小語言模型的部署提高游戲角色扮演體驗

在 Gamescom 2024 游戲展上，NVIDIA 宣布推出首款用于提高游戲角色對話能力的設備上小語言模型 (SLM)。我們還宣布，
1 MIN READ
2024年 8月 15日

NVIDIA TensorRT 模型優化器 v0.15 提高推理性能擴展模型支持能力

NVIDIA 宣布推出新版 v0.15 NVIDIA TensorRT 模型優化器，這是一種先進的模型優化技術量化工具包，包含量化、
2 MIN READ
2024年 8月 14日

NVIDIA NIM 微服務助力大規模 LLM 推理效率優化

隨著大型語言模型 (LLMs) 繼續以前所未有的速度發展，企業希望構建生成式 AI 驅動的應用程序，以最大限度地提高吞吐量，降低運營成本，
2 MIN READ
2024年 8月 12日

NVIDIA NVLink 和 NVIDIA NVSwitch 加速大語言模型推理性能

大型語言模型（LLM）越來越大，增加了處理推理請求所需的計算量。為了滿足服務當今LLM的實時延遲要求，并為盡可能多的用戶提供服務，
3 MIN READ
2024年 8月 7日

使用 CUDA 圖形優化 Llama.cpp AI 推理

開源 llama.cpp 代碼庫最初于 2023 年發布，是一種輕量級但高效的框架，用于在 Meta Llama 模型上執行推理。llama.
2 MIN READ
2024年 8月 6日

深入了解使用 NVIDIA NIM 優化的新 AI 模型

NVIDIA NIM 微服務作為優化容器提供，旨在加速各種規模的企業的 AI 應用開發，為 AI 技術的快速生產和部署鋪平道路。
2 MIN READ
2024年 7月 30日

利用重新排名技術增強 RAG 管道性能

在快速發展的 AI 驅動應用程序格局中，重新排名已成為提高企業搜索結果的準確性和相關性的關鍵技術。通過使用先進的機器學習算法，
3 MIN READ
2024年 7月 15日

全新 NVIDIA NIM：可適用于 Mistral 和 Mixtral 模型并為您的 AI 項目賦能

大語言模型（LLM）在企業組織中的應用日益廣泛，許多企業都將其整合到 AI 應用中。雖然從基礎模型著手十分高效，
2 MIN READ
2024年 6月 12日

揭開萬億參數大型語言模型 AI 推理部署的神秘面紗

人工智能（AI）正在改變各行各業，解決精準藥物發現、自動駕駛汽車開發等重大人類科學挑戰，
4 MIN READ
2024年 6月 11日

借助 NVIDIA TensorRT 輕量級引擎，為 AI 應用提供卓越性能和最小占用空間

NVIDIA TensorRT一個成熟的數據中心推理庫，已迅速成為 NVIDIA GeForce RTX 和 NVIDIA RTX GPU…
2 MIN READ