AI 企業 – NVIDIA 技術博客

AI 企業 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Wed, 25 Jun 2025 04:56:46 +0000 zh-CN hourly 1 196178272 微調 LLMOps 以實現快速模型評估和持續優化 http://www.open-lab.net/zh-cn/blog/fine-tuning-llmops-for-rapid-model-evaluation-and-ongoing-optimization/ Tue, 17 Jun 2025 04:52:16 +0000 http://www.open-lab.net/zh-cn/blog/?p=14384 Continued]]> 大語言模型 (LLM) 為各行各業帶來了前所未有的機遇。然而，將 LLM 從研發轉向可靠、可擴展和可維護的生產系統會帶來獨特的運營挑戰。 LLMOps（大語言模型操作）旨在應對這些挑戰。它基于傳統機器學習操作（MLOps）的原則而構建，為管理從數據準備和模型微調到部署、監控和持續改進的整個LLM生命周期提供了框架。實施LLM會在整個制作流程和部署階段帶來一些重大挑戰，包括： Amdocs 是一家專門從事電信解決方案的公司，他們正在應對這些挑戰，以克服實施自定義 LLM 的復雜性，并加速其 AI 計劃。Amdocs 基于 NVIDIA AI Blueprint 構建了強大的 LLMOps 流程，用于構建數據飛輪，該流程使用 NVIDIA NeMo 微服務進行簡化的微調、評估、guardrailing 和 serving，并將其作為 NVIDIA NIM 提供，以實現高效、

]]>

14384

使用 NVIDIA NIM 安全部署 AI 模型 http://www.open-lab.net/zh-cn/blog/securely-deploy-ai-models-with-nvidia-nim/ Wed, 11 Jun 2025 09:12:36 +0000 http://www.open-lab.net/zh-cn/blog/?p=14306 Continued]]> 想象一下，您正在領導大型企業的安全工作，并且您的團隊渴望將 AI 用于越來越多的項目。不過，這是一個問題。與任何項目一樣，您必須平衡創新的前景和回報與合規性、風險管理和安全態勢要求等嚴峻現實。安全領導者在評估 AI 模型 (例如為代理式 AI 或檢索增強生成 (RAG) 提供支持的 AI 模型) 時面臨著一個關鍵挑戰：如何在提供這些前沿創新的同時保持對其基礎設施和數據的完全控制。這正是 NVIDIA NIM 微服務和 NVIDIA AI Enterprise 的用武之地。借助隨 NVIDIA AI Enterprise 許可證提供的 NIM 微服務，企業能夠根據自己的條件部署生成式 AI，同時保持對開源模型的安全性、信任和控制。NVIDIA AI Enterprise 提供了一種選擇：您可以在本地、私有云甚至空氣間隙環境中安全地運行 AI 工作負載。

Source

]]>

14306

全球五大洲電信運營商正建立 NVIDIA 賦能的主權人工智能基礎設施 http://www.open-lab.net/zh-cn/blog/telcos-across-five-continents-are-building-nvidia-powered-sovereign-ai-infrastructure/ Fri, 30 May 2025 08:40:52 +0000 http://www.open-lab.net/zh-cn/blog/?p=14151 Continued]]> AI 正在成為各行各業創新的基石，將創造力和生產力提升到新的水平，并從根本上重塑我們的生活和工作方式。AI 工廠是一種新型基礎設施，可大規模制造智能，并為許多人認為的下一次工業革命奠定基礎。 AI 工廠代表著傳統云計算架構向專為 AI 工作負載設計和優化的加速計算基礎設施的重置。這種架構轉變為新參與者 (包括有時被稱為“新云”的專業 AI 工廠提供商) 創造了機會。這些參與者通過向研究人員、初創公司和企業提供高性能、以 GPU 為中心的 AI 云服務來訓練模型、微調和推理，從而取得了快速的成功。新云提供商的成功推動了 AI 的普及，將強大的新 LLM 和 AI 模型帶給數百萬人。它還表明，從醫療健康到汽車，各行各業對 AI 工廠的需求是前所未有的，而且服務水平低下。對 AI 工廠的巨大需求為電信服務提供商帶來了新的商機。麥肯錫最近的研究表明，到 2030 年，

]]>

14151

在 Azure AI Foundry 上使用 NVIDIA NIM 加速 AI 推理 http://www.open-lab.net/zh-cn/blog/accelerated-ai-inference-with-nvidia-nim-on-azure-ai-foundry/ Mon, 12 May 2025 05:22:02 +0000 http://www.open-lab.net/zh-cn/blog/?p=13799 Continued]]> 將 NVIDIA NIM 微服務集成到 Azure AI Foundry ，標志著企業 AI 開發的重大飛躍。通過將 NIM 微服務與 Azure 可擴展的安全基礎架構相結合，企業組織現在可以比以往更高效地部署功能強大的即用型 AI 模型。 NIM 微服務容器化，可為預訓練和自定義 AI 模型提供 GPU 加速推理。NIM 微服務集成了 NVIDIA 和更廣泛的社區的領先推理技術，可為 NVIDIA 加速基礎設施上的最新 AI 模型提供優化的響應延遲和吞吐量。開發者可以通過符合每個領域行業標準的 API 訪問 AI 模型，從而簡化 AI 應用的開發。NIM 支持跨多個領域和一系列 AI 模型的 AI 用例，包括社區模型、NVIDIA AI Foundation 模型和 NVIDIA 合作伙伴提供的自定義 AI 模型。其中包括語音、圖像、視頻、3D、藥物研發、

]]>

13799

借助 Rafay 為企業 AI 工作負載提供 NVIDIA 加速計算 http://www.open-lab.net/zh-cn/blog/delivering-nvidia-accelerated-computing-for-enterprise-ai-workloads-with-rafay/ Wed, 09 Apr 2025 06:11:58 +0000 http://www.open-lab.net/zh-cn/blog/?p=13506 Continued]]> 生成式 AI 在全球的應用推動了全球對加速計算硬件的巨大需求。在企業中，這加快了加速私有云基礎設施的部署。在地區層面，對計算基礎設施的需求催生了一類新的云提供商，他們為 AI 工作負載提供加速計算 (GPU) 能力，也稱為 GPU 云提供商或 AI 云。其中包括可能符合 NVIDIA 云合作伙伴 (NCP) 要求的云提供商。這些云提供商提供 GPU 加速的硬件和專為其區域客戶群定制的更高級別的 AI 服務。對于企業私有云和云提供商來說，任務很明確：讓 AI 基礎設施更易于使用，同時提供精心制作的解決方案，以滿足其服務的企業和地區的特定需求。在本文中，我們將討論構建自助 GPU 云的關鍵技術要求和挑戰，以及 NVIDIA 合作伙伴 Rafay 的平臺即服務 (PaaS) 模型如何應對這些挑戰。

]]>

13506

借助 NVIDIA Mission Control 實現 AI 工廠自動化 http://www.open-lab.net/zh-cn/blog/automating-ai-factory-operations-with-nvidia-mission-control/ Tue, 25 Mar 2025 08:51:04 +0000 http://www.open-lab.net/zh-cn/blog/?p=13363 Continued]]> DeepSeek-R1 等先進的 AI 模型證明，企業現在可以構建專用于自己的數據和專業知識的尖端 AI 模型。這些模型可以根據獨特的用例進行定制，以前所未有的方式應對各種挑戰。基于早期 AI 采用者的成功，許多組織正在將重點轉移到全面生產的 AI 工廠。然而，創建高效 AI 工廠的過程復雜且耗時，并且不同于構建特定于垂直行業的 AI 的目標。它涉及到樓宇自動化，用于調配和管理復雜的基礎設施，在最新平臺上維護具有專業技能的站點可靠性工程師（SRE）團隊，以及大規模開發流程以實現超大規模的效率。此外，開發者需要一種方法來利用 AI 基礎設施的強大功能，同時具備超大規模數據中心的敏捷性、效率和規模，同時避免成本、復雜性和專業知識等方面的負擔。本文將介紹 NVIDIA Mission Control (一個為使用 NVIDIA 參考架構構建的 AI…

]]>

13363

隆重推出 NVIDIA Dynamo：用于擴展推理AI模型的低延遲分布式推理框架 http://www.open-lab.net/zh-cn/blog/introducing-nvidia-dynamo-a-low-latency-distributed-inference-framework-for-scaling-reasoning-ai-models/ Tue, 18 Mar 2025 05:47:45 +0000 http://www.open-lab.net/zh-cn/blog/?p=13330 Continued]]> NVIDIA 今天在 GTC 2025 宣布發布 NVIDIA Dynamo 。NVIDIA Dynamo 是一個高吞吐量、低延遲的開源推理服務框架，用于在大規模分布式環境中部署生成式 AI 和推理模型。在 NVIDIA Blackwell 上運行開源 DeepSeek-R1 模型時，該框架最多可將請求數量提升 30 倍。NVIDIA Dynamo 與 PyTorch、SGLang 等開源工具兼容， NVIDIA TensorRT-LLM 和 vLLM，加入不斷擴大的推理工具社區，助力開發者和 AI 研究人員加速 AI。 NVIDIA Dynamo 引入了幾項關鍵創新，包括：從今天開始，NVIDIA Dynamo 可供開發者在 ai-dynamo/dynamo GitHub 存儲庫中使用。對于希望縮短生產時間并獲得企業級安全性、支持和穩定性的企業，

]]>

13330

定義 LLM 紅色團隊 http://www.open-lab.net/zh-cn/blog/defining-llm-red-teaming/ Tue, 25 Feb 2025 07:04:29 +0000 http://www.open-lab.net/zh-cn/blog/?p=13036 Continued]]> 在一項活動中，人們為生成式 AI 技術 (例如大語言模型 (LLMs)) 提供輸入，以確定輸出是否會偏離可接受的標準。LLMs 的這種使用始于 2023 年，并已迅速發展成為一種常見的行業實踐，也是值得信賴的 AI 的基石。如何標準化和定義 LLM 紅色團隊？ NVIDIA、華盛頓大學、Center for Human-Compatible AI 和哥本哈根 IT 大學的研究人員對紅色團隊的實際應用“ Summon a demon and bind it: A grounded theory of LLM red teaming ”(在 PLOS One 中發布) 進行了一項研究。由于目標是定義和理解相對較新的活動，因此該研究采用了有根據的理論方法，在數千分鐘的視頻錄制中，以數十位從業者的訪談作為證據。我們與安全專業人員、政策研究人員和科學家，

]]>

13036

使用 NVIDIA AI Workbench 簡化本地和云系統之間的協作 http://www.open-lab.net/zh-cn/blog/streamline-collaboration-across-local-and-cloud-systems-with-nvidia-ai-workbench/ Wed, 05 Feb 2025 04:39:30 +0000 http://www.open-lab.net/zh-cn/blog/?p=12877 Continued]]> NVIDIA AI Workbench 是一款免費的開發環境管理器，用于在 GPUs 上開發、定制 AI 應用并對其進行原型設計。AI Workbench 為 AI、數據科學和機器學習 (ML) 項目提供跨 PCs、工作站、服務器和云的順暢體驗。用戶體驗包括：本文詳細介紹了 2025 年 1 月發布的 NVIDIA AI Workbench，包括以下新集成和功能：根據最近 Dell 和 NVIDIA HackAI Hackathon 的反饋，用戶希望通過 AI Workbench 輕松訪問云 GPU。這一切現已成為可能，得益于 NVIDIA AI Workbench 和 NVIDIA Brev 之間的合作。NVIDIA Brev 是一個 AI 開發平臺，可讓您在云端運行、構建、訓練和部署 ML 模型。此 AI Workbench 版本首次與 Brev…

]]>

12877

借助 iGenius 和 NVIDIA DGX 云，繼續為主權 AI 和受監管行業預訓練先進的 LLM http://www.open-lab.net/zh-cn/blog/continued-pretraining-of-state-of-the-art-llms-for-sovereign-ai-and-regulated-industries-with-igenius-and-nvidia-dgx-cloud/ Thu, 16 Jan 2025 06:37:38 +0000 http://www.open-lab.net/zh-cn/blog/?p=12702 Continued]]> 近年來，大語言模型（LLMs）在推理、代碼生成、機器翻譯和摘要等領域取得了非凡的進步。然而，盡管基礎模型具有先進的功能，但在涉及特定領域的專業知識（例如金融或醫療健康）或捕捉英語以外的文化和語言細微差別時，它們存在局限性。通過使用持續預訓練 (CPT)、指令微調和檢索增強型生成 (RAG) 進行進一步開發，可以克服這些限制。這需要高質量的特定領域的數據集、強大的 AI 平臺 (軟件和硬件堆棧) 以及先進的 AI 專業知識。 iGenius 是一家意大利技術公司，專門為金融服務和公共管理等高度監管行業的企業提供人工智能服務。iGenius 在歐洲和美國之間開展工作，致力于讓 AI 為人們和企業服務。該公司成立于 2016 年，其使命是實現數據人性化和業務知識普及。 iGenius 是 NVIDIA Inception 合作伙伴，

]]>

12702

借助 NVIDIA Launchables 實現出色 NVIDIA AI 的一鍵式部署 http://www.open-lab.net/zh-cn/blog/one-click-deployments-for-the-best-of-nvidia-ai-with-nvidia-launchables/ Mon, 06 Jan 2025 06:18:52 +0000 http://www.open-lab.net/zh-cn/blog/?p=12564 Continued]]> AI 開發已成為現代軟件工程的核心部分，NVIDIA 致力于尋找方法，為所有希望開始使用 AI 的開發者提供優化的加速計算。為解決這一問題，我們一直在努力通過 NVIDIA Launchables 使加速計算堆棧更易于訪問：預配置的 GPU 計算環境，使您能夠部署參考工作流，并在提供所需計算的情況下立即開始構建。 NVIDIA Launchables 是具有預定義配置的一鍵式可部署 GPU 開發環境，可幫助您啟動并運行工作流。它們可用作模板，包含實現目標所需的所有必要組件：它們還可以包含 GitHub 庫或在 GPU 實例中自動設置和掛載的 Jupyter Notebooks。對于在多個環境中工作的團隊或個人開發者而言，Launchables 可確保設置一致且可再現，而無需手動配置和額外開銷：以下是 Launchable 派上用場的幾種情況：

]]>

12564

AEC 檢索增強生成技術指南 http://www.open-lab.net/zh-cn/blog/a-guide-to-retrieval-augmented-generation-for-aec/ Wed, 18 Dec 2024 09:27:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=12492 Continued]]> 大語言模型 (LLMs) 正在迅速改變業務格局，為自然語言處理 (NLP)、內容生成和數據分析提供新功能。這些 AI 驅動的工具改善了公司的運營方式，從簡化客戶服務到增強決策流程。然而，盡管 LLM 擁有令人印象深刻的一般知識，但其準確性、最新信息和特定領域的知識卻常常捉見肘。這可能會導致建筑、施工和工程 (AEC) 等專業領域出現潛在的錯誤信息和過度簡化，而準確的最新信息對于做出明智決策和確保遵守行業法規至關重要。想象一下，一個由建筑師和工程師組成的設計團隊會使用 LLM 提出山中房屋的構思。當被問及是否采用適合當地氣候的可持續建筑技術時，LLM 可能會提供有關使用太陽能板和綠色屋頂的通用回答，而無需考慮高海拔環境的特定挑戰，例如極端溫度波動和潛在的雪載。在問題更嚴重的情況下，LLM 可能會產生幻覺，并建議使用“太陽能融雪板”— — 這項技術聽起來很創新，但根本不存在。

]]>

12492

聚焦：TCS 利用 NVIDIA 生成式 AI 將汽車軟件測試速度提高 2 倍 http://www.open-lab.net/zh-cn/blog/spotlight-tcs-increases-automotive-software-testing-speeds-by-2x-using-nvidia-generative-ai/ Fri, 22 Nov 2024 06:06:41 +0000 http://www.open-lab.net/zh-cn/blog/?p=12145 Continued]]> 生成式 AI 正在改變汽車行業的各個方面，包括軟件開發、測試、用戶體驗、個性化和安全性。隨著汽車行業從機械驅動轉向軟件驅動，生成式 AI 正在釋放出無限的可能性。 Tata 咨詢服務（TCS）專注于在汽車行業中利用生成式人工智能的兩大領域：生成式 AI 是實現全自動駕駛汽車（AV）的關鍵，它可以增強基于 AI 的算法，從而做出更好的決策。它可以生成和合成各種可能性的數據集，從有限的實時數據到訓練和測試數據。這種技術對于實現車輛個性化和用戶體驗至關重要。它包括一系列功能，例如高級搜索功能、語言翻譯、車載個人助理以及直觀的視頻和音頻娛樂推薦。軟件定義車輛（Software-Defined Vehicle，SDV）的目標是提供更高的靈活性和豐富的用戶體驗，使客戶能夠根據自己的便利性升級和更新車輛功能。這增加了車輛的復雜性，導致產生數百萬行代碼。

]]>

12145

使用 NVIDIA NIM 構建您的人工在環 AI 智能體首秀 http://www.open-lab.net/zh-cn/blog/build-your-first-human-in-the-loop-ai-agent-with-nvidia-nim/ Thu, 21 Nov 2024 06:39:19 +0000 http://www.open-lab.net/zh-cn/blog/?p=12153 Continued]]> 由大語言模型（LLMs）提供支持的 AI 智能體可幫助組織簡化和減少手動工作負載。這些智能體使用多層迭代推理來分析問題、設計解決方案，并使用各種工具執行任務。與傳統聊天機器人不同，LLM 提供支持的智能體能夠有效理解和處理信息，從而實現復雜任務的自動化。為避免特定應用中的潛在風險，在使用自主 AI 智能體時，保持人工監督仍然至關重要。在本文中，您將學習如何使用 NVIDIA NIM 微服務（一種針對 AI 推理優化的加速 API）構建人類在環 AI 智能體。該博文介紹了一個社交媒體用例，展示了這些多功能 AI 智能體如何輕松處理復雜任務。借助 NIM 微服務，您可以將高級 LLM（如 Llama 3.1-70B-Instruct 和 Falcon 180B 等）無縫集成到工作流中，從而提供 AI 驅動任務所需的可擴展性和靈活性。無論您是使用 PyTorch、

]]>

12153

基于 NVIDIA NIM 的多模態視覺 AI 智能體構建解決方案 http://www.open-lab.net/zh-cn/blog/build-multimodal-visual-ai-agents-powered-by-nvidia-nim/ Thu, 31 Oct 2024 09:20:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=11846 Continued]]> 視覺數據（從圖像到 PDF 再到流式視頻）呈指數級增長，這使得人工審查和分析幾乎不可能實現。組織正在努力將這些數據大規模轉換為切實可行的見解，從而導致錯失機會并增加風險。為了應對這一挑戰，視覺語言模型（VLMs）正在成為強大的工具，將圖像和視頻的視覺感知與基于文本的推理相結合。與僅處理文本的傳統大語言模型（LLMs）不同，VLMs 使您能夠構建視覺 AI 智能體，以便理解和處理復雜的多模態數據，并對其采取行動，從而實現實時決策和自動化。想象一下，擁有一個智能 AI 智能體，它可以分析遠程攝像頭鏡頭以檢測野火的早期跡象，或者掃描業務文檔以提取隱藏在圖表、表格和圖像中的關鍵信息——這一切都可以自動完成。借助 NVIDIA NIM 微服務，構建這些先進的視覺 AI 智能體比以往更容易、更高效。NIM 微服務提供靈活的自定義、簡化的 API 集成和流暢的部署，

]]>

11846

人人超碰97caoporen国产