NGC – NVIDIA 技術博客
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Wed, 15 Jan 2025 08:10:29 +0000
zh-CN
hourly
1
196178272 -
借助 NVIDIA DOCA 平臺框架，助力新一代 DPU 加速云基礎設施
Mon, 13 Jan 2025 08:06:11 +0000
http://www.open-lab.net/zh-cn/blog/?p=12623
Continued]]>
越來越多的企業組織開始采用加速計算來滿足生成式 AI、5G 電信和主權云的需求。NVIDIA 發布了 DOCA 平臺框架 (DPF)，該框架提供了基礎構建塊來釋放 NVIDIA BlueField DPU 的強大功能，并優化 GPU 加速的計算平臺。作為一種編排框架和實施藍圖，DPF 使開發者、服務提供商和企業能夠無縫創建 BlueField 加速的云原生軟件平臺。 通過簡化 DPU 調配、生命周期管理和服務編排，DPF 使 BlueField DPU 可在 Kubernetes 環境中廣泛使用，以加速 AI 和其他現代工作負載。此外，DPF 還強化了由 BlueField 加速的應用和服務組成的生態系統，推動可擴展云平臺的發展。 NVIDIA 對 CPU-GPU-DPU 三功能的承諾眾所周知，隨著 DPF 的推出，NVIDIA 正在此架構的 DPU 方面實現大膽的飛躍。
Source
]]>
12623
-
AI 賦能的購物顧問帶來個性化零售體驗
Thu, 01 Aug 2024 05:49:03 +0000
http://www.open-lab.net/zh-cn/blog/?p=10942
Continued]]>
想象一下，在每次互動中，您都能讓最優秀的銷售人員站在每位客戶面前。您的最優秀的銷售人員會提供產品推薦和操作方法指導，并解釋客戶可能沒有考慮過的相關產品。 本文中介紹的 NVIDIA 零售購物顧問是一種預構建的端到端 AI 工作流程。它提供了一個參考設計，演示如何開發具有大型語言模型（LLMs）的檢索增強生成（RAG）應用程序，該應用程序可以提取產品目錄數據，并使用一些最新的生成式 AI 功能提供差異化體驗，為客戶的查詢和推薦請求提供符合上下文準確且類似人類的答案。 此零售購物顧問 AI 工作流程為企業提供了從試點到實現商業價值的快速先進的方法。它包括一切所需的元素，以創建對話式、精確和準確的消費者購物體驗。 零售購物顧問參考架構包含一個 RAG 模型，該模型可以在回答客戶問題時利用最新的產品數據。此外，還包含來自 NVIDIA Employee Gear…
Source
]]>
10942
-
使用 Brev.dev 和 NVIDIA NGC 目錄實現一鍵部署 GPU 優化 AI 軟件解決方案
Mon, 01 Jul 2024 05:08:23 +0000
http://www.open-lab.net/zh-cn/blog/?p=10539
Continued]]>
Brev.dev 正在利用 NVIDIA NGC 目錄上的軟件庫、框架和 Jupyter Notebooks，讓開發 AI 解決方案變得更加輕松。 通過將云編排工具與簡單的 UI 搭配使用，您可以使用 Brev.dev 在 NVIDIA GPU 上輕松部署軟件，從任何云中可靠地獲取按需 GPU，在瀏覽器中訪問 notebook，或使用 Brev CLI 直接 SSH 到機器中。 NGC 目錄是安全的 GPU 優化軟件中心，包括容器、模型和 Jupyter Notebooks。該目錄簡化了開發和部署 AI 解決方案的流程，加快了企業的上市時間。 此集成解決了在云中啟動 GPU 實例和獲得集成開發環境（IDE）時通常會遇到的許多挑戰，例如設置底層軟件堆棧、調配正確的計算和管理 SSH 密鑰。現在，只需單擊一下，即可將 NGC 目錄中的各種軟件無縫部署到您首選的計算和 IDE 中。
Source
]]>
10539
-
NVIDIA NIM 帶來財務分析變革
Fri, 28 Jun 2024 05:13:48 +0000
http://www.open-lab.net/zh-cn/blog/?p=10543
Continued]]>
在金融服務行業，投資組合經理和研究分析師努力篩選大量數據，以在投資中獲得競爭優勢，做出明智的決策需要訪問最相關的數據，并能夠快速合成和解釋這些數據。 傳統上，賣方分析師和基本投資組合經理會專注于一小部分公司，仔細檢查財務報表、盈利通知和公司文件。通過系統分析更大的交易領域的金融文檔可以發現更多見解。由于此類任務的技術和算法難度，直到最近，只有成熟的量化交易公司才能對廣泛的交易領域的轉錄進行系統分析。 與大型語言模型(LLM)在金融 NLP 任務中的功能相比，使用傳統自然語言處理(NLP)方法（如詞袋、情感字典和詞統計）完成這些任務的性能通常低于大型語言模型(LLM)。此外，LLM還在醫學文檔理解、新聞文章摘要和法律文檔檢索等領域展示了出色的性能。 借助 AI 和 NVIDIA 技術，賣方分析師、基礎交易員和零售交易員可以顯著加速其研究工作流程，從金融文檔中提取更細致入微的見解，
Source
]]>
10543
-
通過五門新的 NVIDIA 技術課程提升您的技能
Fri, 14 Jun 2024 09:14:20 +0000
http://www.open-lab.net/zh-cn/blog/?p=10478
Continued]]>
隨著人工智能以前所未有的速度引入技術創新，保持領先意味著保持你的技能與時俱進。NVIDIA 開發者計劃為您提供所需的工具、培訓和資源，以便您在各個行業取得最新進展：NVIDIA 開發者計劃。 我們很高興地宣布 NVIDIA 推出以下五門新技術課程。立即加入開發者計劃，現在可以親身體驗NVIDIA GTC展示的開發者工具，新會員可以免費申請一門課程。 構建和執行端到端 GPU 加速的數據科學工作流，使您能夠快速探索、迭代并將工作投入生產。使用 RAPIDS 加速的數據科學庫，您將應用各種 GPU 加速的機器學習算法和邏輯回歸來大規模執行數據分析。 通過參加本課程，您將學習如何： 利用 NVIDIA GPU 和 Apache Spark 來加快工作負載并降低成本。? 通過參加本課程，您將學習如何： 轉換器被用作大語言模型（LLM）的構建塊。
Source
]]>
10478
-
使用 NVIDIA AI 基礎模型的領先模型 Smaug 72B 解決復雜的 AI 任務
Mon, 04 Mar 2024 06:50:45 +0000
http://www.open-lab.net/zh-cn/blog/?p=9141
Continued]]>
本周發布的模型包括由 NVIDIA 優化的語言模型 Smaug 72B，您可以直接通過瀏覽器體驗。 NVIDIA AI 基礎模型和端點 是一組精心策劃的社區和 NVIDIA 構建的生成式 AI 模型，用于在企業應用程序中體驗、定制和部署。嘗試領先的模型，如在 NVIDIA AI Playground 中的 Nemo-3, Mixtral 8x7B, Gemma 7B 和 Stable Diffusion XL。 當 AI 模型準備好用于業務運營時，企業級支持至關重要。NVIDIA AI Enterprise 可提供安全性、支持、穩定性和可管理性，從而提高 AI 團隊的生產力、降低 AI 基礎架構的總體成本，并確保從 POC 到生產的平穩過渡。 由 Abacus AI 開發的 Smaug 72B 是一款強大的大規模語言模型，在推理和數學任務方面表現出色。
Source
]]>
9141
-
使用 StarCoder2 釋放您的 LLM 編碼潛力
Wed, 28 Feb 2024 05:22:25 +0000
http://www.open-lab.net/zh-cn/blog/?p=9019
Continued]]>
編碼在數字時代至關重要，但它也可能繁瑣且耗時。正因如此，許多開發者都在尋找方法，借助 NVIDIA DLSS 3 和 NVIDIA DLSS 3，大型語言模型 (LLM)。這些模型基于經許可的 GitHub 存儲庫中的大量代碼進行訓練，并且無需人工干預即可生成、分析和記錄代碼。 在本文中，我們將探索使用 StarCoder2 的代碼 LLM 的最新進展。StarCoder2 是一種新的社區模型，支持數百種編程語言，并提供一流的準確性。然后，我們嘗試使用 NVIDIA AI 基礎模型和端點，使用分步指令對其進行自定義，并將其部署到生產環境中。 StarCoder2，由 BigCode 與 NVIDIA 合作，是面向開發者的非常先進的代碼 LLM.您可以使用模型的功能快速構建應用程序，包括代碼完成、自動填充、高級代碼摘要以及使用自然語言檢索相關代碼片段。
Source
]]>
9019
-
釋放 Phi-2 小語言模型在聊天、研究、編碼等領域的強大功能
Tue, 27 Feb 2024 06:15:13 +0000
http://www.open-lab.net/zh-cn/blog/?p=9032
Continued]]>
本周發布的模型采用了 NVIDIA 優化后的語言模型 Phi-2，該模型適用于各種自然語言處理 (NLP) 任務。用戶可以直接在瀏覽器中體驗 Phi-2。 NVIDIA AI 基礎模型和端點 是一套精心策劃的社區和 NVIDIA 構建的生成式 AI 模型，用于在企業應用程序中體驗、自定義和部署。嘗試在 NVIDIA AI Playground 中使用 Nemotron-3, Mixtral 8x7B, Lama 2 70B 以及 Stable Diffusion XL 穩定漫反射。 當 AI 模型準備好進行業務運營部署時，企業支持至關重要。NVIDIA AI Enterprise 提供安全性、支持、穩定性和可管理性，以提高 AI 團隊的工作效率，降低 AI 基礎設施的總成本，并確保從 POC 到生產的平穩過渡。 Phi-2 是由 Microsoft Research…
Source
]]>
9032
-
視頻：五分鐘內構建 RAG 驅動的聊天機器人
Tue, 27 Feb 2024 06:06:32 +0000
http://www.open-lab.net/zh-cn/blog/?p=9024
Continued]]>
檢索增強生成（RAG）作為一種提升性能的技術，其受歡迎程度呈爆炸式增長。從高度準確的問答 AI 聊天機器人到代碼生成副駕駛，各行各業的組織都在探索 RAG 如何幫助優化流程。 根據 金融服務業 AI 現狀：2024 年趨勢，55% 的受訪者表示他們正在積極尋求 生成式 AI 其公司的工作流程。客戶體驗和參與度是最搶手的用例，回復率為 34%.這表明金融服務機構正在探索聊天機器人、虛擬助理和推薦系統，以增強客戶體驗。 在這 5 分鐘的視頻教程中， NVIDIA 高級解決方案架構師 Rohan Rao 演示了如何僅使用 100 行 Python 代碼開發和部署由 LLM 驅動的 AI 聊天機器人，而無需您自己的 GPU 基礎架構。 從 基礎模型 快速開始 LLM 實驗。借助 NVIDIA AI Foundation Endpoints，所有嵌入和生成任務均可無縫處理，
Source
]]>
9024
-
構建由 LLM 提供支持的 API Agent 來執行任務
Wed, 21 Feb 2024 04:27:48 +0000
http://www.open-lab.net/zh-cn/blog/?p=8923
Continued]]>
長期以來，開發者一直在構建 Web 應用程序等界面，使用戶能夠利用正在構建的核心產品。要了解如何在您的大型語言模型(LLM) 應用程序中實現這一點，請參閱之前的博文，為數據分析構建由 LLM 提供支持的數據代理。在本文中，我將討論一種將自由形式對話添加為具有 API 的另一個接口的方法。該方法有助于實現與任何 API 進行細致入微的對話式交互的解決方案。 如果您想了解關于 LLM 代理的基本知識以及如何構建它們，請閱讀LLM 智能體簡介和構建您的首個 LLM 智能體應用。 API 或執行代理是為執行目標而設計的。這些代理通過使用一組預定義的執行函數來執行用戶請求的任務或一組任務。基于數據源回答用戶的問題是其中的一個重要部分。另一個重要部分是執行用戶(人類)或另一個代理(機器)的需求。 傳統上，這是通過 API 和某種形式的應用邏輯和交互層(例如 Web…
Source
]]>
8923
-
構建 LLM 支持的數據代理以進行數據分析
Tue, 20 Feb 2024 05:19:12 +0000
http://www.open-lab.net/zh-cn/blog/?p=8952
Continued]]>
AI 智能體是一個由規劃功能、內存和工具組成的系統，用于執行用戶請求的任務。對于數據分析或與復雜系統交互等復雜任務，您的應用可能依賴于不同類型智能體之間的協作。有關更多背景信息，請參閱 LLM 智能體簡介 和 構建您的首個 LLM 智能體應用。 本文介紹了構建準確的 LLM 應用(可在查詢時處理細致入微的數據分析任務)所需的代理類型。本文將介紹構建數據分析代理應用(包括代碼片段)的示例用例。最后，本文將介紹 AI 開發者在優化和構建 LLM 代理應用時需要考慮的一些注意事項。 首先，本節介紹兩種主要類型的 LLM 代理及其工作原理 – 數據代理和 API 或執行代理。我還將介紹代理集群用例，其中涉及多個代理合作解決問題。請注意，這些代理類型在某種程度上代表頻譜的端部。可以為特定用例創建混合的專用代理。 數據代理通常專為提取目標而設計。換言之，
Source
]]>
8952
-
基于 NVIDIA AI 基礎模型的高性能 Mamba-Chat
Mon, 12 Feb 2024 05:58:51 +0000
http://www.open-lab.net/zh-cn/blog/?p=8966
Continued]]>
本周發布的內容使用了 NVIDIA 優化過的 Mamba 聊天模型，您現在就可以在瀏覽器中體驗。 本文是 Model Mondays 計劃的一部分，該計劃致力于讓用戶輕松訪問先進的社區和 NVIDIA 構建的模型。 NVIDIA 使用 TensorRT-LLM 對這些模型進行優化，并以 。nemo 文件的形式提供，以便輕松進行自定義和部署。 NVIDIA AI 基礎模型和端點 提供對社區和 NVIDIA 構建的一系列精心策劃的生成式 AI 模型的訪問權限，以便在企業應用程序中體驗、自定義和部署。如果您尚未嘗試使用領先的模型，例如 Nemotron-3, Mixtral 8X7B, Lama 70B 以及 穩定擴散，請在 NVIDIA AI Playground 中進行訓練。 Mamba-Chat 生成式 AI 模型由 Haven 發布，是一種先進的語言模型，
Source
]]>
8966
-
使用新的 NVIDIA AI 基礎模型生成代碼、回答查詢并翻譯文本
Mon, 05 Feb 2024 07:43:41 +0000
http://www.open-lab.net/zh-cn/blog/?p=8903
Continued]]>
本周的 Model Monday 版本包含 NVIDIA 優化的代碼 Lama、Kosmos-2 和 SeamlessM4T，您可以直接在瀏覽器中體驗。 通過NVIDIA AI 基礎模型和端點，您可以訪問由 NVIDIA 構建的一系列精選社區，生成式 AI用于在企業應用程序中體驗、自定義和部署的模型。 Meta 的 Code Llama 70B 是最新的先進代碼 LLM，專用于代碼生成。它基于 Llama 2 模型構建，提供更高的性能和適應性。該模型可以從自然語言生成代碼，在編程語言之間翻譯代碼，編寫單元測試，并協助調試。 Code Lama 70B 具有 10 萬個令牌的大上下文長度，因此能夠處理和生成時間更長、更復雜的代碼，這對于更全面的代碼生成和提高處理復雜編碼任務的性能非常重要。這種開源模型可用于代碼翻譯、匯總、文檔、分析和調試等各種應用。
Source
]]>
8903
-
使用現已推出 Beta 版的 NVIDIA AI Workbench 來創建、共享和擴展企業 AI 工作流程
Tue, 30 Jan 2024 03:49:20 +0000
http://www.open-lab.net/zh-cn/blog/?p=8855
Continued]]>
NVIDIA AI Workbench 現已進入測試階段，帶來了豐富的新功能，可簡化企業開發者創建、使用和共享 AI 和機器學習 (ML) 項目的方式。在 SIGGRAPH 2023 上發布的 NVIDIA AI Workbench，使開發者能夠在支持 GPU 的環境中輕松創建、協作和遷移 AI 工作負載。欲了解更多信息，請參閱借助 NVIDIA AI Workbench 無縫開發和部署可擴展的生成式 AI 模型。 本文介紹了 NVIDIA AI Workbench 如何幫助簡化 AI 工作流程，并詳細介紹了測試版的新功能。本文還介紹了編碼副駕駛參考示例，該示例使您能夠使用 AI Workbench 在所選平臺上創建、測試和自定義預訓練的生成式 AI 模型。 借助 AI Workbench，開發者和數據科學家可以在 PC 或工作站上靈活地在本地啟動 AI 或 ML 項目，
Source
]]>
8855
-
借助 NVIDIA AI 軟件構建企業級 AI
Wed, 24 Jan 2024 03:57:48 +0000
http://www.open-lab.net/zh-cn/blog/?p=8792
Continued]]>
在推出 ChatGPT 后，全球各地的企業開始意識到 AI 的優勢和功能，并競相將其應用到工作流程中。 隨著這種采用的加速，企業不僅必須跟上 AI 的快速發展，而且還必須解決優化、可擴展性和安全性等相關挑戰。 企業 AI 開發之旅通常從數據 ETL (提取、轉換、加載)階段開始，在此期間準備用于訓練的數據。接下來是訓練 AI 模型。模型完成訓練后，接下來的步驟包括部署和運行推理。企業需要在每個階段使用經過優化的安全軟件來構建生產就緒型 AI 應用。 NVIDIA NGC 目錄 通過以容器形式提供一系列 GPU 優化的軟件和 SDK，幫助企業加速其 AI 開發。 目錄中的一些熱門容器包括用于數據 ETL 階段的 RAPIDS，以及用于模型開發階段的 TensorFlow 和 PyTorch。此外，還有用于模型部署階段的 NVIDIA TensorRT 和…
Source
]]>
8792
人人超碰97caoporen国产