Machine Learning & Artificial Intelligence – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Thu, 18 Jul 2024 04:59:58 +0000 zh-CN hourly 1 196178272 使用 RAPIDS 的 Parquet 字符串數據的編碼和壓縮指南 http://www.open-lab.net/zh-cn/blog/encoding-and-compression-guide-for-parquet-string-data-using-rapids/ Wed, 17 Jul 2024 04:36:41 +0000 http://www.open-lab.net/zh-cn/blog/?p=10645 Continued]]> Parquet Writer 提供了默認關閉的編碼和壓縮選項。啟用這些選項可以為數據提供更好的無損壓縮,但了解用于特定用例的選項對于確保它們按預期執行是至關重要的。 在本文中,我們將探討哪些編碼和壓縮選項最適合您的字符串數據。字符串數據在數據科學中無處不在,用于表示小片段信息,如名稱、地址和數據標簽,以及大片段信息,如 DNA 序列、JSON 對象和完整文檔。 首先,我們解釋每個選項。 在 Parquet 格式中,有兩種 delta 編碼,旨在優化字符串數據的存儲。為了幫助分析每個選項,我們構建了一項工程研究,使用 libcudf 和 cudf.pandas 對來自公開來源的字符串數據進行分析,以比較 Parquet 的編碼和壓縮方法的有效性,使用文件大小、讀取時間和寫入時間作為指標。 在 RAPIDS 開源加速數據科學庫套件中,

Source

]]>
10645
使用 NVIDIA cuDNN 9 加速多個 Transformer http://www.open-lab.net/zh-cn/blog/accelerating-transformers-with-nvidia-cudnn-9/ Fri, 24 May 2024 06:55:40 +0000 http://www.open-lab.net/zh-cn/blog/?p=10144 Continued]]> 我們提供的 NVIDIA CUDA 深度神經網絡庫(cuDNN) 是一個專門為深度學習應用而設計的 GPU 加速庫,旨在以先進的性能加速深度學習基元。 cuDNN 與 PyTorch、TensorFlow 和 XLA (加速線性代數) 等熱門深度學習框架集成。這些框架抽象化了直接 GPU 編程的復雜性,使您能夠專注于設計和訓練模型,而無需擔心底層硬件。cuDNN 可作為底層性能引擎,確保以更高的效率執行這些框架上的操作。 最近,擴展的點積注意力 (SDPA) 已成為大型語言模型 (LLM) 等重要工作負載中的性能關鍵基元。cuDNN 增加了對該基元的支持,并一直在使用閃存注意力和其他優化來提高其性能釋放,同時擴展功能支持面,以支持一系列注意力用例。 在 NVIDIA H200 Tensor Core GPU 上,cuDNN 可以在 FP8 中實現高達 1.2…

Source

]]>
10144
借助 NVIDIA AI Enterprise IGX 為任務關鍵型邊緣 AI 提供支持 http://www.open-lab.net/zh-cn/blog/powering-mission-critical-ai-at-the-edge-with-ai-enterprise-igx/ Wed, 20 Mar 2024 04:55:55 +0000 http://www.open-lab.net/zh-cn/blog/?p=9322 Continued]]> NVIDIA SDK 在加速智慧城市、醫療和機器人等一系列用例中的 AI 應用方面發揮了重要作用。但是,要實現可在邊緣部署的生產級 AI 解決方案,以支持安全可靠的人機協作,就需要針對企業需求量身定制的高質量硬件和軟件。 NVIDIA 再次加速邊緣任務關鍵型 AI 應用程序。 NVIDIA AI Enterprise IGX 是一款企業級軟件解決方案,用于在 NVIDIA IGX 平臺上運行邊緣 AI。 NVIDIA IGX 為您的工業級硬件提供超快的 AI 性能,在邊緣所需的大小和功率范圍內實現高吞吐量數據處理,以及強大的邊緣安全性、遠程管理性和內置安全機制。 NVIDIA IGX 與 NVIDIA AI Enterprise 的集成使邊緣 AI 更易于訪問、更高效且更便于企業使用。 AI 堆棧由許多第三方應用程序和開源軟件 (OSS) 組成,

Source

]]>
9322
NVIDIA Maxine 提升云端視頻會議 http://www.open-lab.net/zh-cn/blog/nvidia-maxine-elevates-video-conferencing-in-the-cloud/ Wed, 22 Mar 2023 05:56:31 +0000 http://www.open-lab.net/zh-cn/blog/?p=6512 Continued]]> 實時遠程通信已成為新常態,但許多上班族的視頻和音頻質量仍然很差,這影響了協作和人際交往。 NVIDIA Maxine 是專門為解決這些挑戰而開發的,它使用了最先進的人工智能模型,極大地提高了視頻會議通話的清晰度。這些功能在最近的 NVIDIA GTC 活動中得到了很大程度的展示。 現在, NVIDIA Maxine 已經擴展到提供可以部署在私有或公共云中的微服務,使開發人員能夠利用遠程服務器的 GPU 能力。這篇文章涵蓋了最近的功能更新,以及微服務和 NVIDIA Maxine 瘦客戶端軟件的詳細信息,這些軟件可以有效地利用任何基于 Windows 的 PC 上的這些服務。 NVIDIA Maxine 是一套經過預訓練的人工智能模型,旨在改善視頻會議體驗。開發人員現在可以體驗、開發和部署 NVIDIA Maxine 型號。

Source

]]>
6512
如何創建自定義語言模型 http://www.open-lab.net/zh-cn/blog/how-to-create-a-custom-language-model/ Wed, 15 Mar 2023 03:23:05 +0000 http://www.open-lab.net/zh-cn/blog/?p=6448 Continued]]> 在過去的幾年里,世代人工智能吸引了公眾的注意力和想象力。從給定的自然語言提示,這些生成模型能夠生成人類質量的結果,從清晰表達的兒童故事到產品原型可視化。 大型語言模型( LLM )是這場革命的中心。 LLM 是一種通用的語言理解器,它將人類知識編纂成法典,可以很容易地應用于許多自然語言和編程語言理解任務,開箱即用。其中包括摘要、翻譯、問題回答以及代碼注釋和完成。 單個基礎語言模型完成許多任務的能力開辟了一個全新的人工智能軟件范式,其中單個基礎模型可以用于滿足公司所有部門的多個下游語言任務。這簡化并降低了人工智能軟件開發、部署和維護的成本。 盡管 LLM 強大且前景光明,但通過針對特定用例的零樣本或少量快照學習,與 LLM 現成的性能仍存在差距。特別是,零樣本學習性能往往很低且不可靠。另一方面,很少有鏡頭學習依賴于找到最佳的離散提示,這是一個不平凡的過程。

Source

]]>
6448
使用集成模型在 NVIDIA Triton 推理服務器上為 ML 模型管道提供服務 http://www.open-lab.net/zh-cn/blog/serving-ml-model-pipelines-on-nvidia-triton-inference-server-with-ensemble-models/ Mon, 13 Mar 2023 04:36:03 +0000 http://www.open-lab.net/zh-cn/blog/?p=6474 Continued]]> 在許多生產級機器學習( ML )應用程序中,推理并不局限于在單個 ML 模型上運行前向傳遞。相反,通常需要執行 ML 模型的管道。例如,一個由三個模塊組成的對話式人工智能管道:一個將輸入音頻波形轉換為文本的自動語音識別( ASR )模塊,一個理解輸入并提供相關響應的大型語言模型( LLM )模塊,以及一個從 LLM 輸出產生語音的文本到語音( TTS )模塊。 或者,考慮一個文本到圖像的應用程序,其中管道由 LLM 和擴散模型組成,它們分別用于對輸入文本進行編碼和從編碼的文本合成圖像。此外,許多應用程序在將輸入數據饋送到 ML 模型之前需要對其進行一些預處理步驟,或者對這些模型的輸出進行后處理步驟。例如,輸入圖像在被饋送到計算機視覺模型之前可能需要被調整大小、裁剪和解碼,或者文本輸入在被饋送給 LLM 之前需要被標記化。 近年來, ML 模型中的參數數量激增,

Source

]]>
6474
揭開企業 MLOps 的神秘面紗 http://www.open-lab.net/zh-cn/blog/demystifying-enterprise-mlops/ Wed, 08 Mar 2023 04:20:53 +0000 http://www.open-lab.net/zh-cn/blog/?p=6401 Continued]]> 在過去幾年中,人工智能和機器學習( ML )在主流企業中的角色發生了變化。一旦研究或高級開發活動,它們現在為生產系統提供了重要的基礎。 隨著越來越多的企業尋求用人工智能和 ML 改造業務,越來越多的人在談論 MLOps 。如果你一直在聽這些對話,你可能會發現幾乎所有參與的人都同意你需要一個 MLOps 戰略來將 ML 投入生產。 本文簡要概述了企業 MLOps 。要了解更多信息,請與我一起參加 NVIDIA GTC 2023 的 Enterprise MLOps 101 ,這是對企業 MLOps 環境的介紹。我將與我的同事邁克爾·巴林特一起介紹會議。 MLOps 對話令人困惑,主要原因如下。 MLOps 是一個寬泛的術語,描述了使組織能夠設計、開發和維持生產 ML 系統的技術、流程和文化。幾乎任何與常規軟件開發、數據管理或與生產 ML 系統相關的商業智能 could…

Source

]]>
6401
通過 MLOps 和 NVIDIA 合作伙伴生態系統擴展 AI http://www.open-lab.net/zh-cn/blog/scaling-ai-with-mlops-and-the-nvidia-partner-ecosystem/ Wed, 08 Mar 2023 04:18:53 +0000 http://www.open-lab.net/zh-cn/blog/?p=6398 Continued]]> 人工智能正在影響著每一個行業,從改善客戶服務和簡化供應鏈到加速癌癥研究。當企業投資人工智能以保持領先于競爭時,他們往往難以找到成功的戰略和基礎設施。許多人工智能項目正在快速發展,這使得大規模生產尤其具有挑戰性。 我們相信開發規模化的產品級 AI 。 MLOps 是人工智能賦能工具和一套最佳實踐的組合,用于從培訓到部署的自動化、精簡、擴展和監控 ML 模型。 理想的 MLOps 平臺是一個全面的解決方案,它支持整個機器學習生命周期,從數據準備和模型開發到模型部署和監控。它應該提供工具和技術的無縫集成,使組織能夠輕松地構建、部署和管理機器學習模型。 開發大規模人工智能開發和部署的 MLOps 平臺涉及幾個關鍵步驟: 明確定義您希望通過 MLOps 平臺實現的目標。這可能包括改進模型開發工作流、確保模型質量、自動化模型部署和管理,或者這些的組合。

Source

]]>
6398
開發用于自動車輛感知的端到端自動標記管道 http://www.open-lab.net/zh-cn/blog/developing-an-end-to-end-auto-labeling-pipeline-for-autonomous-vehicle-perception/ Tue, 07 Mar 2023 04:27:46 +0000 http://www.open-lab.net/zh-cn/blog/?p=6406 Continued]]> 精確標注的數據集對于基于相機的深度學習算法執行自動駕駛車輛感知至關重要。然而,手動標記數據是一個耗時且成本密集的過程。 我們開發了一個自動標記管道,作為基于 Tata Consultancy Services (TCS) 人工智能( AI )的自動駕駛汽車平臺的一部分。該管道使用 NVIDIA DGX A100 和 TCS 功能豐富的半自動標簽工具進行檢查和糾正。這篇文章介紹了標簽流水線的設計、 NVIDIA DGX A100 如何加速標簽,以及通過實施自動標簽流程實現的節約。 自動標記管道必須能夠從網絡存儲驅動器中下載的圖像中生成以下注釋: 我們為 2D 對象檢測、 3D 對象檢測和車道檢測任務設計并訓練了定制的深度神經網絡( DNN )。然而,當測試用于自動標記目的的檢測器輸出時,我們觀察到輕微的漏檢。這為執行標簽的人增加了更多的工作。此外,

Source

]]>
6406
如何管理虛擬環境和自動化 Tox 測試 http://www.open-lab.net/zh-cn/blog/how-to-manage-virtual-environments-and-automate-testing-with-tox/ Tue, 21 Feb 2023 03:09:45 +0000 http://www.open-lab.net/zh-cn/blog/?p=6346 Continued]]> 許多開發人員使用 tox 作為 Python 中標準化和自動化測試的解決方案。然而,僅將該工具用于測試自動化嚴重限制了其功能和您可以實現的全部范圍。例如, tox 也是“它在我的機器上工作”問題的一個很好的解決方案。這有幾個原因,例如: 此外,最重要的是,上面列出的操作可以在 Windows 、 macOS 和 Linux OS 上執行。在本教程中,我將深入探討 tox 的工作原理以及如何使用它來節省寶貴的資源。我還將提供具體的代碼示例來演示如何利用 tox 。 如果你讀了 tox documentation ,并從字面上理解它的意思,你可能會認為 tox 只是一個用來創建虛擬環境的工具,用來安裝測試 Python 包所需的必要依賴項。 該文檔指出,“ tox 旨在自動化和標準化 Python 中的測試。它是簡化 Python 軟件的打包、

Source

]]>
6346
Jupyter 環境安全評估 http://www.open-lab.net/zh-cn/blog/evaluating-the-security-of-jupyter-environments/ Mon, 13 Feb 2023 03:40:19 +0000 http://www.open-lab.net/zh-cn/blog/?p=6297 Continued]]> 如何判斷 Jupyter 實例是否安全? NVIDIA AI 紅色團隊開發了 JupyterLab 擴展,以自動評估 Jupyter 環境的安全性。 jupysec 是一種工具,它根據近 100 條規則評估用戶環境,這些規則檢測 AI 紅色團隊確定為潛在漏洞、攻擊向量或危害指標的配置和工件。 NVIDIA AI 紅色團隊積極評估 NVIDIA 人工智能產品和開發管道的安全性。在操作上,團隊經常遇到 Jupyter 生態系統中的軟件,這是一套強大而靈活的工具,許多機器學習( ML )研究人員和工程師使用。 AI 紅色團隊確定了 Jupyter 配置和功能,可用于擴展訪問、獲得持久性或操縱開發運行時和工件。 Jupyter 生態系統由許多互連組件組成,這些組件設計用于在客戶機 – 服務器模型中執行 Julia 、 Python 或 R 代碼。通常,

Source

]]>
6297
使用 NVIDIA TAO 工具包和權重和偏差加速 AI 開發 http://www.open-lab.net/zh-cn/blog/accelerating-ai-development-with-nvidia-tao-toolkit-and-weights-biases/ Tue, 31 Jan 2023 07:34:43 +0000 http://www.open-lab.net/zh-cn/blog/?p=6125 Continued]]> 利用圖像分類、對象檢測、 自動語音識別 ( ASR )和其他形式的人工智能可以推動公司和商業部門的大規模變革。然而,從頭開始構建人工智能和深度學習模型是一項艱巨的任務。 構建這些模型的一個共同前提是擁有大量高質量的訓練數據和正確的專業知識,以準備數據、構建神經網絡,并不斷微調模型以優化性能。對于開始機器學習( ML )之旅的組織來說,這通常是一個挑戰。盡管人工智能可以提供明確和可衡量的好處,但進入壁壘很高,往往會阻礙各種規模的企業采用人工智能。 這篇文章討論了 NVIDIA TAO Toolkit 和 Weights & Biases MLOps 平臺的結合如何有助于開啟組織利用人工智能和加速常見人工智能任務的旅程。開發人員現在可以使用 NVIDIA TAO (訓練適應優化)工具包和權重和偏差( W & B )可視化和比較多個訓練運行。此外,我們將介紹構建對象檢測模型的示例工作流。

Source

]]>
6125
監控生產中的機器學習模型指南 http://www.open-lab.net/zh-cn/blog/a-guide-to-monitoring-machine-learning-models-in-production/ Mon, 23 Jan 2023 09:03:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=6148 Continued]]> 機器學習 模型越來越多地用于做出重要的現實決策,從識別欺詐行為到在汽車中應用自動剎車。 一旦將模型部署到生產中,機器學習從業者的工作就遠遠沒有結束。您必須監控您的模型,以確保它們在面對真實世界活動時繼續按預期執行。然而,像使用傳統軟件那樣監控機器學習系統是不夠的。 那么,如何有效地監控生產中的機器學習模型?需要監控哪些具體指標?哪些工具最有效?這篇文章將回答機器學習從業者的這些關鍵問題。 在機器學習的上下文中,監控是指跟蹤已部署模型的行為以分析性能的過程。部署后監控機器學習模型至關重要,因為模型在生產中可能會損壞和降級。部署不是一次性的行動,你會做而忘記。 為了確定在生產中更新模型的正確時間,必須有一個實時視圖,使利益相關者能夠不斷評估模型在實時環境中的性能。這有助于確保模型按預期運行。需要盡可能多地了解已部署的模型,以便在問題和源造成負面業務影響之前發現它們。

Source

]]>
6148
回顧年度: 2022 年趨勢文章 http://www.open-lab.net/zh-cn/blog/year-in-review-trending-posts-of-2022/ Tue, 03 Jan 2023 05:26:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5914 Continued]]> 2022 年標志著新技術和不斷發展的一年,各行業產生了廣泛的進步和人工智能驅動的解決方案。其中包括提高 HPC 和 AI 的工作量、研究突破以及 3D 圖形、游戲、模擬、機器人等方面的新功能。 在創紀錄的一年里, NVIDIA 技術博客發布了近 550 篇帖子,并獲得了超過 200 萬的訪問量。以下是 2022 年最受歡迎的 10 個帖子。 NVIDIA 發布開源 GPU 內核模塊 Linux 中 NVIDIA GPU 的 GPU 內核模塊的第一個開源版本創建了與操作系統的更緊密集成,并使開發人員能夠調試、集成和貢獻。 開始使用 NVIDIA Instant NeRFs 使用新的 NVIDIA NGP Instant NeRF ,您可以編譯代碼庫、準備圖像并訓練第一個 NeRF 。 Instant NeRF 只需要幾分鐘就能訓練出好看的視覺效果。

Source

]]>
5914
使用 NVIDIA TAO 工具包和 Azure 機器學習創建自定義 AI 模型 http://www.open-lab.net/zh-cn/blog/creating-custom-ai-models-using-nvidia-tao-toolkit-with-azure-machine-learning/ Tue, 13 Dec 2022 06:33:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5946 Continued]]> 目前,人工智能應用程序的構建和部署方式正在發生根本性轉變。人工智能應用越來越復雜,并應用于更廣泛的用例。這需要端到端的人工智能生命周期管理,從數據準備到模型開發和培訓,再到人工智能應用程序的部署和管理。這種方法可以降低前期成本,提高可擴展性,并降低客戶使用 AI 應用程序的風險。 雖然云原生的應用程序開發方法對開發人員很有吸引力,但機器學習( ML )項目是出了名的時間密集型和成本密集型項目,因為它們需要一個擁有多種技能的團隊來構建和維護。 這篇文章解釋了如何使用 NVIDIA TAO Toolkit 加速視覺 AI 模型開發,并將其部署到 NVIDIA Triton Inference Server 中進行推理,所有這些都在 Azure 機器學習( Azure ML )平臺上。 NVIDIA Triton 推理服務器是一款開源推理服務軟件,

Source

]]>
5946
人人超碰97caoporen国产