醫療保健與生命科學 – NVIDIA 技術博客

醫療保健與生命科學 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Tue, 27 Feb 2024 23:07:40 +0000 zh-CN hourly 1 196178272 使用新的 NVIDIA AI 基礎模型生成代碼、回答查詢并翻譯文本 http://www.open-lab.net/zh-cn/blog/generate-code-answer-queries-and-translate-text-with-leading-generative-ai-models/ Mon, 05 Feb 2024 07:43:41 +0000 http://www.open-lab.net/zh-cn/blog/?p=8903 Continued]]> 本周的 Model Monday 版本包含 NVIDIA 優化的代碼 Lama、Kosmos-2 和 SeamlessM4T，您可以直接在瀏覽器中體驗。通過NVIDIA AI 基礎模型和端點，您可以訪問由 NVIDIA 構建的一系列精選社區，生成式 AI用于在企業應用程序中體驗、自定義和部署的模型。 Meta 的 Code Llama 70B 是最新的先進代碼 LLM，專用于代碼生成。它基于 Llama 2 模型構建，提供更高的性能和適應性。該模型可以從自然語言生成代碼，在編程語言之間翻譯代碼，編寫單元測試，并協助調試。 Code Lama 70B 具有 10 萬個令牌的大上下文長度，因此能夠處理和生成時間更長、更復雜的代碼，這對于更全面的代碼生成和提高處理復雜編碼任務的性能非常重要。這種開源模型可用于代碼翻譯、匯總、文檔、分析和調試等各種應用。

Source

]]>

8903

借助 NVIDIA TensorRT-LLM 和 NVIDIA Triton 部署 AI 編碼助手 http://www.open-lab.net/zh-cn/blog/deploy-an-ai-coding-assistant-with-nvidia-tensorrt-llm-and-nvidia-triton/ Thu, 01 Feb 2024 08:00:40 +0000 http://www.open-lab.net/zh-cn/blog/?p=8908 Continued]]> 大型語言模型 (LLM) 的出現革新了人工智能領域，為與數字世界的交互提供了全新的方式。盡管 LLM 通常能夠提供良好的通用解決方案，但為了更好地支持特定領域和任務，它們往往需要進行調整。 AI 編碼助手（或代碼 LLM）已成為幫助實現這一目標的一個領域。到 2025 年，80% 的產品開發生命周期將使用生成式 AI 進行代碼生成，開發者將充當后端和前端組件及集成的驗證者和編排者。您可以調整用于代碼任務的 LLM，簡化開發者的工作流程，并降低新手編程人員的門檻。Code LLM 不僅可以生成代碼，還可以填充缺失的代碼、添加文檔，并提供解決難題的提示。本文將介紹如何部署端到端代碼 LLM，包括具體的提示指南、優化技術和客戶端 – 服務器部署。我們使用NVIDIA Triton 推理服務器并使用NVIDIA TensorRT-LLM，

]]>

8908

借助加速網絡實現數據中心現代化 http://www.open-lab.net/zh-cn/blog/modernizing-the-data-center-with-accelerated-networking/ Tue, 30 Jan 2024 04:05:10 +0000 http://www.open-lab.net/zh-cn/blog/?p=8861 Continued]]> 加速網絡將 CPU、GPU、DPU（數據處理單元）或 SuperNIC 組合成加速計算結構，專門設計用于優化網絡工作負載。它使用專用硬件來卸載要求嚴苛的任務，以增強服務器功能。隨著 AI 和其他新工作負載的復雜性和規模不斷增加，對加速網絡的需求變得至關重要。數據中心作為計算的新單元，隨著網絡服務對CPU壓力的增加，現代工作負載對網絡基礎設施提出了新的挑戰。網絡基礎設施需要具備敏捷性、自動化和可編程性，并配備加速器和卸載功能，這些是充分發揮人工智能技術潛力和推動創新的關鍵。本文將探討加速網絡技術在數據中心中的優勢和實施策略，并重點介紹其在提升性能、可擴展性和效率方面的作用。網絡加速需要優化網絡的各個方面，包括處理器、網絡接口卡 (NIC)、交換機、線纜、光學和網絡加速軟件。利用無損網絡、遠程直接內存訪問 (RDMA)、動態路由、擁塞控制、性能隔離和網絡計算，

]]>

8861

使用現已推出 Beta 版的 NVIDIA AI Workbench 來創建、共享和擴展企業 AI 工作流程 http://www.open-lab.net/zh-cn/blog/create-share-and-scale-enterprise-ai-workflows-with-nvidia-ai-workbench-now-in-beta/ Tue, 30 Jan 2024 03:49:20 +0000 http://www.open-lab.net/zh-cn/blog/?p=8855 Continued]]> NVIDIA AI Workbench 現已進入測試階段，帶來了豐富的新功能，可簡化企業開發者創建、使用和共享 AI 和機器學習 (ML) 項目的方式。在 SIGGRAPH 2023 上發布的 NVIDIA AI Workbench，使開發者能夠在支持 GPU 的環境中輕松創建、協作和遷移 AI 工作負載。欲了解更多信息，請參閱借助 NVIDIA AI Workbench 無縫開發和部署可擴展的生成式 AI 模型。本文介紹了 NVIDIA AI Workbench 如何幫助簡化 AI 工作流程，并詳細介紹了測試版的新功能。本文還介紹了編碼副駕駛參考示例，該示例使您能夠使用 AI Workbench 在所選平臺上創建、測試和自定義預訓練的生成式 AI 模型。借助 AI Workbench，開發者和數據科學家可以在 PC 或工作站上靈活地在本地啟動 AI 或 ML 項目，

]]>

8855

強大的場景文本檢測和識別：簡介 http://www.open-lab.net/zh-cn/blog/robust-scene-text-detection-and-recognition-introduction/ Tue, 16 Jan 2024 06:53:07 +0000 http://www.open-lab.net/zh-cn/blog/?p=8774 Continued]]> 識別和識別自然場景和圖像中的文本對于視頻標題文本識別、檢測車載攝像頭的標牌、信息檢索、場景理解、車牌識別以及識別產品文本等用例變得非常重要。大多數這些用例都需要近乎實時的性能。常用的文本提取技術包括使用光學字符識別 (OCR) 系統。但是，大多數免費的商用 OCR 系統都經過訓練，可以識別文檔中的文本。在識別自然場景或帶字幕的視頻(如圖像透視、反射、模糊等)中的文本方面存在許多挑戰。在本系列的下一篇文章中，強大的場景文本檢測和識別：實施，討論了如何使用先進的深度學習算法和技術（例如增量學習和微調）實現 STDR 工作流。第三篇博文強大的場景文本檢測和識別：推理優化，涵蓋了為您的 STDR 工作流提供生產就緒型優化和性能。通常，文本提取過程涉及以下步驟：由于文本外觀的可變性(例如曲率、方向和失真)，識別自然場景圖像中的不規則文本可能具有挑戰性。

]]>

8774

強大的場景文本檢測和識別：實施 http://www.open-lab.net/zh-cn/blog/robust-scene-text-detection-and-recognition-implementation/ Tue, 16 Jan 2024 06:46:22 +0000 http://www.open-lab.net/zh-cn/blog/?p=8764 Continued]]> 要使場景文本檢測和識別適用于不規則文本或特定用例，您必須完全控制模型，以便根據用例和數據集執行增量學習或微調。請記住，此工作流是場景理解、基于 AI 的檢查和文檔處理平臺的主要構建塊。它應該準確且低延遲。在本系列的第一篇文章中，強大的場景文本檢測和識別：簡介討論了穩健的場景文本檢測和識別（STDR）在各行各業中的重要性以及所面臨的挑戰。第三篇博文強大的場景文本檢測和識別：推理優化涵蓋了 STDR 工作流的生產就緒型優化和性能。在這篇博文中，我們決定采用高度精確的先進深度學習模型。為了確保準確性并維持較低的端到端延遲，我們采用了以下工具和框架來執行模型推理優化：NVIDIA TensorRT 和 ONNX Runtime。為了確保標準模型能夠被部署和執行，同時保證具有可擴展性的高性能推理，我們還選擇使用了 NVIDIA Triton 推理服務器。為了訓練模型，

]]>

8764

強大的場景文本檢測和識別：推理優化 http://www.open-lab.net/zh-cn/blog/robust-scene-text-detection-and-recognition-inference-optimization/ Tue, 16 Jan 2024 06:41:55 +0000 http://www.open-lab.net/zh-cn/blog/?p=8759 Continued]]> 在本文中，我們將深入探討推理優化過程，以在推理階段提高機器學習模型的性能和效率。我們將討論所采用的技術，例如推理計算圖形簡化、量化和降低精度。我們還展示了場景文本檢測和識別模型的基準測試結果，其中比較了 ONNX 運行時和 NVIDIA TensorRT 使用 NVIDIA Triton 推理服務器。最后，我們總結了優化深度學習模型對于推理的重要性，以及使用端到端 NVIDIA 軟件解決方案的優勢，NVIDIA AI Enterprise 用于構建高效可靠的場景文本 OCR 系統。在本系列的第一篇文章中，強大的場景文本檢測和識別：簡介討論了穩健場景文本檢測和識別（STDR）在各行各業中的重要性以及所面臨的挑戰。第二篇博文強大的場景文本檢測和識別：實施并討論了如何使用先進的深度學習算法和技術（如增量學習和微調）實現 STDR 工作流。

]]>

8759

借助 NVIDIA RTX 系統為 Windows PC 上的 LLM 應用程序提供強效助力 http://www.open-lab.net/zh-cn/blog/supercharging-llm-applications-on-windows-pcs-with-nvidia-rtx-systems/ Mon, 08 Jan 2024 05:52:26 +0000 http://www.open-lab.net/zh-cn/blog/?p=8666 Continued]]> 大型語言模型 (LLM) 正在從根本上改變我們與計算機的交互方式。從互聯網搜索到辦公效率工具，這些模型正被整合到各種應用中。它們正在推進實時內容生成、文本摘要、客戶服務聊天機器人和問答用例的發展。如今，由 LLM 提供支持的應用程序主要在云端運行。但是，許多用例都將受益于在 Windows PC 上本地運行 LLM，包括游戲、創意、生產力和開發者體驗。在 CES 2024 上， NVIDIA 發布了一些開發者工具，用于在適用于 Windows PC 的 NVIDIA RTX 系統上加速 LLM 推理和開發。您現在可以使用 NVIDIA 端到端開發者工具在 NVIDIA RTX AI 就緒型 PC 上創建和部署 LLM 應用。 NVIDIA 剛剛宣布為熱門社區模型提供優化支持，包括 Phi-2。除了在 NVIDIA RTX 系統上對 Lama2、

]]>

8666

使用 NVIDIA TensorRT 加速的全新 Stable Diffusion 模型 http://www.open-lab.net/zh-cn/blog/new-stable-diffusion-models-accelerated-with-nvidia-tensorrt/ Mon, 08 Jan 2024 05:41:51 +0000 http://www.open-lab.net/zh-cn/blog/?p=8661 Continued]]> 在 CES 上， NVIDIA 分享道，SDXL Turbo、LCM-LoRA 和 Stable Video Diffusion 均由 NVIDIA TensorRT 加速。這些增強功能使 GeForce RTX GPU 用戶能夠實時生成圖像，并節省生成視頻的時間，從而大幅改善工作流程。 SDXL Turbo 利用新的蒸餾技術實現先進的性能，能夠實現單步圖像生成。由 Tensor Core 和 TensorRT 加速的 NVIDIA 硬件每秒可生成多達四張圖像，使您能夠首次體驗到實時 SDXL 圖像生成功能。有關非商業用途和商業用途的更多信息，請參閱 Stability AI 會員資格頁面。下載 SDXL Turbo 模型以生成面部表情。 Low-Rank Adaptation (LoRA) 是一種用于微調 Stable Diffusion…

]]>

8661

新模型 MolMIM 和 DiffDock 助力 NVIDIA BioNeMo 中的分子生成和分子對接 http://www.open-lab.net/zh-cn/blog/new-models-molmim-and-diffdock-power-molecule-generation-and-molecular-docking-in-bionemo/ Mon, 08 Jan 2024 05:36:43 +0000 http://www.open-lab.net/zh-cn/blog/?p=8655 Continued]]> 在科學、技術和醫學的交叉領域，尋找可行的藥物是最艱巨的挑戰之一。從數學上講，隨機偶然發現一個好的治療候選者的可能性小得驚人。這主要是因為只有幾個原子可以通過大量的方法連接在一起，使初看起來像藥物一樣的化合物。在對這些分子進行更深入的檢查后，絕大多數分子都會成為不適合的治療方法。臨床上可行的藥物必須具有多種特性或特性，如果缺少其中任何一種特性或特性或超出范圍，則可能會使藥物無效，甚至有毒。藥物獵人尋求的特性示例包括描述藥物的結合親和力、溶劑性、膜滲透性、分子量和穩定性的特性，等等。從本質上講，候選藥物的追求是多目標優化問題。生成式 AI 模型，例如 NVIDIA BioNeMo 中的 MolMIM，旨在直接解決尋找具有正確屬性的分子的挑戰。使用 MolMIM，研究人員可以生成分子，以最大限度地提高用戶指定的評分函數（簡稱 Oracle 函數）。

]]>

8655

2023 年最熱門的 NVIDIA 技術博客文章：生成式 AI、LLM、機器人開發和虛擬世界的突破 http://www.open-lab.net/zh-cn/blog/year-in-review-trending-posts-of-2023/ Tue, 19 Dec 2023 04:58:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=8555 Continued]]> 在 NVIDIA 激動人心的又一年即將結束之際，是時候回顧 2023 年 NVIDIA 技術博客中最熱門的案例了。生成式 AI、大型語言模型 (LLM)、高性能計算 (HPC) 和機器人等領域的突破性研究和開發正在引領變革性 AI 解決方案的發展，并吸引了讀者的興趣。其他熱門文章探討了視頻技術和視頻會議領域的進步、增強用戶體驗以及 AI 安全方面的突破。以下是 2023 年的部分亮點。借助生成式 AI 快速生成虛擬世界的 3D 素材 NVIDIA Omniverse 上的新生成式 AI 技術增強了虛擬環境中的 3D 素材創建。這些進步旨在使元宇宙中的虛擬世界創建更快、更輕松。利用 NVIDIA Maxine 眼神交流功能，增強視頻會議中的人際互動 NVIDIA Maxine 眼神交流技術利用 AI 實時調整您對攝像頭的注視點，

]]>

8555

借助 HiFi-NN 在函數標記領域取得突破性進展 http://www.open-lab.net/zh-cn/blog/breakthrough-in-functional-annotation-with-hifi-nn/ Tue, 19 Dec 2023 04:47:21 +0000 http://www.open-lab.net/zh-cn/blog/?p=8549 Continued]]> 從細胞新陳代謝到工業制造，酶是眾多過程的重要生物催化劑。應用人工智能生成酶是一個令人興奮的研究領域，可直接應用于生命科學。在這些科學挑戰中取得進展對于進一步推動藥物研發、環境科學和生物工程的發展至關重要。目前，地球上大量生命形式中只有一小部分進行了測序，這阻礙了機器學習算法在序列設計的復雜領域中的廣泛應用和泛化。改進的功能標記方法是酶研究的重要組成部分，能夠識別和表征新發現的酶的功能。這是了解復雜的生物過程和增強用于生成工作流程的數據的關鍵。基地營研究，一家位于倫敦的 Bio-AI 公司，同時也是 NVIDIA 初創加速計劃的成員，最近利用 NVIDIA GPU 訓練出了一種層次微調的最近鄰方法（HiFi-NN）。這種方法在召回率、精確度和 F1 分數方面相較現有模型有顯著提升，在酶標注任務上比先進的 SoTA 方法高出 15% 以上。

]]>

8549

在 RAPIDS libcudf 中使用嵌入式數據類型簡化 ETL 工作流程 http://www.open-lab.net/zh-cn/blog/streamline-etl-workflows-with-nested-data-types-in-rapids-libcudf/ Fri, 15 Dec 2023 05:29:43 +0000 http://www.open-lab.net/zh-cn/blog/?p=8581 Continued]]> 嵌入式數據類型是一種表示列式數據中分層關系的便捷方式。它們經常用于提取、轉換、加載（ETL）在商業智能領域的工作負載、推薦系統、網絡安全、地理空間和其他應用中。例如，列表類型可用于輕松地將多個事務附加到用戶，而無需創建新的查找表。結構類型可用于在同一列中附加靈活的元數據和許多鍵值對。在 Web 和移動應用程序中，嵌套類型將原始 JSON 對象表示為數據列中的元素，從而使這些數據能頭輸入到機器學習（ML）訓練管線。許多數據科學應用都依賴于嵌套類型來對復雜的數據輸入進行建模、管理和處理。在 RAPIDS 中，libcudf 是一套用于列式數據處理的 CUDA C++ 庫，旨在加速數據科學庫的性能。RAPIDS libcudf 基于 Apache Arrow 內存格式，支持 GPU 加速的數據讀取器、寫入器、關系代數函數和列轉換操作。除了數字和字符串等基本數據類型外，

]]>

8581

使用 NVIDIA 檢索 QA 嵌入模型構建企業檢索增強生成應用 http://www.open-lab.net/zh-cn/blog/build-enterprise-retrieval-augmented-generation-apps-with-nvidia-retrieval-qa-embedding-model/ Thu, 30 Nov 2023 06:31:11 +0000 http://www.open-lab.net/zh-cn/blog/?p=8359 Continued]]> 大型語言模型 (LLM) 對人類語言和編程語言的深刻理解正在改變 AI 格局。對于新一代企業生產力應用程序而言，它們至關重要，可提高用戶在編程、文案編輯、頭腦風暴和回答各種主題的問題等任務中的效率。然而，這些模型通常難以處理實時事件和特定知識領域，從而導致不準確之處。微調這些模型可以增強其知識，但成本高昂，并且需要定期更新。檢索增強生成（RAG）通過將信息檢索與 LLM 結合，為開放領域的問答應用提供解決方案。RAG 為 LLM 提供大量可更新的知識，有效解決了這些限制（圖 1）。NVIDIA NeMo 框架中的 NVIDIA NeMo Retriever 優化了 RAG 的嵌入和檢索部分，以提供更高的準確性和更高效的響應。本文概述了 RAG 工作流組件的工作原理，以及與創建支持 RAG 的 AI 應用相關的企業挑戰(例如商業可行性)。

]]>

8359

使用 NVIDIA BioNeMo 框架訓練用于藥物研發的生成式 AI 模型 http://www.open-lab.net/zh-cn/blog/train-generative-ai-models-for-drug-discovery-with-bionemo-framework/ Wed, 29 Nov 2023 06:09:38 +0000 http://www.open-lab.net/zh-cn/blog/?p=8346 Continued]]> NVIDIA BioNeMo 框架已發布，現可在 NGC 上下載，使研究人員能夠在藥物研發應用中構建和部署生成式 AI、大型語言模型 (LLM) 和基礎模型。 BioNeMo 平臺包括托管服務、API 端點和訓練框架，可簡化、加速和擴展用于藥物研發的生成式 AI.BioNeMo 能夠通過大規模端到端加速預訓練或微調先進的模型。它可作為 NVIDIA DGX 云上的完全托管服務和 NVIDIA Base Command 平臺，也可作為可下載的框架，用于部署本地基礎架構和各種云平臺。這為藥物研發人員和開發者提供了一種快速輕松的方法，以便在從標識別到潛在客戶優化的整個藥物研發流程中構建和集成先進的 AI 應用。 NVIDIA BioNeMo 為多個領域的生成式 AI 模型提供優化。BioNeMo 框架 v1.0 提供優化的模型架構和工具，

]]>

8346

人人超碰97caoporen国产