Healthcare & Life Sciences – NVIDIA 技術博客

Healthcare & Life Sciences – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Thu, 29 Aug 2024 07:33:50 +0000 zh-CN hourly 1 196178272 使用 NVIDIA NIM 增強 RAG 應用 http://www.open-lab.net/zh-cn/blog/enhancing-rag-applications-with-nvidia-nim/ Tue, 27 Aug 2024 07:28:23 +0000 http://www.open-lab.net/zh-cn/blog/?p=11101 Continued]]> 大語言模型（LLMs）的出現使 AI 行業受益匪淺，它提供了能夠生成類似人類的文本和處理各種任務的通用工具。然而，雖然 LLMs 展示了令人印象深刻的一般知識，但開箱即用時，它們在專業領域（例如動物科學）中的性能有限。為了提高其在特定領域的效用，該行業通常采用兩種主要策略：微調和檢索增強生成（RAG）。微調需要在精心策劃和結構化的數據集上訓練模型，這需要大量的硬件資源以及領域專家的參與，而這一過程通常既耗時又昂貴。遺憾的是，在許多領域，以兼容業務限制的方式聯系領域專家極具挑戰性。相反，RAG 涉及構建全面的知識文獻語料庫，以及一個有效的檢索系統，該系統可以提取相關文本塊以解決用戶查詢。通過將這些檢索到的信息添加到用戶查詢中，LLMs 可以生成更好的答案。雖然這種方法仍然需要主題專家為數據集精心策劃最佳來源，但它比微調更易于處理和業務兼容。此外，由于無需對模型進行大量訓練，

]]>

11101

使用 NVIDIA NIM 和 NVIDIA VIA 微服務構建 VLM 驅動的視覺 AI 代理 http://www.open-lab.net/zh-cn/blog/build-vlm-powered-visual-ai-agents-using-nvidia-nim-and-nvidia-via-microservices/ Mon, 29 Jul 2024 07:09:19 +0000 http://www.open-lab.net/zh-cn/blog/?p=10806 Continued]]> 傳統的視頻分析應用程序及其開發工作流通常基于固定功能且受限的模型構建，這些模型旨在僅檢測和識別一組選定的預定義對象。借助生成式 AI、NVIDIA NIM 微服務和基礎模型，您現在可以使用更少的模型構建具有廣泛感知和豐富語境理解的應用程序。新型生成式 AI 模型即視覺語言模型 (VLM) 為視覺 AI 智能體提供支持，這些智能體可以理解自然語言提示并執行視覺問答。視覺 AI 智能體解鎖了完全的應用可能性，顯著簡化了應用開發工作流程，并提供了變革性的新感知功能，如圖像或視頻摘要、交互式視覺問答和視覺警報。這些視覺 AI 智能體將部署在工廠、倉庫、零售商店、機場、交通交叉路口等地。它們將幫助運營團隊使用從自然交互中生成的更豐富的見解做出更明智的決策。 NVIDIA NIM 和 NVIDIA VIA 微服務旨在加速視覺 AI 代理的開發。在本文中，

]]>

10806

利用 NVIDIA VISTA-3D NIM 微服務實現計算機斷層掃描器官和疾病自動分割 http://www.open-lab.net/zh-cn/blog/computed-tomography-organ-and-disease-segmentation-using-the-nvidia-vista-3d-nim/ Fri, 26 Jul 2024 08:24:44 +0000 http://www.open-lab.net/zh-cn/blog/?p=10842 Continued]]> 全球執行的計算機斷層掃描 (CT) 掃描次數超過 300M 次，僅在美國就有 85M 次。放射科醫生正在尋找加快工作流程并生成準確報告的方法，因此擁有一個基礎模型來分割所有器官和疾病會很有幫助。理想情況下，您可以通過優化的方式在生產中大規模運行此模型。 NVIDIA Research 創建了一個新的基礎模型，用于分割全身 CT 圖像，并將其打包到高度優化的容器中，以便在部署中進行擴展。在本文中，我們將討論 NVIDIA VISTA-3D 基礎模型， NVIDIA NIM，以及如何在數據上運行模型。視覺基礎模型的興趣與日俱增。在醫學影像分析領域，兩個基本特征使這些模型特別實用： NVIDIA 一直專注于 3D CT 分割，最近開發了 VISTA-3D (Versatile Imaging SegmenTation and Annotation)。該模型已在超過 12…

]]>

10842

用于空間組學的細胞成像特征提取和形態聚類 http://www.open-lab.net/zh-cn/blog/cell-imaging-feature-extraction-and-morphology-clustering-for-spatial-omics/ Wed, 24 Jul 2024 07:43:47 +0000 http://www.open-lab.net/zh-cn/blog/?p=10697 Continued]]> VISTA-2D 是 NVIDIA 的新基礎模型，可以快速準確地執行細胞分割，這項基本任務在細胞成像和空間組學工作流程中至關重要，對所有下游任務的準確性至關重要。 VISTA-2D 模型使用圖像編碼器創建圖像嵌入，然后將其轉換為分割蒙版（圖 1）。這些嵌入必須包含每個細胞的形態信息。如果可以為每個細胞分割生成嵌入，則可以在所有嵌入上運行聚類，以自動將具有類似形態的細胞分組。在本文中，我將帶您深入了解隨附的 Jupyter Notebook，以展示如何使用這些工具首先分割細胞并使用 VISTA-2D 提取其空間特征，然后使用 RAPIDS。這將創建一個自動化流程來快速分類細胞類型。要學習本教程，您需要以下資源：此 Jupyter Notebook 的代碼位于 /clara-parabricks-workflows/

]]>

10697

借助 Geneformer AI 模型，有限數據也能解鎖基因網絡 http://www.open-lab.net/zh-cn/blog/unlock-gene-networks-using-limited-data-with-ai-model-geneformer/ Mon, 15 Jul 2024 05:20:21 +0000 http://www.open-lab.net/zh-cn/blog/?p=10655 Continued]]> Geneformer 是最近推出的和功能強大的 AI 模型，可以通過從大量單細胞轉錄組數據中進行遷移學習來學習基因網絡動力學和相互作用。借助此工具，研究人員可以在數據有限的情況下準確預測基因行為和疾病機制，從而加速藥物目標的發現，并提高對各種生物學背景下復雜基因網絡的理解。 AI 模型 Geneformer 由麻省理工學院和哈佛大學博德研究所的研究人員及其合作者開發，該模型使用 sc-RNA 表達數據中表達最高的基因生成每個細胞的密集表示，這些表示可以用作各種下游預測任務的特征。然而，Geneformer 的獨特之處在于其架構所支持的功能，即使在使用很少的數據進行訓練時也是如此。 Geneformer 具有類似 BERT 的 Transformer 架構，并基于來自各種人體組織中大約 3000 萬個單細胞轉錄組的數據進行了預訓練。

]]>

10655

NVIDIA Holoscan 和 RTI Connext 共同推動 AI 醫療設備的發展前景 http://www.open-lab.net/zh-cn/blog/powering-the-future-of-ai-enabled-medical-devices-with-nvidia-holoscan-and-rti-connext/ Wed, 03 Jul 2024 04:02:07 +0000 http://www.open-lab.net/zh-cn/blog/?p=10495 Continued]]> 各行各業對實時見解和自主決策的需求與日俱增，醫療健康和醫療設備也不例外。依靠實時邊緣 AI，新一代醫療健康有望提供更精確的治療、改善患者治療效果并提高運營效率。例如，未來的手術室將越來越多地采用支持人工智能和互聯的設備，以便實時訪問和交換整體患者數據、手術見解、決策和行動。在這樣的未來，軟件即醫療設備（SaMD）必須在嚴格的要求下運行，在分布式醫療系統中部署時，需要處理具有嚴格性能和延遲限制的大規模數據，同時確保高效、可靠和安全的數據連接，并在不影響性能或延遲的情況下在各種傳感器、顯示器、控制器和應用之間進行交換。本文將介紹如何集成NVIDIA Holoscan和RTI Connext，以創建具有高互操作性、低延遲和分布式連接的 AI 驅動的醫療設備應用程序。此集成可在盡可能減少開銷的情況下實現這些優勢，并減少實施工作和復雜性。

]]>

10495

利用合成數據生成解決醫學成像的局限性 http://www.open-lab.net/zh-cn/blog/addressing-medical-imaging-limitations-with-synthetic-data-generation/ Mon, 24 Jun 2024 05:18:32 +0000 http://www.open-lab.net/zh-cn/blog/?p=10430 Continued]]> 醫學成像中的合成數據提供了許多好處，包括在真實數據有限的情況下，以多樣化和逼真的圖像增強數據集的能力，從而減少與注釋真實圖像相關聯的成本和人工。此外，合成數據還為使用敏感患者數據提供了一種合乎道德的替代方案，有助于在不損害患者隱私的情況下進行教育和培訓。這篇文章介紹了 MAISI，一個NVIDIA AI Foundation 模型用于 3D 計算機斷層掃描（CT）圖像生成。MAISI 的首要目標是通過提供一種可靠高效的方法來生成高質量合成圖像，以用于各種研究和臨床應用，從而徹底改變醫學成像領域。通過克服數據稀缺和隱私問題的挑戰，MAISI 旨在提高醫學成像數據的可訪問性和可用性。該模型可以生成高分辨率合成 CT 圖像和相應的分割掩模，最多 127 個解剖類別（包括骨骼、器官和腫瘤），同時實現 512×512×512 的標志性體素尺寸和 1.0×1.0×1.0 mm³的間距。

]]>

10430

聚焦：思科借助 NVIDIA BlueField-3 DPU 提高工作負載安全性和運營效率 http://www.open-lab.net/zh-cn/blog/spotlight-cisco-enhances-workload-security-and-operational-efficiency-with-nvidia-bluefield-3-dpus/ Mon, 10 Jun 2024 06:59:14 +0000 http://www.open-lab.net/zh-cn/blog/?p=10346 Continued]]> 隨著網絡攻擊變得越來越復雜，組織必須不斷采用先進的解決方案來保護其關鍵資產。其中一種解決方案是Cisco Secure Workload，這是一種全面的安全解決方案，旨在保護跨不同基礎設施、位置和外形尺寸的應用程序工作負載。 Cisco 最近發布了 Cisco Secure Workload 3.9 版，該版本將企業的安全性和運營效率提升到了新的水平。它提供了新的功能來緩解威脅和漏洞，并為部署 microsegmentation 提供了更大的靈活性。現在，它還擴展到NVIDIA BlueField-3 數據處理器，其專用 Arm 核心可以加速硬件任務并隔離特定操作，從而確保高效數據處理和強大的安全性，從而打造更精簡、更安全的基礎設施。思科安全工作負載可為每次工作負載交互提供出色的可見性，并利用 AI 的強大功能自動執行人類管理員無法完成的任務，從而保護應用程序工作負載。

]]>

10346

借助 NVIDIA NIM 無縫部署大量 LoRA Adapters http://www.open-lab.net/zh-cn/blog/seamlessly-deploying-a-swarm-of-lora-adapters-with-nvidia-nim/ Fri, 07 Jun 2024 07:49:27 +0000 http://www.open-lab.net/zh-cn/blog/?p=10358 Continued]]> 最新的先進基礎大型語言模型 (LLM) 擁有數十億個參數，并已在數萬億個輸入文本標記上進行了預訓練。它們通常在各種用例上都取得了驚人的成果，而無需進行任何定制。盡管如此，研究表明，通過使用高質量、特定領域的數據集調整 LLM 可以實現下游任務的最佳準確率。在許多情況下，較小的自定義模型可以美甚至優于較大的通用 LLM，同時顯著降低部署成本。但是，針對特定下游任務定制模型可能會在創建和部署期間帶來重大挑戰。完整的 full fine-tuning 對于大型語言模型（LLM，即更新模型的所有參數），由于在整個模型中學習所需的計算基礎設施數量，可能很困難。在部署時，基礎設施成本也會增加，因為用戶需要在內存中托管多個大型模型，或者隨著整個模型的交換而承受更高的延遲。Low-rank adaptation（LoRA）是一種緩解這兩個問題的技術。本文簡要概述了 LoRA，

]]>

10358

在 NVIDIA Holoscan SDK 中構建集成 OpenCV 的零拷貝 AI 傳感器處理流程 http://www.open-lab.net/zh-cn/blog/build-a-zero-copy-ai-sensor-processing-pipeline-with-opencv-in-nvidia-holoscan-sdk/ Wed, 05 Jun 2024 07:19:36 +0000 http://www.open-lab.net/zh-cn/blog/?p=10193 Continued]]> NVIDIA Holoscan 是 NVIDIA 的多模態實時 AI 傳感器處理平臺，旨在幫助開發者構建端到端傳感器處理流程。該平臺的核心組件是 NVIDIA Holoscan SDK，其功能包括： Holoscan SDK 可用于為多種行業和應用場景構建流式 AI 流程，包括醫療設備、邊緣高性能計算和工業檢測等領域。有關更多信息，請參閱使用 NVIDIA Holoscan 開發生產就緒型 AI 傳感器處理應用，以獲取詳細信息。 Holoscan SDK 通過充分利用軟件和硬件來加速流式 AI 應用。它可以與 RDMA 技術結合，通過 GPU 加速進一步提高端到端流程性能。通常，端到端傳感器處理流程包括：此流程中的所有數據都存儲在 GPU 顯存中，Holoscan 原生運算符可以直接訪問，而無需主機設備內存傳輸。

]]>

10193

使用 QUELO-G 和 CUDA 圖進行量子力學增強型藥物研發 http://www.open-lab.net/zh-cn/blog/quantum-mechanics-enhanced-drug-discovery-using-quelo-g-and-cuda-graphs/ Tue, 21 May 2024 04:51:22 +0000 http://www.open-lab.net/zh-cn/blog/?p=10099 Continued]]> 在藥物研發中，人們經常使用基于所謂經典力場的方法，并認為這些方法很有用。然而，人們也廣泛認識到，力場模型中缺少一些重要的物理特性，導致應用受限。例如，在比較兩種具有不同形式電荷的分子時，力場模型無法提供準確的預測，因為模型中未考慮蛋白質極化。此外，由于缺乏形成和打破化學鍵的能力，這些模型不適用于共價藥物分子。許多人一致認為，基于量子力學 (管理微觀世界的基本物理學) 的模擬是解決這些問題的方法，但量子力學模擬被認為過于昂貴和耗時，不實用。 QSimulate 近期宣布推出 QUELO-G 平臺，該平臺能夠實現基于量子力學的自由能微擾（FEP）模擬，并實現出色的吞吐量。每個 GPU 卡每天的吞吐量超過 100 納秒，因此這些模擬可以在幾小時內完成。基于量子力學的模擬的直接應用將改變計算機輔助藥物研發，特別是在識別新的藥物分子方面。

]]>

10099

使用 RAG 和 NVIDIA NeMo Guardrails 開發安全可靠的醫療應用程序 http://www.open-lab.net/zh-cn/blog/develop-secure-reliable-medical-apps-with-rag-and-nvidia-nemo-guardrails/ Wed, 15 May 2024 06:02:57 +0000 http://www.open-lab.net/zh-cn/blog/?p=9954 Continued]]> 想象一下，一個應用程序可以篩選堆積如山的患者數據，智能地搜索和回答有關診斷、健康史等的問題。這種人工智能驅動的虛擬“臨床助理”可以簡化與患者預約的準備工作，總結健康記錄，并輕松回答有關單個患者的詢問。這樣的系統也可以被微調以執行下游任務，例如臨床試驗。隨著大型語言模型的擴散，人工智能驅動的解決方案正在醫療保健領域出現，幫助醫療專業人員快速提取、總結和破譯關鍵的、可能挽救生命的信息。然而，基于 LLM 的臨床輔助系統面臨著挑戰，例如 LLM 引起的潛在錯誤，如幻覺，以及受保護健康信息（PHI）泄露的風險。這篇文章探討了使用檢索增強生成（RAG）技術為臨床醫生開發高效、可靠和安全的虛擬助理的管道。RAG 管道確保機器人提供的答案來源于數據，同時也可以進行事實核查并防止幻覺。本員額提議的虛擬臨床助理由兩個主要組成部分組成：

]]>

9954

NVIDIA DeepStream 7.0 里程碑式發布，用于下一代視覺 AI 開發 http://www.open-lab.net/zh-cn/blog/nvidia-deepstream-7-0-milestone-release-for-next-gen-vision-ai-development/ Tue, 14 May 2024 06:35:57 +0000 http://www.open-lab.net/zh-cn/blog/?p=9984 Continued]]> NVIDIA DeepStream 是一個功能強大的 SDK，可以解鎖 GPU 加速的構建塊，以構建端到端的視覺 AI 管道。憑借 40 多個現成的插件，您可以輕松部署具有尖端 AI 推理、對象跟蹤和流行的物聯網消息代理（如 REDIS、Kafka 和 MQTT）無縫集成的完全優化的管道。 DeepStream 提供直觀的 REST API 來控制您的 AI 管道，無論是部署在遠端還是云端。 DeepStream 7.0 的最新版本是我們迄今為止最重要的版本之一，旨在為您在生成人工智能時代提供突破性的功能。此版本包含旨在加速下一代應用程序開發的創新功能。發布亮點包括以下內容：立即下載 DeepStream 7.0 版。在構建視覺人工智能應用程序時，業務的首要任務是優化人工智能管道，以獲得一流的性能。無論你是一名經驗豐富的職業選手，

]]>

9984

在 NVIDIA DeepStream 中使用單視圖 3D 跟蹤緩解視覺感知障礙 http://www.open-lab.net/zh-cn/blog/mitigating-occlusions-in-visual-perception-using-single-view-3d-tracking-in-nvidia-deepstream/ Wed, 08 May 2024 06:16:05 +0000 http://www.open-lab.net/zh-cn/blog/?p=9846 Continued]]> 當涉及到智能視頻分析（IVA）應用程序（如交通監控、倉庫安全和零售購物者分析）的感知時，最大的挑戰之一是閉塞。例如，人們可能會移動到結構障礙物后面，零售購物者可能由于貨架單元而無法完全看到，汽車可能會隱藏在大型卡車后面。本文將解釋如何利用 NVIDIA DeepStream SDK 解決現實生活中 IVA 部署中常見的視覺感知遮擋問題。在我們的物理世界中，通過相機鏡頭觀察到的一些物體的運動可能看起來不穩定。這是由于相機對 3D 世界的 2D 表示。水星和火星等行星的逆行就是一個例子，這讓古希臘天文學家感到困惑。他們無法解釋為什么行星有時會向后移動（圖 1）。所感知到的明顯退行是由于恒星和行星在夜空中的軌跡造成的。這些是宇宙三維空間中軌道運動在夜空二維畫布上的投影。如果古代天文學家知道三維空間的運動模式，他們就可以預測這些行星在二維夜空中的出現。

]]>

9846

NVIDIA TensorRT 模型優化器加速生成人工智能推理性能，現已公開 http://www.open-lab.net/zh-cn/blog/accelerate-generative-ai-inference-performance-with-nvidia-tensorrt-model-optimizer-now-publicly-available/ Wed, 08 May 2024 04:49:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=9822 Continued]]> 在快速發展的環境中，生成人工智能的發展對加速推理速度的需求仍然是一個緊迫的問題。隨著模型規模和復雜性的指數級增長，對快速生成結果以同時服務于眾多用戶的需求也在持續增長。NVIDIA 平臺站在這一努力的前沿，通過芯片、系統、軟件和算法等全技術堆棧的創新，實現永久的性能飛躍。 NVIDIA 正在擴展其推理產品 NVIDIA TensorRT 模型優化器，一個集成了最先進的后期訓練和環中訓練模型優化技術的綜合庫。這些技術包括量化和稀疏性，旨在降低模型復雜性，以實現更高效的下游推理庫，如 NVIDIA TensorRT LLM，從而更有效地優化深度學習模型的推理速度。作為 NVIDIA TensorRT 生態系統的一部分，NVIDIA TensorRT 模型優化器（簡稱模型優化器）可用于多種流行的體系結構，包括 NVIDIA Hopper、NVIDIA Ampere 和 NVIDIA…

]]>

9822

人人超碰97caoporen国产