Generative AI / LLMs – NVIDIA 技術博客

Generative AI / LLMs – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Thu, 12 Dec 2024 04:05:55 +0000 zh-CN hourly 1 196178272 利用 NVIDIA Morpheus 加速警報分流和 LLM 代理強化安全運營中心 http://www.open-lab.net/zh-cn/blog/augmenting-security-operations-centers-with-accelerated-alert-triage-and-llm-agents-using-nvidia-morpheus/ Thu, 24 Oct 2024 08:20:15 +0000 http://www.open-lab.net/zh-cn/blog/?p=11631 Continued]]> 安全運營中心（SOC）分析師每天都會收到大量傳入的安全警報。為了確保其組織的持續安全，他們的任務是仔細檢查傳入的噪音，分揀出誤報，并找出可能是真正安全漏洞的指標。然而，警報的數量之多可能意味著泄露的重要早期指標被隱藏起來。更不用說流程本身，該流程通常是重復性的、耗時的且成本高昂。我們能否構建工作流程來緩解這些問題，同時仍然保持良好的甚至更好的安全級別？首先，我們研究了 NVIDIA Morpheus ，這是一種 GPU 加速的網絡安全 AI 框架，用于處理和分析高速數據流。特別是，我們關注數字指紋 AI 工作流，該工作流支持在網絡上進行大規模異常檢測。數字指紋工作流可以學習任何給定實體的正常行為特征，并將其表示為自動編碼器模型。當行為出現偏差時（例如，如果用戶顯示幾個新的地理位置），系統會生成與異常程度對應的 z 分數。傳統上，

]]>

11631

多代理 AI 和 GPU 驅動的聲音轉文本技術創新 http://www.open-lab.net/zh-cn/blog/multi-agent-ai-and-gpu-powered-innovation-in-sound-to-text-technology/ Tue, 22 Oct 2024 03:29:45 +0000 http://www.open-lab.net/zh-cn/blog/?p=11629 Continued]]> 自動音頻字幕 (Automated Audio Captioning) 任務的核心是從音頻輸入中生成自然語言描述。鑒于輸入 (音頻) 和輸出 (文字) 之間的不同模式，AAC 系統通常依靠 audio encoder 從聲音中提取相關信息，表示為 feature vectors，然后 decoder 用于生成文本描述。這一研究領域對于開發使機器能夠更好地解釋周圍聲學環境并與之交互的系統至關重要。意識到其重要性的 Detection and Classification of Acoustic Scenes and Events（DCASE）社區自 2020 年以來舉辦了年度 AAC 競賽，吸引了全球超過 26 個學術界和行業的團隊參加。收聽 Audio Example of a Recording Environment in a Forest 的結果。

]]>

11629

使用 NVIDIA NIM 漏洞分析代理藍圖快速分流容器安全性 http://www.open-lab.net/zh-cn/blog/rapidly-triage-container-security-with-the-vulnerability-analysis-nvidia-nim-agent-blueprint/ Tue, 08 Oct 2024 07:40:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=11444 Continued]]> 隨著 CVE 數據庫中報告的漏洞數量不斷加速增長，解決軟件安全問題變得更具挑戰性。評估單個容器的漏洞需要收集、理解和合成數百條信息。截至 2023 年底，報告的漏洞超過 20 萬個，傳統的掃描和修補方法已變得難以管理。企業越來越多地采用生成式 AI 來推動各個領域的創新。根據 IDC 的說法，漏洞檢測和解決將成為軟件交付領域的主要生成式 AI 用例。 Generative AI 可以改善漏洞防御，同時減輕安全團隊的負擔。組織已經開始探索如何將其用于自動化，但在企業級擴展需要一個復雜的 AI 系統。視頻 1 展示了 NVIDIA 如何使用生成式 AI 和檢索增強型生成技術 (RAG) 加速企業級軟件容器中的漏洞分析，并將評估和緩解 CVE 的時間從數小時或數天縮短到幾秒鐘。此 AI 智能體示例使 NVIDIA…

Source

]]>

11444

借助生成式 AI 賦能的 OpenUSD 工作流實現大規模電影級內容制作 http://www.open-lab.net/zh-cn/blog/producing-cinematic-content-at-scale-with-a-generative-ai-enabled-openusd-pipeline/ Mon, 07 Oct 2024 08:22:02 +0000 http://www.open-lab.net/zh-cn/blog/?p=11462 Continued]]> 制作廣告需要大量資源，需要在物理位置以及各種道具和布景下，在不同的場景和環境中展示產品，以便更準確地定位消費者。這種傳統流程不僅昂貴且耗時，而且還會對物理環境造成破壞，這讓您在回家后無法捕捉新的角度。越來越多的組織正在通過開發可增強靈活性和創造力的 3D 配置器解決方案來克服這些障礙。產品配置器解決方案由通用場景描述（Universal Scene Description）和生成式 AI 開發，可幫助廣告公司大規模創建超個性化廣告內容。為了展示生成式 AI 支持的配置器如何增強復雜的設計流程，NVIDIA 創意團隊在 NVIDIA Omniverse 上開發了一款名為 CineBuilder 的工具。使用 OpenUSD 和生成式 AI，CineBuilder 簡化了高質量電影內容的合成、生成和制作，適用于汽車廣告等用例。

]]>

11462

利用 AI 和 NVIDIA RTX GPU 加速現實捕捉工作流程效率 http://www.open-lab.net/zh-cn/blog/accelerating-reality-capture-workflows-with-ai-and-nvidia-rtx-gpus/ Mon, 07 Oct 2024 08:00:36 +0000 http://www.open-lab.net/zh-cn/blog/?p=11457 Continued]]> Reality Capture 可創建高度準確、細節豐富的沉浸式環境數字表示。現場掃描和加速數據處理方面的創新以及神經輻射場（Neural Radiance Fields）和高斯拼接等新興技術正在顯著增強 Reality Capture 的功能，這些技術正在徹底改變與物理世界的交互和分析。作為現實捕獲的第一步，站點掃描使用激光雷達和攝影測量等方法生成詳細的 3D 模型，同時由 NVIDIA RTX GPU 提供支持的加速處理可實現更快、更高效的數據處理。NeRFs 擅長生成逼真的 3D 場景，而高斯射板技術則提供了一種實現流暢、高效渲染的新穎方法。人工智能通過提供用于對象檢測、分割和分類的高級算法來增強這些工具，從而提供更深入的見解。本文將探討 NVIDIA 如何走在人工智能與現實捕獲集成的前沿，借助強大的 GPU、軟件解決方案和尖端研究推動這些技術進步。

]]>

11457

新的獎勵模型有助于改善 LLM 與人類偏好的匹配 http://www.open-lab.net/zh-cn/blog/new-reward-model-helps-improve-llm-alignment-with-human-preferences/ Thu, 03 Oct 2024 08:33:19 +0000 http://www.open-lab.net/zh-cn/blog/?p=11471 Continued]]> 從人類反饋中進行強化學習（Reinforcement learning from human feedback）對于開發符合人類價值觀和偏好的 AI 系統至關重要。RLHF 使最強大的 LLMs，包括 ChatGPT、Claude 和 Nemotron 系列能夠生成出色的響應。通過將人工反饋集成到訓練過程中，RLHF 使模型能夠學習更細致入微的行為，并做出更好地反映用戶期望的決策。這一方法提高了 AI 生成的響應的質量，并增強了 AI 應用中的信任度和可靠性。為了幫助 AI 社區輕松采用 RLHF 來構建和自定義模型，NVIDIA 發布了 Llama 3.1-Nemotron-70B-Reward ，這是一種先進的獎勵模型，可對 LLM 生成的響應進行評分。這些分數可用于提高 LLM 響應質量，使人類與 AI 之間的互動更加積極、更具影響力。 Llama 3.1…

]]>

11471

在 NVIDIA RTX 系統上使用 Llama.cpp 加速 LLM http://www.open-lab.net/zh-cn/blog/accelerating-llms-with-llama-cpp-on-nvidia-rtx-systems/ Wed, 02 Oct 2024 08:42:38 +0000 http://www.open-lab.net/zh-cn/blog/?p=11480 Continued]]> 適用于 Windows PC 平臺的 NVIDIA RTX AI 提供了一個由數千個開源模型組成的蓬勃發展的生態系統，供應用程序開發者利用并集成到 Windows 應用程序中。值得注意的是，llama.cpp 是一款熱門工具，在撰寫本文時擁有超過 65K 顆 GitHub 星。此開源庫最初發布于 2023 年，是一個輕量級、高效的大語言模型 (LLM) 推理框架，可在包括 RTX PC 在內的一系列硬件平臺上運行。本文介紹了 RTX PC 上的 Llama.cpp 如何為構建需要 LLM 功能的跨平臺或 Windows 原生應用提供出色的解決方案。雖然 LLMs 在解鎖令人興奮的新用例方面大有可為，但其大容量內存和計算密集型特性通常使開發者難以將它們部署到生產應用中。為解決這一問題，Llama.cpp 提供了大量功能，以優化模型性能，并在各種硬件上高效部署。

]]>

11480

使用 NVIDIA NIM 和 Outerbounds 構建 LLM 驅動的生產系統 http://www.open-lab.net/zh-cn/blog/building-llm-powered-production-systems-with-nvidia-nim-and-outerbounds/ Wed, 02 Oct 2024 08:36:08 +0000 http://www.open-lab.net/zh-cn/blog/?p=11474 Continued]]> 在過去 18 個月中，隨著語言模型的快速擴展，如今有數百種變體可供選擇。這些變體包括大語言模型（LLMs）、小語言模型（SLMs）和特定領域的模型，其中許多模型可以免費用于商業用途。特別是對于 LLMs，使用自定義數據集進行微調的過程也變得越來越經濟實惠和簡單。隨著 AI 模型的成本降低且更易于訪問，越來越多的現實世界流程和產品成為潛在應用。考慮任何涉及非結構化數據的流程，包括支持工單、醫療記錄、事故報告、劇本等。所涉及的數據通常很敏感，而結果對業務至關重要。雖然 LLMs 讓黑客快速演示變得輕而易舉，但為開發和部署 LLM 驅動的應用建立適當的流程和基礎設施并非易事。所有常見的企業問題仍然適用，包括如何：在企業環境中部署大型語言模型（LLMs）需要一種安全且結構良好的機器學習（ML）基礎架構、開發和部署方法。

]]>

11474

使用 NVIDIA AI 端點和 Ragas 對醫療 RAG 的評估分析 http://www.open-lab.net/zh-cn/blog/evaluating-medical-rag-with-nvidia-ai-endpoints-and-ragas/ Tue, 01 Oct 2024 08:59:35 +0000 http://www.open-lab.net/zh-cn/blog/?p=11492 Continued]]> 在快速發展的醫學領域，尖端技術的集成對于增強患者護理和推進研究至關重要。其中一項創新是檢索增強生成（RAG），它正在改變醫療信息的處理和使用方式。 RAG 將大語言模型 (LLMs) 的功能與外部知識檢索相結合，解決了信息過時和生成不準確數據（稱為“幻覺”）等關鍵限制。通過從結構化數據庫、科學文獻和患者記錄中檢索最新的相關信息，RAG 為醫療應用提供了更準確、更符合情境感知的基礎。這種混合方法提高了生成輸出的準確性和可靠性，并增強了可解釋性，使其成為藥物研發和臨床試驗篩選等領域的重要工具。隨著我們繼續探索 RAG 在醫學領域的潛力，必須嚴格評估其性能，同時考慮檢索和生成組件，以確保在醫療應用中實現更高的準確性和相關性標準。醫療 RAG 系統具有獨特的需求和要求，這凸顯了對全面評估框架的需求，這些框架可以有力地解決這些問題。在本文中，

]]>

11492

借助 NVIDIA ACE 和 Unreal Engine 5 實現 AI 驅動的 MetaHuman 部署簡化和擴展 http://www.open-lab.net/zh-cn/blog/simplify-and-scale-ai-powered-metahuman-deployment-with-nvidia-ace-and-unreal-engine-5/ Tue, 01 Oct 2024 08:56:54 +0000 http://www.open-lab.net/zh-cn/blog/?p=11489 Continued]]> 在 2024 年 Unreal Fest 大會上，NVIDIA 發布了適用于 NVIDIA ACE 的全新 Unreal Engine 5 設備端插件，使用戶能夠更輕松地在 Windows PC 上構建和部署由 AI 驅動的 MetaHuman 角色。ACE 是一套數字人技術，可提供由生成式 AI 驅動的語音、智能和動畫。開發者現在還可以在 Autodesk Maya 中訪問新的 Audio2Face-3D 插件，以制作 AI 驅動的面部動畫。此插件提供了一個簡單、精簡的界面，有助于更輕松、更快速地在 Maya 中開發虛擬形象。該插件隨附源代碼，因此，作為開發者，您可以深入研究并開發適用于您選擇的數字內容創建（DCC）工具的插件。 NVIDIA 還構建了一個利用 Epic 的 Unreal Pixel Streaming 技術的 Unreal Engine 5…

]]>

11489

借助檢索增強型生成技術推動 AI 賦能游戲開發的演進 http://www.open-lab.net/zh-cn/blog/evolving-ai-powered-game-development-with-retrieval-augmented-generation/ Tue, 01 Oct 2024 08:52:57 +0000 http://www.open-lab.net/zh-cn/blog/?p=11486 Continued]]> 游戲開發是一個復雜且資源密集型的過程，尤其是在使用像 Unreal Engine 這樣的高級工具時。開發者會發現自己需要瀏覽大量信息，這些信息通常分散在教程、用戶手冊、API 文檔和源代碼本身中。這是一項多方面的工作，需要具備編程、設計和項目管理方面的專業知識，同時需要在創新和實際實施之間取得平衡，以滿足緊迫的截止日期和玩家期望。大型語言模型（LLMs）正在集成到開發流程的各個階段。這些模型通過驅動智能非玩家角色（NPC）、協助代碼生成以及最大限度地減少重復性任務所花費的時間，正在改變工作流程。然而，當 LLMs 缺乏對特定領域知識的訪問權限時——無論是角色的背景故事還是游戲引擎源代碼的復雜性——其有效性都會受到限制。雖然使用專業數據對這些模型進行微調可以幫助克服這些限制，但這一過程通常耗時且昂貴，對于希望在工作流程中充分利用人工智能的開發者來說，構成了重大挑戰。

]]>

11486

利用 GPT 推進量子算法設計 http://www.open-lab.net/zh-cn/blog/advancing-quantum-algorithm-design-with-gpt/ Mon, 30 Sep 2024 09:19:55 +0000 http://www.open-lab.net/zh-cn/blog/?p=11498 Continued]]> 大語言模型（LLMs）等 AI 技術正在迅速改變許多科學學科。量子計算也不例外。NVIDIA、多倫多大學和圣猶達兒童研究醫院攜手合作，將生成式預訓練變壓器（GPTs）引入新量子算法的設計中，包括生成式量子特征求解器（GQE）技術。 GQE 技術是 AI for Quantum 技術浪潮中的新技術。由 NVIDIA CUDA-Q 平臺開發，GQE 是第一種使用自己的 GPT 模型創建復雜量子電路的方法。 CUDA-Q 平臺在開發 GQE 方面發揮了重要作用。在量子計算中訓練和使用 GPT 模型需要對 CPU、GPU 和 QPU 進行混合訪問。CUDA-Q 專注于加速量子超級計算，這使其成為完全混合計算環境，非常適合 GQE。據 GQE 聯合作者 Alan Aspuru-Guzik 稱，這些能力將 CUDA-Q 定位為可擴展的標準。

]]>

11498

使用 NVIDIA NIM Operator 在 Kubernetes 上管理 AI 推理流程 http://www.open-lab.net/zh-cn/blog/managing-ai-inference-pipelines-on-kubernetes-with-nvidia-nim-operator/ Mon, 30 Sep 2024 09:15:08 +0000 http://www.open-lab.net/zh-cn/blog/?p=11495 Continued]]> NVIDIA NIM 微服務是一套易于使用的云原生微服務，可縮短產品上市時間，并簡化生成式 AI 模型在云、數據中心、云和 NVIDIA GPU 加速工作站的部署，開發者對這些微服務表現出極大興趣。為滿足不同用例的需求，NVIDIA 正在推出各種打包的 AI 模型作為 NVIDIA NIM 微服務，以在生成式 AI 推理工作流中啟用關鍵功能。典型的生成式 AI 應用集成了多個不同的 NIM 微服務。例如，在 RAG 工作流中，多回合對話式 AI 使用 LLM、嵌入和重新排序 NIM 微服務。這些微服務的部署和生命周期管理及其對生產環境中的生成式 AI 工作流的依賴項可能會給 MLOps 和 LLMOps 工程師以及 Kubernetes 集群管理員帶來額外的工作量。因此，NVIDIA 宣布推出 NVIDIA NIM Operator ，

]]>

11495

AI 聊天機器人為非洲農民提供多語言服務支持 http://www.open-lab.net/zh-cn/blog/ai-chatbot-delivers-multilingual-support-to-african-farmers/ Fri, 27 Sep 2024 09:26:29 +0000 http://www.open-lab.net/zh-cn/blog/?p=11501 Continued]]> 一些資源極為緊張的非洲農民正在通過多模態聊天機器人獲得按需的人工智能賦能的建議，該機器人可提供有關如何提高產量或抗擊常見作物病蟲害的詳細建議。自 2 月以來，東非國家馬拉維的農民通過手機上的 WhatsApp 訪問了名為 UlangiziAI 的聊天機器人。聊天機器人可以理解通過文本或語音留言發送的與農業相關的問題，還可以識別和解釋照片。該應用程序以英語或齊切瓦語回答查詢，齊切瓦語是該國 2000 萬人口中大約一半的人的母語。在馬拉維，大約 30％的人口不會讀寫，該應用程序能夠以自然語言回答至關重要。該平臺由在馬拉維工作了 21 年的非政府組織 Opportunity International 開發。由于智能手機在該國的使用率仍然很低，該非政府組織聘請了一批當地的馬拉維人與農村農業社區合作。這些農民支持代理接受培訓和智能手機，

]]>

11501

聚焦：Montai 利用 NVIDIA NIM 微服務構建用于藥物研發的多模態 AI 平臺 http://www.open-lab.net/zh-cn/blog/spotlight-montai-builds-a-multimodal-ai-platform-for-drug-discovery-using-nvidia-nim-microservices/ Thu, 26 Sep 2024 09:53:16 +0000 http://www.open-lab.net/zh-cn/blog/?p=11509 Continued]]> 藥物研發旨在開發新的治療藥物，這些藥物能夠有效地針對疾病，同時盡可能地減少對患者的副作用。使用多模態數據（例如分子結構、細胞圖像、序列和非結構化數據）對于識別新型安全的候選藥物非常重要。然而，創建用于計算機輔助藥物研發的多模態 AI 模型具有挑戰性。這些模型必須調整各種類型的數據，并處理高度復雜的計算。多模態 AI 模型通常需要先進的深度學習技術，而這些技術的計算要求很高。確保這些模型有效地使用來自所有數據類型的信息而不引入偏差是一項主要困難。有關更多詳細信息，請參閱《Toward Unified AI Drug Discovery with Multimodal Knowledge》。 Montai Therapeutics 是一家旗艦先鋒公司，該公司正在使用 NVIDIA BioNeMo 平臺應對這些挑戰。Montai 創新的核心是整合和管理全球最大、

]]>

11509

人人超碰97caoporen国产