學術/教育 – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Tue, 17 Jun 2025 09:22:57 +0000
zh-CN
hourly
1
196178272 -
使用 FlashInfer 運行 NVIDIA 的高性能 LLM 推理內核
http://www.open-lab.net/zh-cn/blog/run-high-performance-llm-inference-kernels-from-nvidia-using-flashinfer/
Fri, 13 Jun 2025 07:42:42 +0000
http://www.open-lab.net/zh-cn/blog/?p=14248
Continued]]>
出色的 LLM 推理需要兩個關鍵要素:速度和開發者速度。速度是指通過使用高度優化的計算內核算法,最大限度地提高底層硬件的效率。開發者速度是指快速采用這些新內核并加速新模型、算法和硬件的能力。最終,這種速度的基礎是快速部署在底層 GPU 上運行的新計算內核,以及將這些內核輕松引入框架。 FlashInfer 是一個可定制的高效庫,用于構建高效的 LLM 服務引擎。它使用塊稀疏和可組合格式優化 KV 緩存存儲,以改善內存訪問并減少冗余,并具有可定制的注意力模板,可通過即時 (JIT) 編譯來適應各種設置。其負載平衡調度算法可根據動態用戶請求進行調整,同時保持與 NVIDIA CUDA Graph 靜態配置兼容。FlashInfer 已集成到領先的 LLM 服務框架 (例如 MLC Engine、SGLang 和 vLLM) 以及多個自定義引擎中。
Source
]]>
14248
-
借助 AI 超級計算和 NVIDIA CUDA-Q Academic 變革量子教育
http://www.open-lab.net/zh-cn/blog/transforming-quantum-education-with-ai-supercomputing-and-nvidia-cuda-q-academic/
Tue, 10 Jun 2025 09:19:51 +0000
http://www.open-lab.net/zh-cn/blog/?p=14309
Continued]]>
隨著量子計算機的擴展,它們將與 AI 超級計算機集成,以解決世界上一些最具挑戰性的問題。這些加速量子超級計算機將運行利用 CPU、GPU 和 QPU 功能的應用程序。 借助 NVIDIA CUDA-Q 平臺,用戶可以輕松執行研究和開發應用程序,這些應用程序可以在加速量子超級計算機上無縫運行,集成任何 qubit 模態,也可以在模擬中運行。CUDA-Q 目前用于在學術界和行業中開發各種應用,包括模擬更好的量子硬件、研究 error correction 等。 目前,對教育資源的需求與日俱增,可以教會學生如何在加速量子超級計算機中使用能夠支持此類混合環境的工具。NVIDIA CUDA-Q Academic 旨在將理論與實踐相結合,彌合這一差距,讓新一代量子計算 (QC) 專業人員做好準備,使用 CUDA-Q 處理加速量子超級計算機。
Source
]]>
14309
-
借助 3DGUT 在 gsplat 中革新神經重建和渲染
http://www.open-lab.net/zh-cn/blog/revolutionizing-neural-reconstruction-and-rendering-in-gsplat-with-3dgut/
Thu, 08 May 2025 06:17:59 +0000
http://www.open-lab.net/zh-cn/blog/?p=13819
Continued]]>
從訓練自動駕駛汽車 (AV) 到為機器人和數字孿生提供支持,逼真的 3D 仿真正在成為現代 AI 和圖形的基石。NeRF 和 3D Gaussian Splatting (3DGS) 等神經渲染技術徹底改變了根據原始傳感器數據重建和可視化 3D 場景的方式。 在本文中,我們將介紹 3D Gaussian Unscented Transform (3DGUT) 的實現,這是一種先進的方法,可增強 gsplat 庫中的神經渲染,并支持現實世界的攝像頭效果。通過這種集成,開發者和研究人員可以更輕松地獲得性能和保真度優勢,為自主機器、機器人和其他物理 AI 應用創建豐富的虛擬世界。 3DGUT 正在徹底改變 3D 渲染和場景重建。3DGUT 基于廣泛采用的 3DGS 框架構建,以更靈活的 Unscented Transform 取代傳統的 Elliptical…
Source
]]>
13819
-
概念驅動的 AI 教學助手引導學生獲得更深入的見解
http://www.open-lab.net/zh-cn/blog/concept%e2%80%91driven-ai-teaching-assistant-guides-students-to-deeper-insights/
Wed, 07 May 2025 06:26:11 +0000
http://www.open-lab.net/zh-cn/blog/?p=13824
Continued]]>
在當今的教育環境中,生成式 AI 工具既帶來了福音,也帶來了挑戰。雖然這些工具提供了前所未有的信息獲取途徑,但也引發了對學術誠信的新擔憂。越來越多的學生依靠 AI 直接回答家庭作業問題,而這通常以犧牲培養批判性思維技能和掌握核心概念為代價。 大學和教育工作者面臨著越來越多的兩難境地:如何利用 AI 的強大功能作為教學工具,同時確保它補充而不是縮短學習過程。關鍵在于開發引導學生進行理解的系統,而不是簡單地傳遞答案。 除了學術誠信問題外,許多大學還在努力解決助教 (TA) 短缺問題。在克萊姆森大學和全國各地的機構中,計算機科學和其他 STEM 領域的注冊人數增長超過了助教支持的速度。在某些課程中,學生與助教的比率為 20:1。在中期和項目截止日期等繁忙時期,這種不平衡通常會導致學生無法及時獲得所需的幫助。 為了應對這一挑戰,我們的 Clemson Capstone 團隊著手使用…
Source
]]>
13824
-
使用 NVIDIA NIM 對游戲進行代理式 LLM 和 VLM 推理基準測試
http://www.open-lab.net/zh-cn/blog/benchmarking-agentic-llm-and-vlm-reasoning-for-gaming-with-nvidia-nim/
Thu, 24 Apr 2025 04:08:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=13726
Continued]]>
這是 LLM 基準測試系列的第一篇文章,介紹了在使用 NVIDIA NIM 部署 Meta Llama 3 模型時,如何使用 GenAI-Perf 進行基準測試。 來自倫敦大學學院 (UCL) 決策、行動和推理知識 (DARK) 實驗室的研究人員在其全新的基于游戲的基準測試套件 Benchmarking Agentic LLM 和 VLM Reasoning On Games (BALROG) 中利用了 NVIDIA NIM 微服務。BALROG 經過專門設計,可使用各種游戲環境評估模型在具有挑戰性的長距交互式任務中的代理能力。 來自 DARK Lab 的團隊利用 NVIDIA NIM 簡化了詳盡的基準測試流程。在 DeepSeek-R1 NIM 發布時 ( 2025 年 2 月底) ,他們能夠使用 DeepSeek-R1,這是一個包含 671 億個參數的大型模型。
Source
]]>
13726
-
使用 NVIDIA NIM 構建 AI 驅動的自動引用驗證工具
http://www.open-lab.net/zh-cn/blog/developing-an-ai-powered-tool-for-automatic-citation-validation-using-nvidia-nim/
Wed, 16 Apr 2025 05:18:24 +0000
http://www.open-lab.net/zh-cn/blog/?p=13569
Continued]]>
引文的準確性對于保持學術和 AI 生成內容的完整性至關重要。當引用不準確或錯誤時,它們可能會誤導讀者并散布虛假信息。作為一支由悉尼大學機器學習和 AI 研究人員組成的團隊,我們正在開發一種 AI-powered 工具,能夠高效地交叉檢查和分析語義引用的準確性。 提及事實聲明可以幫助讀者相信其有效性,增強作者的可信度,并通過顯示信息來源來提高透明度。然而,確保語義引用的準確性(即確認聲明不僅匹配,而且忠實地代表引用來源的結論,而不會失真或誤解)非常耗時,而且通常需要深入的主題理解。 我們親身經歷了不準確的引用所帶來的挫折和挑戰,這促使我們開發了一個強大且可擴展的解決方案 — Semantic Citation Validation 工具。該解決方案簡化了引文驗證過程,并增強了各個領域的研究完整性。 隨著 大語言模型 (LLM) 的日益普及,對引文驗證的需求變得更加迫切。
Source
]]>
13569
-
借助適用于 LLM 的 NVIDIA NIM 微服務加速科學文獻審查
http://www.open-lab.net/zh-cn/blog/accelerating-scientific-literature-reviews-with-nvidia-nim-microservices-for-llms/
Wed, 26 Feb 2025 06:44:27 +0000
http://www.open-lab.net/zh-cn/blog/?p=13028
Continued]]>
精心設計的系統審查通常是研究人員探索科學領域的第一步。對于剛剛接觸該領域的科學家,它提供了該領域的結構化概述。對于專家而言,它可以細化他們的理解并激發新的想法。在 2024 年, Web of Science 數據庫收錄了 218,650 篇評測文章,凸顯了這些資源在研究中的重要性。 完成系統審查可顯著增強研究人員的知識庫及其學術影響。然而,傳統的評論文章需要收集、閱讀和總結有關特定主題的大量學術文章。由于這項人工練習非常耗時,處理過的文獻的范圍通常局限于幾十篇或幾百篇文章。跨學科內容 (通常超出研究人員的專業領域) 又增加了一層復雜性。 這些挑戰使得創建全面、可靠且有影響力的系統審查變得越來越困難。 大語言模型 (LLMs) 的出現提供了一種突破性的解決方案,能夠從大量文獻中快速提取和合成信息。參加 Generative AI Codefest Australia…
Source
]]>
13028
-
聚焦:東京大學使用 NVIDIA Grace Hopper 進行開創性的節能地震研究
http://www.open-lab.net/zh-cn/blog/spotlight-university-of-tokyo-uses-nvidia-grace-hopper-for-groundbreaking-energy-efficient-seismic-research/
Thu, 20 Feb 2025 04:36:04 +0000
http://www.open-lab.net/zh-cn/blog/?p=12968
Continued]]>
超級計算機是推動突破性發現的引擎。從預測極端天氣到推進疾病研究,以及設計更安全、更高效的基礎設施,這些機器可以模擬因規模、成本和材料要求而無法在現實世界中進行測試的復雜系統。 自 1999 年推出 GPU 以來,NVIDIA 一直在不斷突破加速 計算的極限 ,這種方法使用專業硬件,通過在并行處理中捆綁頻繁出現的任務來大幅加速工作。這種效率使超級計算機能夠處理前所未有的計算挑戰,同時減少每項任務消耗的能源。 如今,由 NVIDIA 提供支持的系統在高效超級計算領域處于領先地位,在 Green500 榜單前 10 名中有 8 名入選,而 Green500 榜單是高效超級計算機的行業基準測試。德國于利希超級計算中心(Jülich Supercomputing Center)的 JEDI 系統由 NVIDIA Grace Hopper 提供動力支持,充分體現了這一進步,實現了 72.
Source
]]>
12968
-
AI 基礎模型增強癌癥診斷并實現個性化治療
http://www.open-lab.net/zh-cn/blog/ai-foundation-model-enhances-cancer-diagnosis-and-tailors-treatment/
Tue, 04 Feb 2025 04:44:52 +0000
http://www.open-lab.net/zh-cn/blog/?p=12883
Continued]]>
斯坦福大學研究人員的一項新研究和 AI 模型正在簡化癌癥診斷、治療規劃和預后預測。這項名為 MUSK (Multimodal transformer with Unified maSKed modeling) 的研究旨在提高精準腫瘤學,根據每位患者獨特的醫療數據為其定制治療計劃。 “多模態基礎模型是醫學 AI 研究的新領域,”放射腫瘤學副教授兼研究高級作者 Ruijiang LI 說。“最近,我們為醫學領域開發了視覺語言基礎模型,尤其是在病理學領域。但是,現有研究使用的現有基礎模型需要配對的圖像 – 文本數據進行預訓練。盡管我們付出了大量努力,最終打造出 1M 病理圖像文本對,但它仍然不足以完全捕捉整個疾病譜系的多樣性。” 在考慮患者狀況和規劃最佳治療方案時,腫瘤科醫生依靠多種數據源。然而,醫生和 AI 模型仍然難以集成和解釋復雜的醫療數據。
Source
]]>
12883
-
AI 揭露被遺忘的潛在有害油氣井
http://www.open-lab.net/zh-cn/blog/ai-uncovers-potentially-hazardous-forgotten-oil-and-gas-wells/
Thu, 16 Jan 2025 06:16:31 +0000
http://www.open-lab.net/zh-cn/blog/?p=12693
Continued]]>
勞倫斯伯克利國家實驗室(Lawrence Berkeley National Laboratory) 的研究人員在美國各地散布著多達 80 萬口被遺忘的油氣井,他們開發了一種 AI 模型,能夠大規模準確定位可能向環境中泄漏有毒化學物質和溫室氣體(如甲烷) 的井。 該模型旨在識別自 1800 年代中期以來美國挖掘的大約 3.7M 油氣井中的許多井。 但其主要目的是幫助找到特定的井子集:無記錄的孤井 (UOWs)。 這些井并沒有出現在官方記錄中,也沒有已知的所有者,因此沒有任何法律實體負責封存這些“孤井”。此外,這些井的位置,尤其是一個多世紀前鉆得的位置 (當時井口的直徑通常為 6 英寸) 很少出現在識別油氣井的官方數據庫中。 更糟糕的是,這些泄漏的井并非異常。 在美國大約 300 萬平方英里的土地上,估計有 30 萬至 80 萬 UOWs。 要防止可能泄漏的井損害環境,
Source
]]>
12693
-
宣布推出 Nemotron-CC:用于 LLM 預訓練的萬億級英語語言數據集
http://www.open-lab.net/zh-cn/blog/announcing-nemotron-cc-a-trillion-token-english-language-dataset-for-llm-pretraining/
Thu, 09 Jan 2025 09:06:36 +0000
http://www.open-lab.net/zh-cn/blog/?p=12602
Continued]]>
NVIDIA 很高興地宣布發布 Nemotron-CC,這是一種包含 6.3 萬億個令牌的 英語語言 Common Crawl 數據集 ,用于預訓練高度準確的 大語言模型 (LLMs),其中包括 1.9 萬億個令牌的合成生成數據。高質量預訓練數據集是訓練先進 LLM 的關鍵之一,近期的頂級 LLM (例如 Meta Llama 系列 ) 基于包含 15 萬億個令牌的大量數據進行了訓練。 但我們對這 15 萬億個令牌的確切構成知之甚少。Nemotron-CC 旨在解決這一問題,并使更廣泛的社區能夠訓練高度準確的 LLM。互聯網爬行數據 (通常來自 Common Crawl) 通常是最大的令牌來源。近期開放的 Common Crawl 數據集 (例如 FineWeb-Edu 和 DCLM) 展示了如何在相對較短的令牌范圍內大幅提高基準精度。但是,實現此目標的代價是移除 90%的數據。
Source
]]>
12602
-
延時 AI 模型增強 IVF 胚胎選擇
http://www.open-lab.net/zh-cn/blog/time-lapse-ai-model-enhances-ivf-embryo-selection/
Thu, 12 Dec 2024 06:23:46 +0000
http://www.open-lab.net/zh-cn/blog/?p=12374
Continued]]>
來自康奈爾大學 (Weill Cornell Medicine) 的 研究人員 開發了一種由 AI 提供支持的模型,該模型可以幫助接受體外受精 (IVF) 的伴侶,并指導他們選擇健康的植入物。這項研究最近發表在 《自然通訊》(Nature Communications) 上,介紹了囊囊腫評估學習算法 (Blastocyst Evaluation Learning Algorithm, BELA)。這種先進的深度學習模型使用延時成像數據和孕齡來評估胎質量和染色體健康狀況。 通過為標準基因測試 (即非整倍體植入前基因測試 (PGT-A)) 提供非侵入性且經濟高效的補充,BELA 可以簡化胚胎選擇并降低家庭成本。 自 1978 年推出以來,IVF 已成功接生 800 多萬例,為全球面臨不育問題的個人和伴侶提供解決方案。選擇胚胎是此過程中的關鍵步驟,會顯著影響孕育成功率。
Source
]]>
12374
-
新的 AI 研究為自主機器人手術開辟了新的道路
http://www.open-lab.net/zh-cn/blog/new-ai-research-foreshadows-autonomous-robotic-surgery/
Tue, 10 Dec 2024 06:45:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=12383
Continued]]>
外科醫生在常規手術中常用和手動操作的機器人現在可以像人類一樣精確地自主執行關鍵的手術任務。 約翰?霍普金斯大學和斯坦福大學的研究人員透露,他們已將經過數小時手術視頻訓練的視覺語言模型(VLM)與廣泛使用的 da Vinci 機器人手術系統集成。 與 VLM 連接后,達芬奇的微型抓手 (或稱“手”) 可以自動執行三項關鍵手術任務:仔細提起身體組織、使用手術針和縫合傷口。 傳統的機器人訓練方法需要對機器人動作的每個組件進行詳細編程,而改裝后的 da Vinci 機器人僅使用模擬學習執行零樣本手術任務。該機器人僅依靠其視覺語言模型來模仿醫生在手術視頻中所做的操作。 這些結果讓我們一窺未來完全由自主機器人進行手術的可能性。 約翰?霍普金斯大學博士后研究員 Ji Woong “Brian” Kim 說:“這些機器人現在能夠自主執行這些非常復雜的任務,這真是太神奇了。
Source
]]>
12383
-
深度學習模型提高遠程天氣和氣候預測的準確性
http://www.open-lab.net/zh-cn/blog/deep-learning-model-boosts-accuracy-in-long-range-weather-and-climate-forecasting/
Thu, 14 Nov 2024 07:10:24 +0000
http://www.open-lab.net/zh-cn/blog/?p=12035
Continued]]>
華盛頓大學大氣科學系教授 Dale Durran 介紹了一種突破性的深度學習模型,該模型結合了大氣和海洋數據來設定新的氣候和天氣預報準確性標準。 在此 NVIDIA GTC 2024 會議中,Durran 介紹了一些技術,這些技術可以減少對傳統參數化的依賴,使模型能夠繞過天氣預報中常見的許多近似值。HEALPix 網格(從天文學中借鑒的網格)通過準確呈現地球的球形形狀來提高空間精度,消除失真,從而實現更精確的全球預報。 該模型能夠以最小的漂移生成可靠的長期預測,使用 NVIDIA A100 Tensor Core GPU 進行快速訓練,使用 NVIDIA PhysicsNeMo 在模擬中集成機器學習,并使用 NVIDIA Omniverse 實現高保真可視化,從而提高氣候預測的準確性和可解釋性。 您將學習構建準確、長期的地球系統模型的高級方法,包括:
Source
]]>
12035
-
機器人家務技能培訓
http://www.open-lab.net/zh-cn/blog/teaching-robots-to-tackle-household-chores/
Wed, 30 Oct 2024 09:51:31 +0000
http://www.open-lab.net/zh-cn/blog/?p=11852
Continued]]>
機器人可以承擔重復性或耗時的任務,從而使日常生活變得更加輕松。在 2024 年的 NVIDIA GTC 大會上,斯坦福大學的研究人員推出了 BEHAVIOR-1K,這是一項主要基準測試,旨在訓練機器人執行 1,000 項真實世界的活動,例如折疊衣物、烹飪早餐和清理派對后的場地。 OmniGibson 是一個先進的模擬環境,用于加速基于 NVIDIA Omniverse 平臺的具體 AI 研究。借助 OmniGibson,他們專注于訓練機器人掌握可直接應用于現實環境(從家庭輔助到工作場所等)的實用技能。 作為讓機器人技術用于日常輔助這一更廣泛計劃的一部分,BEHAVIOR-1K 基準測試側重于將先進的機器人功能帶入現實,并讓人們有時間參與他們喜歡的活動。 請關注 會議的 PDF 格式 ,其中詳細介紹了 BEHAVIOR-1K 如何利用從涉及 1,400…
Source
]]>
11852
人人超碰97caoporen国产