NVIDIA 今天發布了面向游戲玩家、創作者和開發者的新一代硬件 – GeForce RTX 50 系列臺式機和筆記本電腦 GPU。除這些 GPU 外，NVIDIA 還推出了 NVIDIA RTX Kit ，這是一套神經渲染技術，可使用 AI 對游戲進行光線追蹤、渲染具有龐大幾何圖形的場景，以及創建具有逼真視覺效果的游戲角色。RTX Kit 可增強幾何圖形、紋理、材質和照明，為復雜的開放世界提供更高的視覺保真度和性能，同時減少偽影、穩定性和 VRAM 使用率。開發者可以將單個或所有 RTX Kit SDK 直接集成到其渲染管線中。
RTX 神經著色器將 AI 引入可編程著色器
25 年前，NVIDIA 推出了 GeForce 和可編程著色器，解鎖了圖形技術領域 20 年的創新成果，從像素著色、計算著色到實時光線追蹤，不一而足。除了采用 NVIDIA Blackwell 架構的全新 GeForce RTX 50 系列 GPU 之外，NVIDIA 還將推出 RTX 神經著色器，該技術可將小型神經網絡引入可編程著色器，開創圖形創新的新時代。神經著色的應用非常廣泛，包括輻射緩存、紋理壓縮、材質、輻射場等。
借助 RTX 神經著色器 SDK，開發者可以在 RTX AI PC 上訓練游戲數據和著色器代碼，并在運行時使用 NVIDIA Tensor Core 加速其神經表征和模型權重。在訓練期間，我們會將神經游戲數據與傳統數據的輸出進行比較，并在多個周期內進行改進。開發者可以使用 Slang 簡化訓練過程，Slang 是一種著色語言，可以將大型復雜功能拆分成更易于處理的較小部分。
這項突破性技術可用于三種應用：RTX 神經紋理壓縮、RTX 神經材質和神經輻射緩存（Neural Radiance Cache，NRC）。
- RTX 神經紋理壓縮 利用 AI 在不到一分鐘的時間內壓縮數千個紋理。它們的神經表征可實時存儲或訪問，或無需進一步修改即可直接加載到內存中。在相同的視覺質量下，神經壓縮紋理可節省高達傳統塊壓縮紋理 7 倍的 VRAM 或系統內存。
- RTX Neural Materials 使用 AI 來壓縮復雜的著色器代碼 ，這些代碼通常專為離線材質而設計，并由多層材質 (例如：porcelain 和 silk) 構建而成。材質處理速度最高可提升至原來的 5 倍，因此能夠以游戲就緒的幀率渲染電影級畫質素材。
- RTX Neural Radiance Cache 使用 AI 學習多次反射間接照明，從而在路徑追蹤光線發生一到兩次初始反射后，推理無限次反射。與無輻射緩存的路徑追蹤照明相比，這提供了更好的路徑追蹤間接照明和性能。NRC 現已通過 RTX Global Illumination SDK 提供，并將很快通過 RTX Remix 和 Portal with RTX 提供。
開發者可以在本月底通過 NVIDIA RTX 套件 開始使用 RTX Neural Shaders 和 RTX Neural Texture Compression SDK。 注冊以在上市時收到通知。 對于 DirectX 開發者， Microsoft 將在不久的將來為 DirectX 添加 Cooperative Vector 支持 。這將使神經著色器能夠利用 RTX Tensor Cores 的加速性能。
Microsoft 的 Silicon、Media 和 Graphics 合作伙伴團隊項目經理 Bryan Langley 表示：“微軟很高興能與 NVIDIA 合作，通過為神經著色技術提供全行業支持，推動新一代圖形編程。DirectX 很快將支持 Cooperative Vectors，這將釋放 NVIDIA GeForce RTX 硬件上 Tensor Cores 的強大功能，并使游戲開發者能夠在 Windows 上全面加速神經著色器。”
穿越渲染數字人的神秘山谷
在實時圖形中，人臉渲染是一項極具挑戰性的任務，因為人們在自然條件下甚至會注意到與現實的微小偏差。RTX Neural Faces 提供了一種使用生成式 AI 改善人臉質量的創新方法。Neural Faces 不采用強力渲染，而是采用簡單的光柵化面部和 3D 姿態數據作為輸入，并使用實時生成式 AI 模型來推理更自然的面部。在不同的光照、情緒和遮蔽條件下，從不同角度對生成的面部從數千張離線生成的圖像進行訓練。
訓練流程可以使用真實照片或 AI 生成的圖像，并使用擴散模型創建變體。然后，對經過訓練的模型進行 NVIDIA TensorRT 優化，以實時推理面部。RTX 神經面孔代表著利用生成式 AI 重新定義實時圖形之旅的第一步。
RTX Neural Faces 由適用于頭發和皮膚的 RTX Character Rendering SDK 提供支持。讓游戲角色的頭發和皮膚看起來和模擬準確具有挑戰性。基于鏈的尖端頭發技術每根頭發最多需要 30 個三角形，而對于整根梳子最多需要 400 萬個三角形，這使得光線追蹤 BVH 的構建成本高昂。Linear-Swept Spheres (LSS) 是由 GeForce RTX 50 系列 GPU 加速的全新基元，可減少渲染發絲所需的幾何體數量，并使用球體代替三角形來更準確地契合頭發形狀。借助 LSS，我們能夠以更出色的性能和更小的顯存占用制作光線追蹤頭發。
傳統的渲染方法無法準確模擬光線與人類皮膚的交互方式，而這可能會產生塑料般的外觀。次表面散射 (SSS) 可模擬光線在半透明材質表面下的滲透和內部散射情況，從而打造更柔和、更自然的外觀。開發者可以通過本月底推出的 RTX 角色渲染 SDK 開始使用 RTX 皮膚和頭發算法。RTX Remix 中也提供 RTX 皮膚。 注冊以在上市時接收通知 。
創建無限復雜的開放世界?
在過去 30 年里，用于創作游戲的三角形數量呈指數級增長。隨著 Unreal Engine 5 Nanite 幾何系統的推出，開發者可以構建充滿數以億計三角形的開放世界。但是，隨著光線追蹤游戲場景的幾何復雜性呈爆炸式增長，為不同細節級別 (LOD) 每幀構建包圍盒層次結構 (BVH) 的成本呈指數級增長，因此無法實現實時幀率。RTX Mega Geometry 可加速 BVH 的構建，與目前的標準相比，可對三角形進行多達 100 倍的光線追蹤。
所有開發者將于本月底通過 NVIDIA Streamline 獲得 DLSS 4 SDK。Streamline 簡化了將新的 NVIDIA 技術集成到應用和游戲中的過程。新的 Transformer 模型向后兼容現有的 Super Resolution 和 Ray Reconstruction 集成。對于 Unreal Engine 5 開發者，DLSS 4 將于本月底登陸 NvRTX。 注冊以接收 DLSS 更新 。
NVIDIA Reflex 是一項延遲降低技術，可同步 CPU 和 GPU 以實現出色的響應速度，從而在對延遲敏感的游戲中加快目標捕獲速度、縮短反應時間并提高瞄準精度。新的 Reflex 2 引入了 Frame Warp，進一步降低延遲，根據最新的鼠標輸入更新渲染的游戲幀，然后發送到顯示器。預測性 inpainting 技術使用先前幀的顏色和深度數據來填充線程束留下的孔。因此，與原生渲染相比，Reflex Frame Warp 可將延遲降低高達 75%。Reflex 2 SDK 即將登陸 GeForce RTX 50 系列 GPUs，并將在后續更新中添加對其他 GeForce RTX GPUs 的支持。注冊以接收 Reflex 更新。
借助 ACE 自主游戲角色重新定義游戲 AI
數十年來，游戲中一直使用 AI 這個術語。這些非玩家角色（NPC）通常遵循嚴格的規則，旨在模仿智能、遵循引導式故事情節，并以腳本形式與玩家進行交互。然而，隨著智能語言模型的興起，游戲 AI 已經為真正的智能革新做好準備。
NVIDIA 引入了 NVIDIA ACE 自主游戲角色 ，重新定義了游戲 AI。NVIDIA ACE 由生成式 AI 提供動力支持，可打造生動、動態的游戲世界，其伙伴能夠理解并支持玩家目標，敵人能夠動態適應玩家戰術。
為實現這些自主角色，我們推出了能夠以逼真決策所需的類似人類頻率進行規劃的新型 ACE 小語言模型 (SLMs)，以及用于視覺和音頻的多模態 SLMs，使 AI 角色能夠聽到音頻提示并感知環境。
復制人類決策需要游戲角色與玩家進行自然交互，感知環境，通過潛在選項推理，并在數百毫秒內戰略性地規劃和執行下一步行動。借助 GeForce RTX 50 系列 GPU 中的蒸餾創新技術和改進，多個 AI 模型能夠在 GPU 上同時運行，為游戲角色提供自主性，同時更大限度地提高游戲的畫質和性能。即將推出的新款 NVIDIA ACE 模型包括：
感知模型?
- NemoAudio 4B Instruct 能夠輸入音頻和文本并輸出文本，能夠描述游戲環境中的音景。
- Cosmos Nemotron 4B 128K Instruct 可將圖像和文本導入并生成文本，并且能夠進行簡單的空間理解。
- Parakeet CTC XXL 1.1B 多語種可將多語種音頻轉錄為文本。
- NV-OCR 可快速識別屏幕上的字符和文本，并將其轉錄為純文本。
認知模型?
- Mistral Nemo Minitron 8B 128K Instruct 是指令跟隨功能的先進技術，可讓游戲角色精確地進行角色扮演。
- Mistral Nemo Minitron 4B 128K Instruct 降低了準確性，同時減少了 VRAM 消耗。
- Mistral Nemo Minitron 2B 128K Instruct 是我們最小的版本 ，使用 1.5 GB 的 VRAM。
動作模型?
- A2 Flow 是一個零樣本文本轉語音模型，支持多種語言。
感知、認知和動作均存儲在經過優化的嵌入模型中，游戲角色可不斷調用該模型以做出下一個決策。在智能體框架中實施這些模型將在實時游戲場景中推動類似人類的決策。
KRAFTON 的 PUBG Ally 展示了一個可協作的角色 (CPC)，該角色可根據實時交互戰略性地規劃和執行巧妙的戰術，并與人類玩家動態協作以確保生存。 KRAFTON 的 InZOI 是他們即將推出的生活模擬游戲，展示了 Smart Zoi：角色通過全天采取的行動來調整自己的行為。 Wemade 的 MIR5 是他們即將推出的 MMORPG 游戲，它提供了一個智能的“突襲頭目 (raid boss)”，可以從過去的戰斗中學習，并根據玩家行為調整戰術，從而在每次運行時創造更引人入勝的體驗。 NetEase 的 NARAKA: BLADEPOINT MOBILE PC VERSION 擁有智能 AI 伙伴，可根據玩家的命令執行操作。
音頻驅動的 AI 面部動畫很快將得到重大更新，使角色更具表現力。NVIDIA 宣布推出一款基于 Audio2Face 實時擴散的全新架構，可提供更準確、更細致的唇部同步效果，改善動態和生動的情緒，以及自然的非語言反應。
適用于代理工作流的最新 NVIDIA ACE 設備端模型即將推出搶先體驗版。使用 NVIDIA 游戲內推理 (IGI) SDK 開始 PC 部署，該 SDK 可將 PC 預配置為必要的 AI 模型、引擎和依賴項。它為 C++ 游戲和應用編排過程內 AI 推理，并支持跨不同硬件加速器的所有主要推理后端。
開始使用?
GeForce RTX 50 系列 開啟了渲染和 AI 的新時代。直接在著色器中訓練和部署 AI，以獲得更好的壓縮和近似技術。借助突破性的 BVH 構建技術，構建更復雜的開放世界。利用新的數字人渲染技術實現實時性能。使用由 AI 提供支持的最新光線追蹤算法來模擬精確的光線傳輸。將傳統游戲角色轉換為 AI 驅動的自主版本，打造全新游戲體驗。通過游戲開發資源中心訪問 RTX 套件、DLSS 4、Reflex 2 和 NVIDIA ACE 技術。
?
?
