Vishal Mehta – NVIDIA 技術博客

揭開萬億參數大型語言模型 AI 推理部署的神秘面紗

Wed, 12 Jun 2024 06:06:56 +0000

人工智能（AI）正在改變各行各業，解決精準藥物發現、自動駕駛汽車開發等重大人類科學挑戰，并解決自動創建電子商務產品描述和從法律合同中提取見解等商業問題。如今，每家企業都在探索大語言模型(LLMs)，以創造競爭優勢。NVIDIA 云合作伙伴正在介入，為企業的人工智能之旅提供支持。例如，NexGen Cloud 為客戶提供通過其按需云平臺 Hyperstack 運行proofs-of-concept(PoCs）的機會，然后再致力于大規模的 supercloud 合同。您可以立即試用新一代 NVIDIA GPUs，從而快速采用其他服務層，例如 NVIDIA AI 平臺。在試點項目取得成功后，許多企業正在將這些計劃投入生產，以提高利潤。這就提出了一個重要問題：企業如何在提供出色用戶體驗的同時保持強勁的投資回報？大語言模型（LLM）生成的 tokens…

Source

]]>

深度了解 NVIDIA Grace Hopper 超級芯片架構

Thu, 10 Nov 2022 07:21:00 +0000

NVIDIA Grace Hopper 超級芯片架構是高性能計算（ HPC ）和 AI 工作負載的第一個真正的異構加速平臺。它利用 GPU 和 CPU 的優勢加速應用程序，同時提供迄今為止最簡單和最高效的分布式異構編程模型。科學家和工程師可以專注于解決世界上最重要的問題。在這篇文章中，您將了解 Grace Hopper 超級芯片的所有信息，并重點介紹 NVIDIA Grace Hoppper 所帶來的性能突破。有關 Grace Hopper 使用 NVIDIA Hopper H100 GPU 在最強大的基于 PCIe 的加速平臺上實現的加速的更多信息，請參閱 NVIDIA Grace Hopper Superchip Architecture 白皮書。 NVIDIA Grace Hopper 超級芯片架構將 NVIDIA Hopper GPU…

Source

]]>

NVIDIA Hopper 深入研究架構

Tue, 22 Mar 2022 06:43:00 +0000

今天，在 2022 NVIDIA GTC 主題演講中， NVIDIA 首席執行官 Jensen Huang 介紹了新的 NVIDIA H100 張量核心 GPU 基于新的 NVIDIA 漏斗 GPU 架構。這篇文章讓你看看新的 H100 GPU ，并介紹了NVIDIA Hopper 架構 GPU 的重要新功能。 NVIDIA H100 張量核心 GPU 是我們設計的第九代數據中心 GPU ，用于在前一代 NVIDIA A100 張量核心 GPU 上為大規模 AI 和 HPC 提供數量級性能跳躍。 H100 延續了 A100 的主要設計重點，提高了人工智能和 HPC 工作負載的可擴展性，大大提高了架構效率。對于當今的主流 AI 和 HPC 機型，配備 InfiniBand interconnect 的 H100 的性能是 A100 的 30 倍。

Source

]]>