AWS – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 17 Jul 2025 06:40:18 +0000
zh-CN
hourly
1
196178272 -
NVIDIA Dynamo 新增對 AWS 服務的支持，可大規模提供經濟高效的推理
http://www.open-lab.net/zh-cn/blog/nvidia-dynamo-adds-support-for-aws-services-to-deliver-cost-efficient-inference-at-scale/
Tue, 15 Jul 2025 06:35:33 +0000
http://www.open-lab.net/zh-cn/blog/?p=14628
Continued]]>
Amazon Web Services (AWS) 開發者和解決方案架構師現在可以在基于 NVIDIA GPU 的 Amazon EC2 上利用 NVIDIA Dynamo，包括由 NVIDIA Blackwell 加速的 Amazon EC2 P6，并添加了對 Amazon Simple Storage (S3) 的支持，此外還有與 Amazon Elastic Kubernetes Services (EKS) 和 AWS Elastic Fabric Adapter (EFA) 的現有集成。此次更新將大規模服務大語言模型 (LLM) 的性能、可擴展性和成本效益提升到了新的水平。 NVIDIA Dynamo 是專為大規模分布式環境打造的開源推理服務框架。它支持所有主要的推理框架，例如 PyTorch、SGLang、TensorRT-LLM 和 vLLM，并包含高級優化功能，例如：
Source
]]>
14628
-
聚焦：Stone Ridge Technology 利用 AWS 上的 NVIDIA PhysicsNeMo 加速油藏模擬工作流
http://www.open-lab.net/zh-cn/blog/spotlight-stone-ridge-technology-accelerates-reservoir-simulation-workflows-with-nvidia-modulus-on-aws/
Thu, 19 Dec 2024 09:18:06 +0000
http://www.open-lab.net/zh-cn/blog/?p=12486
Continued]]>
能源勘探中固有的風險和不確定性包括未知的地質參數、流體和巖石屬性的變化、邊界條件和噪聲觀測數據。嚴格校準關鍵油藏工程任務和現場優化的不確定性需要運行大量前向模擬。用例包括歷史記錄匹配、概率預測和反向問題。當與包含數十萬或數百萬個主動網格單元的高保真模型結合使用時，高性能計算 (HPC) 模擬器需要大量計算資源。 傳統上，代理或代理模型用于應對這些挑戰，因為它們能夠快速評估場景。許多現有的代理生成方法都針對特定場景，無法推廣到不同的問題。另一方面，全場代理模型在空間和時間上直接近似地求解油藏的主要或狀態變量，類似于全物理數值模擬器。 因此，可以將這些代理替換為完整的模擬器，并可用于應對各種挑戰。由于高計算要求和算法挑戰，為 3D 油藏生成全場代理仍然是一項挑戰。然而，生成完整字段代理的可行方法是結合使用先進的 ML 技術 (例如神經運算符、Neural Operators)、
Source
]]>
12486
-
使用 NVIDIA Triton 推理服務器支持的 Amazon SageMaker 多模型端點在同一 GPU 上運行多個 AI 模型
http://www.open-lab.net/zh-cn/blog/run-multiple-ai-models-on-same-gpu-with-sagemaker-mme-powered-by-triton/
Tue, 25 Oct 2022 05:25:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=5560
Continued]]>
去年 11 月，AWS 在 Amazon SageMaker 中集成了開源推理服務軟件 NVIDIA Triton Inference Server。機器學習 (ML) 團隊可以使用 Amazon SageMaker 作為一項完全托管的服務來大規模構建和部署 ML 模型。 通過這種集成，數據科學家和 ML 工程師可以輕松地使用 NVIDIA Triton 多框架、高性能推理，與 Amazon SageMaker 完全管理的模型部署一起使用。 今天， AWS 在 Amazon 上宣布了 Amazon GPU 多模型端點（ MME ）。 MME 提供在 GPU 上運行多個深度學習或 ML 模型的能力，同時使用 Triton 推理服務器。有關詳細信息，請參見 Run Multiple Deep Learning Models on GPU with Amazon…
Source
]]>
5560
-
利用 AWS Graviton3 上的 SVE 加速 NVIDIA HPC 軟件
http://www.open-lab.net/zh-cn/blog/accelerating-nvidia-hpc-software-with-sve-on-aws-graviton3/
Mon, 19 Sep 2022 03:00:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=5248
Continued]]>
最新 NVIDIA HPC SDK 更新擴展了可移植性，現在支持基于 Arm 的 AWS Graviton 3 processor 。在本文中，您將學習如何使用 NVIDIA 編譯器啟用可縮放矢量擴展（ Scalable Vector Extension ， SVE ）自動矢量化，以最大限度地提高運行在 AWS Graviton3 CPU 上的 HPC 應用程序的性能。 NVIDIA HPC SDK 包括經過驗證的編譯器、庫和軟件工具，對于最大限度地提高開發人員生產力和為 CPU 、 CPU 或云構建 HPC 應用 至關重要。 NVIDIA HPC compilers 為 NVIDIA GPU 和多核 Arm 、 OpenPOWER 或 x86-64 CPU 啟用跨平臺 C 、 C ++和 Fortran 編程。對于使用 OpenMP 、 OpenACC 和 CUDA 以 C…
Source
]]>
5248
-
在 Amazon EC2 上使用 NVIDIA Riva 構建語音支持的人工智能虛擬助手
http://www.open-lab.net/zh-cn/blog/building-a-speech-enabled-ai-virtual-assistant-with-riva-on-amazon-ec2/
Thu, 28 Jul 2022 05:16:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=4730
Continued]]>
語音 AI 可以在聯絡中心協助人類代理，為虛擬助理和數字化身供電，在視頻會議中生成實時字幕，等等。在后臺，這些基于語音的技術協調了自動語音識別（ ASR ）和文本到語音（ TTS ）管道網絡，以提供智能、實時的響應。 從頭開始構建這些實時語音人工智能應用程序并非易事。從建立 GPU 優化的開發環境到在 300 毫秒內使用定制的基于大型 transformer 的語言模型部署語音 AI 推理，語音 AI 管道需要專門的時間、專業知識和投資。 在這篇文章中，我們將介紹如何通過使用 NVIDIA Riva 運行 GPU 優化的應用程序。在沒有先驗知識或經驗的情況下，您將學習如何快速配置 GPU 優化的開發環境，并使用 Jupyter 筆記本運行 NVIDIA Riva ASR 和 TTS 示例。跟隨之后 虛擬助手演示 可以在 Amazon EC2 上由 NVIDIA GPU…
Source
]]>
4730
-
為 NVIDIA BlueField DPU 應用程序選擇開發環境
http://www.open-lab.net/zh-cn/blog/choosing-a-development-environment-for-bluefield-dpu-applications/
Fri, 08 Apr 2022 09:20:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=3680
Continued]]>
Step-A Step-B 去喝杯咖啡… Step-C 你多久在說明書中看到“去喝杯咖啡”一次？作為一名開發人員，我很早就發現，這種令人討厭的俏皮話是我生活中的禍根。上下文切換，無論持續時間長短，在應用程序開發周期中都是一項很高的成本。在所有需要你離開的步驟中，等待應用程序編譯是最難擺脫的。 隨著我們進入 NVIDIA BlueField DPU 應用程序開發的新世界，高效地設置構建步驟非常重要，以便您能夠無縫地。在本文中，我介紹了為 DPU 編譯應用程序的不同方法。 在 DPU 應用開發 在系列文章中，我談到了在中創建 DOCA 數據平面插件 FRR 用于卸載策略。 FRR 的代碼計數接近 100 萬行（ 789678 SLOC ），這使得它成為測量構建時間的最佳候選。 DPU 具有 Arm64 體系結構，
Source
]]>
3680
-
使用 Bottlerocket 和 基于 NVIDIA 的 Amazon EC2 實例大規模部署 AI 工作負載
http://www.open-lab.net/zh-cn/blog/deploy-ai-workloads-at-scale-with-bottlerocket-and-nvidia-powered-amazon-ec2-instances/
Mon, 07 Mar 2022 04:22:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=3194
Continued]]>
在大規模生產中部署人工智能支持的服務，如基于語音的助手、電子商務產品推薦和呼叫中心自動化，是一項挑戰。在降低運營成本的同時提供最佳的最終用戶體驗需要考慮多個因素。其中包括底層基礎設施的組成和性能、基于用戶需求擴展資源的靈活性、集群管理開銷和安全性。 為了應對大規模部署人工智能的挑戰，企業 IT 團隊已采用 Kubernetes （ K8s ）進行容器編排和 NVIDIA 加速計算，以滿足生產人工智能部署的性能需求。此外，人們越來越關注操作系統（ OS ）在生產基礎設施中的作用。生產環境的主機操作系統對安全性、資源利用率以及調配和擴展額外資源所需的時間有直接影響。隨著用戶需求的增加，這會影響用戶體驗、安全性和部署成本。 Bottlerocket 是 AWS 開發的基于 Linux 的最小開源操作系統，專門為運行容器而構建。它非常強調安全性，只包括運行容器的基本軟件。
Source
]]>
3194
-
使用 NVIDIA CloudXR 和 Amazon Web 服務開發、部署和分發沉浸式體驗
http://www.open-lab.net/zh-cn/blog/develop-deploy-and-distribute-immersive-experiences-with-cloudxr-and-aws/
Mon, 27 Dec 2021 05:04:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=2677
Continued]]>
得益于擴展現實（ XR ）硬件和軟件的最新發展，使用高保真 3D 圖形創建沉浸式應用程序變得前所未有的容易。盡管如此，開發增強現實（ AR ）和虛擬現實（ VR ）應用程序仍然面臨著挑戰： 通過和 Amazon NICE DCV 流協議一起使用 NVIDIA CloudXR，您可以在沉浸式應用程序開發的各個方面使用按需計算資源。這包括支持端到端工作流的服務、對數據安全的嚴格控制，以及簡化部署和交付應用程序更新的管理。 生產級交互式 XR 應用程序需要一系列支持技術才能成功構建、交付和消費內容。來自云基礎設施的微服務的出現使得將這些組件部署到端到端解決方案變得更加容易。 Amazon Web 服務（ AWS ）的計算、存儲和網絡資源可用于開發、部署和分發 XR 應用程序。然后可以使用 NVIDIA CloudXR 通過分布式網絡遠程渲染和流式傳輸這些內容。
Source
]]>
2677
-
AWS 推出首款基于 NVIDIA GPU 加速引力子的 Amazon EC2 G5g 實例
http://www.open-lab.net/zh-cn/blog/aws-launches-first-nvidia-gpu-accelerated-graviton-based-instance-with-amazon-ec2-g5g/
Mon, 29 Nov 2021 04:38:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=2456
Continued]]>
今天，在 AWS re : Invent2021 大會上， AWS 宣布 推出了 Amazon EC2 G5g 實例，將第一個基于 NVIDIA GPU 的 Arm 加速實例引入 AWS 云。新的 EC2 G5g 實例以基于 64 位 Arm Neoverse 內核的 AWS Graviton2 處理器和 NVIDIA T4G Tensor Core GPU 為特色，增強了圖形密集型應用。 這種強大的組合為 Android 游戲內容創造了一個最佳的開發環境。它還帶來了更豐富的 Android 游戲體驗，可以流式傳輸到各種各樣的移動設備上。 EC2 G5g 實例使游戲開發人員能夠支持和優化游戲，以便在各種移動設備上實現高質量的流媒體傳輸。您可以在基于 Arm 的 Graviton2 處理器上開發 Android 游戲，使用 NVIDIA T4G GPU 加速圖形渲染和編碼，
Source
]]>
2456
-
在 AWS re:Invent 上發現最新的機器學習、圖形、 HPC 和物聯網
http://www.open-lab.net/zh-cn/blog/discover-the-latest-in-machine-learning-graphics-hpc-and-iot-at-aws-reinvent/
Tue, 23 Nov 2021 02:16:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=2430
Continued]]>
在 AWS re : Invent 上查看從云到邊緣的最新創新。另外，了解更多關于英偉達 NGC 目錄 – GPU 優化軟件的全面收集。 NVIDIA 和 AWS 密切合作，開發了一個課程和研討會，重點學習更多關于 NVIDIA GPU 的知識，并提供 NVIDIA Jetson 模塊的實踐培訓。 立即注冊虛擬 AWS re : Invent 。>> 獲取您需要的所有信息，以便在知情的情況下選擇使用 Amazon EC2 NVIDIA GPU 實例，以及如何通過使用 GPU 優化軟件為您的培訓和推理工作負載充分利用該實例。 這個由 NVIDIA 贊助的會議由 AWS 的 AI 和 ML 傳道者 Shashank Prasanna 主持，重點幫助工程師、開發人員和數據科學家解決 ML 的挑戰性問題。 在本研討會中，
Source
]]>
2430
-
新的在線課程提供使用 AWS 和 NVIDIA 進行機器學習的實踐
http://www.open-lab.net/zh-cn/blog/new-online-course-offers-hands-on-machine-learning-using-aws-and-nvidia/
Fri, 12 Nov 2021 07:13:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=2322
Continued]]>
AWS 和 NVIDIA 合作開發了一個在線課程，通過 NVIDIA Amazon 提供的 EC2 實例，指導您完成 Amazon GPU 的簡單易學和實用介紹。本課程以服務的實際應用為基礎，讓您有機會從機器學習開發方面的專家那里親身學習。通過簡單而直接的方法，一旦完成，您將有信心和能力立即開始您的 ML 項目的工作。 機器學習可能是復雜、乏味和耗時的。 AWS 和 NVIDIA 提供了最快、最有效和易于使用的 ML 工具，幫助您開始您的 ML 項目。 Amazon SageMaker 通過匯集一系列專門為 ML 而構建的功能，幫助數據科學家和開發人員快速準備、構建、培訓和部署高質量的 ML 模型。 Amazon EC2 實例由 NVIDIA GPU 提供支持與 NVIDIA 軟件一起，在云中提供高性能、[ZFBB]優化實例，以實現高效的模型訓練和經濟高效的模型推理托管。
Source
]]>
2322
-
AWS 通過新的 EC2 G5 實例將 NVIDIA A10G Tensor Core GPU 引入云中
http://www.open-lab.net/zh-cn/blog/aws-brings-nvidia-a10g-tensor-core-gpus-to-the-cloud-with-new-ec2-g5-instances/
Thu, 11 Nov 2021 06:55:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=2318
Continued]]>
今天， AWS 宣布 推出了由 NVIDIA A10G Tensor Core GPU 驅動的新型 Amazon EC2 G5 實例。這些實例設計用于要求最苛刻的圖形密集型應用程序，以及 AWS 云上的機器學習推理和訓練簡單到中等復雜的機器學習模型。 新的 EC2 G5 實例具有多達八個 NVIDIA A10G Tensor Core GPU ，它們針對高級可視化計算工作負載進行了優化。由于支持 NVIDIA RTX 技術和比 AWS 上任何其他 NVIDIA GPU 實例都多的 RT （光線跟蹤）內核，它提供了高達 3 倍的圖形性能。與上一代 Amazon EC2 G4dn 實例相比，基于 NVIDIA Ampere 體系結構的 G5 實例在機器學習推理方面的性能提高了 3 倍，在機器學習培訓方面的性能提高了 3 . 3 倍。 客戶可以使用 G5 實例加速廣泛的圖形應用程序，
Source
]]>
2318
人人超碰97caoporen国产