Hao Wang

Hao Wang は、AI とデータ インフラの最適化に取り組んでいるシニア システム ソフトウェア エンジニアです。彼は、ハードウェア アーキテクチャの設計とソフトウェア システムの最適化の両方で経験を積んだシステム関連の経歴があります。カリフォルニア大學マディソン校でコンピューター アーキテクチャの博士號を取得。

Posts by Hao Wang

Data Center / Cloud / Edge

NVIDIA GH200 Superchip が、Llama モデルとのマルチターン インタラクションの推論を 2 倍高速化

NVIDIA GH200 Grace Hopper Superchip を活用し、システム スループットを犠牲にすることなく、x86 ベースの NVIDIA H100 サーバーと比較して、Llama 3 70B モデルでマルチターンでユーザーとのやり取りする場合、TTFT を最大 2 倍に向上させる方法について解説します。 2 MIN READ