Mark Taylor

Mark Taylor は、NVIDIA GH200 Grace Hopper と NVIDIA GB200 Grace Blackwell Superchip の製品管理を擔當しています。20 年近い経験があり、革新的な製品を提供することに注力しています。アイオワ州立大學で電気工學の學士號を取得、チューリッヒ工科大學でビジネスとテクノロジの修士號を取得。

Posts by Mark Taylor

Data Center / Cloud / Edge 2024 年 10 月 28 日

NVIDIA GH200 Superchip が、Llama モデルとのマルチターン インタラクションの推論を 2 倍高速化

NVIDIA GH200 Grace Hopper Superchip を活用し、システム スループットを犠牲にすることなく、x86 ベースの NVIDIA H100 サーバーと比較して、Llama 3 70B モデルでマルチターンでユーザーとのやり取りする場合、TTFT を最大 2 倍に向上させる方法について解説します。 2 MIN READ