NVLink

NVIDIA は、AI 推論の可能性を再定義し、これまで以上に高速で、効率的かつ拡張可能なソリューションを提供するために、フルスタックのイノベーションを通じて開発者を支援しています。

NVIDIA GH200 Grace Hopper Superchip を活用し、システム スループットを犠牲にすることなく、x86 ベースの NVIDIA H100 サーバーと比較して、Llama 3 70B モデルでマルチターンでユーザーとのやり取りする場合、TTFT を最大 2 倍に向上させる方法について解説します。

NVIDIA は、同じコンピューティング インフラストラクチャを使用して AI サービスと無線アクセス ネットワーク (RAN) サービスの処理が可能な AI-RAN の展開プラットフォームである Aerial RAN Computer-1 を導入しています。

新しい NVIDIA GB200 NVL72 は、計算負荷が高く、リソースを大量に消費する大規模なモデルのトレーニングとデプロイに対応するシステムの 1 つです。

AI やハイパフォーマンス コンピューティング (HPC) における需要の高まりにより、すべての GPU 間で高速通信が可能な、