Pallab Bhattacharya

Pallab Bhattacharya は、NVIDIA の優秀なエンジニアです。NVIDIA に入社する前は、Meta で AI トレーニング クラスターの設計とデプロイを行い、CPU ベースのトレーニングから GPU ベースのトレーニングにアプリケーションを移行させました。InfiniBand と RDMA を使用した高性能通信の豊富な経験があり、大規模な分散型アプリケーションとマルチスレッド アプリケーションの構築、デバッグ、パフォーマンス分析を行っています。

Posts by Pallab Bhattacharya

Data Center / Cloud / Edge

NVIDIA GH200 Superchip が、Llama モデルとのマルチターン インタラクションの推論を 2 倍高速化

NVIDIA GH200 Grace Hopper Superchip を活用し、システム スループットを犠牲にすることなく、x86 ベースの NVIDIA H100 サーバーと比較して、Llama 3 70B モデルでマルチターンでユーザーとのやり取りする場合、TTFT を最大 2 倍に向上させる方法について解説します。 2 MIN READ