Hopper

2024 年 11 月 11 日
Megatron-LM を用いた日本語に強い 172B 大規模言語モデルの開発
日本のモデル開発を促進するためのプロジェクトである GENIAC に採択された LLM-jp が、NVIDIA Megatron-LM を使用して、日本語に強い 172B オープンモデルの學習を高速化しました。
2 MIN READ

2024 年 7 月 18 日
Transformer Engine ではじめる FP8 Training (導入編)
Transformer Engine とは、Transformer モデルの學習を効率的に行うためのオープンソース ライブラリで、GPU における Transformer モデルの學習効率を大幅に向上します。
5 MIN READ