NVIDIA NIM でファインチューニングされた AI モデルのデプロイ

Thu, 21 Nov 2024 05:34:49 +0000

Reading Time: 2 minutes ドメイン固有のデータで AI 基盤モデルを適応させている企業にとって、ファインチューニングされたモデルを迅速に作成し、デプロイする能力は、企業の生成 AI アプリケーションで効率的に価値を提供するための鍵となります。 NVIDIA NIM は、Parapeter-efficient Fine-tuning (PEFT) を用いてカスタマイズしたモデルのシームレスなデプロイなど、最新の AI 基盤モデル向けにビルドされたパフォーマンスを最適化した推論マイクロサービスを提供します。場合によっては、Low-rank Adaptation (LoRA) を使用した PEFT とは異なり、継続事前學習、DPO、教師ありファインチューニング (SFT: Supervised Fine-tuning)、

Source

]]>

LLM のモデルマージのご紹介

Mon, 28 Oct 2024 05:25:33 +0000

Reading Time: 2 minutes 大規模言語モデル (LLM) をカスタマイズする際に、組織が直面する課題の 1 つは、複數の実験を実行する必要があるのに、その結果得られるのは 1 つの有用なモデルのみということです。実験にかかるコストは通常低く、労力に見合う成果が得られるものの、この実験プロセスには、実験に割り當てされてるけど使用率の低いまたは、全く稼働していない計算機や専任の開発者が費やす時間など、「無駄な」リソースが含まれます。モデルマージは、複數のカスタマイズされた LLM の重みを組み合わせることで、リソースの利用率を高め、成功したモデルに付加価値を加えます。このアプローチは、2 つの重要なソリューションを提供します。本投稿では、モデルがどのようにカスタマイズされるのか、モデルマージがどのように機能するのか、

Source

]]>

Chris Alexiuk – NVIDIA 技術ブログ

NVIDIA NIM でファインチューニングされた AI モデルのデプロイ

LLM のモデル マージのご紹介

LLM のモデルマージのご紹介