large language models – NVIDIA 技術ブログ

NeMo Framework で日本語 LLM を簡単デプロイ – オンライン推論編 –

Wed, 07 Feb 2024 01:41:15 +0000

Reading Time: 3 minutes ご注意: この記事は NeMo Framework のアップデートのため、7 月 8 日に大幅に変更を加えました。 NeMo Framework は、生成 AI モデルのワークフローをエンドツーエンドでカバーするクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NVIDIA AI Enterprise ライセンスをお持ちの方は、NGC サイトから入手可能です。NGC へログイン後、Enterprise Catalog にある ”Feature Branches & Models” にアクセスしてください。こちらで NeMo Framework の入手方法をご案內しています。 NeMo Framework の更なる詳細、

Source

]]>

NeMo Framework で日本語 LLM をファインチューニング – PEFT 編 –

Tue, 28 Nov 2023 07:21:18 +0000

Reading Time: 3 minutes ご注意: この記事は NeMo Framework のアップデートのため、2024 年 6 月 10 日に大幅に変更を加えました。本記事では、NeMo Framework を使用して、日本語の大規模言語モデル (LLM) の PEFT (ファインチューニングの手法の一種)を実行する方法を説明します。 NeMo Framework は、LLM をはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NVIDIA AI Enterprise の対象ソフトウェアになっているため、エンタープライズサポートを希望される場合は、

Source

]]>

NVIDIA TensorRT-LLM が NVIDIA H100 GPU 上で大規模言語モデル推論をさらに強化

Fri, 08 Sep 2023 01:18:36 +0000

Reading Time: 3 minutes 大規模言語モデルは驚くべき新機能を提供し、AI で実現できる領域を拡大しています。しかし、その大きなサイズと特有の実行特性は、費用対効果の高い方法で使用することを困難にすることがあります。 NVIDIA は、Meta、AnyScale、Cohere、Deci、Grammarly、Mistral AI、MosaicML (現在は Databricks の一部)、OctoML、ServiceNow、Tabnine、Together AI、Uber などの主要な企業と緊密に協力し、LLM の推論の高速化と最適化に取り組んできました。これらのイノベーションは、オープンソースの NVIDIA TensorRT-LLM ソフトウェアに統合され、Ampere、Lovelace、Hopper GPU に対応し、

Source

]]>

大規模言語モデルのカスタマイズ手法を選択する

Thu, 10 Aug 2023 02:23:11 +0000

Reading Time: 3 minutes 大規模言語モデル (LLM) は、企業が業務、顧客とのやり取り、意思決定プロセスを改善するために不可欠なツールになりつつあります。しかし、既製の LLM では、業界固有の用語や専門知識、または獨自の要件が原因となって、企業の個別のニーズを満たすことができないことがよくあります。ここで役立つのが、カスタム LLM です。企業には、言語処理機能を自社特有のユースケースや専門知識に合わせてカスタマイズするためのカスタムモデルが必要です。企業はカスタム LLM により、業界內や組織の事情に合わせてテキストをより効率的かつ正確に生成、理解できるようになります。カスタムモデルがあれば、自社の個性に合うパーソナライズされたソリューションの開発、ワークフローの最適化、インサイトの正確性向上、

Source

]]>

NVIDIA FasterTransformer による KoGPT の推論高速化の向上

Tue, 25 Apr 2023 07:41:00 +0000

Reading Time: 2 minutes Transformer は、現在最も影響力のある AI モデルアーキテクチャの 1 つであり、將來の AI 研究開発の方向性を形作っています。自然言語処理 (NLP) のツールとして最初に発明された Transformer は、現在、コンピュータービジョン、自動音聲認識、分子構造分類、金融データ処理など、ほぼすべての AI タスクで使用されています。韓國では、Kakao Brain が Transformer アーキテクチャに基づいた高精度の大規模言語モデル (LLM)、KoGPT を開発しました。大規模な韓國のデータセットでトレーニングし、NVIDIA FasterTransformer を使用して最適化することに成功しました。この投稿では、NVIDIA と Kakao Brain が…

Source

]]>

信頼性、安全性、セキュリティに優れた大規模言語モデル対話システムを実現

Tue, 25 Apr 2023 04:48:00 +0000

Reading Time: < 1 minute 大規模言語モデル (LLM) は非常に強力で、複雑な質問への回答、創作的な文章の作成、ソースコードの開発やデバッグなどのさまざまなことが可能です。LLM を外部のツールに接続することで、例えばリアルタイムにデータを読み込んだり、ユーザーの要求に対して LLM がどのようなアクションを実行するか決定したり、非常に高度な LLM アプリケーションを構築することできます。しかし、このような LLM アプリケーションを安全かつセキュアな方法で構築することは容易ではありません。 NeMo Guardrails は、安全性と信頼性の高い LLM 対話システムを容易に開発するためのオープンソースのツールキットです。生成 AI における安全性は、業界全體の懸念事項です。そこで、NVIDIA は OpenAI の ChatGPT…

Source

]]>

ゲノミクス用の大規模言語モデルが多様なタスクにおいて優れたパフォーマンスと汎化性を示す

Thu, 12 Jan 2023 09:02:00 +0000

Reading Time: < 1 minute InstaDeep、ミュンヘン工科大學 (TUM) および NVIDIA のコラボレーションにより、ゲノミクス用の複數のスーパーコンピューティング規模の基盤モデルが開発されました。本モデルは、プロモーターやエンハンサー部位の予測など、多數の予測タスクで最先端のパフォーマンスを発揮します。研究者の共同チームは、ゲノミクスでトレーニングされた大規模言語モデル (LLM) が、多數のゲノムタスクにわたって汎化することを示しました。以前のアプローチでは専門のモデルが必要でした。1 月 9 日～ 12 日に開催された第 41 回 JP モルガンヘルスケアカンファレンスにおいて、NVIDIA ヘルスケア擔當バイスプレジデント、キンバリーパウエル (Kimberly Powell) が招待講演を行い、本研究について紹介しました。

Source

]]>