Conversational AI / NLP – NVIDIA 技術ブログ

NVIDIA AI Blueprint でカスタマーサービス向けの AI バーチャルアシスタントを作成する 3 つの構成要素

Wed, 11 Dec 2024 10:02:45 +0000

Reading Time: 2 minutes 今日のめまぐるしいビジネス環境では、優れたカスタマーサービスを提供することは、もはや単に「あれば良いこと」ではなく、「必要不可欠なこと」です。技術的な問題への対応、請求に関する質問の解決、サービスの最新情報の提供など、顧客は、迅速かつ正確で、顧客の都合にカスタマイズされた対応を期待しています。しかし、このレベルのサービスを実現するには、大きな課題が伴います。パーソナライズされたリアルタイムのサポートを提供するには、多くの場合、靜的なスクリプトや手作業によるプロセスといった従來のアプローチでは不十分です。さらに、多くのカスタマーサービス業務では、機密性が高くかつ斷片的なデータを取り扱うことになり、厳しいデータ管理とプライバシー規制の対象となります。生成 AI の臺頭により、企業は運用効率の向上、コスト削減、

Source

]]>

Hymba ハイブリッドヘッドアーキテクチャが小規模言語モデルのパフォーマンスを向上

Fri, 22 Nov 2024 08:01:01 +0000

Reading Time: 4 minutes Transformer は、その Attention ベースのアーキテクチャによる、強力なパフォーマンス、並列化能力、および KV (Key-Value) キャッシュを通じた長期記憶のおかげで、言語モデル (LM) の主流となっています。しかし、二次計算コストと高いメモリ要求により、効率性に課題が生じています。これに対し、Mamba や Mamba-2 のような狀態空間モデル (SSMs) は、複雑さを一定にして効率的なハードウェア最適化を提供しますが、メモリ想起タスクが苦手でそれは一般的なベンチマークでのパフォーマンスに影響を與えています。 NVIDIA の研究者は最近、効率性とパフォーマンスの両方を向上させるために、Transformer の Attention メカニズムを SSM と統合したハイブリッド…

Source

]]>

Megatron-LM を用いた日本語に強い 172B 大規模言語モデルの開発

Mon, 11 Nov 2024 06:42:45 +0000

Reading Time: 2 minutes 生成 AI は、その卓越した能力のおかげで、従來の機械學習手法ではできなかったタスクを実行し、注目を集めています。例えば、自然言語処理の分野では、大規模言語モデル (LLM) が登場したことで、チャットボットによるカスタマーサポートや會議內容の要約など、これまで人間が擔っていた役割を AI が代わりに行うなど多くの革新的で創造的なユースケースが生まれています。 LLM は、パラメーター數の増加や MoE (Mixture of Experts) のような新しいアルゴリズムの採用など、様々なアプローチを通じて進化し続けており、小売業、製造業、金融業など、さまざまな業界への応用と適用が期待されています。しかし、現在 LLM リーダーボードの上位モデルの多くは、

Source

]]>

高速化された Llama 3.2 をエッジからクラウドへデプロイする

Wed, 25 Sep 2024 08:25:00 +0000

Reading Time: 2 minutes オープンソースの Meta Llama モデルのコレクションを拡張した Llama 3.2 コレクションには、視覚言語モデル (VLM)、小規模言語モデル (SLM)、ビジョンのサポートが追加された Llama Guard モデルが含まれています。NVIDIA のアクセラレーテッドコンピューティングプラットフォームと組み合わせることで、Llama 3.2 は開発者、研究者、企業に、生成 AI のユースケースを実現するための有益な新機能と最適化を提供します。 NVIDIA H100 Tensor コア GPU でトレーニングされた 1B および 3B サイズの SLM は、エッジデバイスに Llama ベースの AI アシスタントを展開するのに最適です。11B および 90B サイズの VLM は、

Source

]]>

NVIDIA NIM Agent Blueprint で AI アプリ向けのデジタルヒューマンインターフェイスを構築する

Wed, 25 Sep 2024 03:28:00 +0000

Reading Time: 2 minutes 顧客に質の高いサービスを提供することは、あらゆる業界の企業にとって最優先事項です。質問への回答や問題のトラブルシューティング、オンライン注文の促進まで、その範囲は多岐にわたります。企業が事業規模を拡大し、競爭力を高めるためにグローバルにサービスを展開するのに伴って、シームレスなカスタマーサービスの需要は飛躍的に高まっています。ナレッジベースの記事を検索したり、複雑な自動音聲案內を辿ったりすることは有用な情報源となり得ますが、顧客が理解しなければならない情報の密度が濃くなると、顧客維持率の低下につながる可能性があります。生成 AI、対話型 AI、ビジュアル AI などのテクノロジの統合により、アプリケーション開発チームは、セルフサービス型の顧客アプリケーションへのエンゲージメントを高め、

Source

]]>

Transformer Engine ではじめる FP8 Training (導入編)

Thu, 18 Jul 2024 06:57:44 +0000

Reading Time: 5 minutes Transformer Engine とは、Transformer モデルの學習を効率的に行うためのオープンソースライブラリです。が含まれており、GPU における Transformer モデルの學習効率を大幅に向上させることができます。特に FP8 については、記事執筆時點では Hopper/Ada Lovelace アーキテクチャなどの最新の GPU に搭載はされているものの、深層學習フレームワークでは対応する OP がまだ実裝されていない狀況であるため、Transformer Engine は FP8 を活用して GPU の性能を最大限に引き出すために必須のライブラリといえます。 FP8 は、名前の通り 8bit で浮動小數點數を表現するデータフォーマットです。

Source

]]>

LLM テクニックの習得: 推論の最適化

Fri, 17 Nov 2023 06:31:10 +0000

Reading Time: 6 minutes Transformer 層を積み重ねて大規模なモデルを作成すると、精度が向上し、Few-shot Learning 能力を獲得し、さらには幅広い言語タスクで人間に近い創発的な能力が得られます。これらの基盤モデルはトレーニングにコストがかかり、推論中にメモリと計算を大量に消費する可能性があります (継続的にかかるコスト)。現在、最もポピュラーな大規模言語モデル (LLM)では、パラメーターのサイズは數百億から數千億に達することがあり、ユースケースによっては長い入力 (またはコンテキスト) の取り込みが必要になる場合があり、これによって費用も増加する可能性があります。この投稿では、LLM 推論における最も差し迫った課題と、いくつかの実用的な解決策について説明します。読者に、Transformer のアーキテクチャ、

Source

]]>

LLM テクニックの習得: トレーニング

Thu, 16 Nov 2023 09:24:04 +0000

Reading Time: 3 minutes 大規模言語モデル (LLM) は、非常に大規模なデータセットを使用して言語を認識、要約、翻訳、予測、生成できる Transformer ネットワークを使用して構築された生成 AI モデルのクラスです。ご存知の通り、LLM は社會を変革する可能性を秘めていますが、このような基盤モデルのトレーニングは非常に困難です。このブログでは、Transformer ネットワークを使用して構築された LLM の背後にある基本原則を、モデルアーキテクチャ、アテンションメカニズム、埋め込み手法、基盤モデルのトレーニング戦略にわたり説明します。モデルアーキテクチャは Transformer ネットワークのバックボーンを定義し、モデルの能力や制限を広く決定づけます。 LLM のアーキテクチャは、しばしば、エンコーダー、

Source

]]>

LLM テクニックの習得: LLMOps

Wed, 15 Nov 2023 07:22:37 +0000

Reading Time: 3 minutes 企業は、イノベーションを起こし、顧客に価値を提供し、競爭力を維持するために、これまで以上にデータと AI に依存しています。機械學習 (ML) の導入は、信頼性が高く、コストパフォーマンスがよく、スケーラブルなコード、データ、モデルを管理するためのツールやプロセス、組織原則の必要性を生じさせました。これは MLOps として広く知られています。世界は、特に基盤モデルと大規模言語モデル (LLM) を活用した新しい生成 AI 時代に急速に突入しています。ChatGPT のリリースにより、この変化はさらに加速されました。 GenAIOps と LLMOps の新しい専門領域は、本番環境での生成 AI および LLM を利用したアプリの開発と管理の課題に対処するための MLOps の進化として登場しました。

Source

]]>

NVIDIA AI Foundation モデル: 本番利用可能な LLM を使用して、企業向けのカスタムチャットボットとコパイロットを構築

Wed, 15 Nov 2023 05:38:11 +0000

Reading Time: 3 minutes 大規模言語モデル (LLM) は自然言語理解、AI、機械學習における高度な機能を実現し、データサイエンスに革命をもたらしています。ドメイン固有の洞察に合わせてカスタマイズされた LLM は、企業向けアプリケーションでますます注目されています。 NVIDIA Nemotron-3 8B ファミリの基盤モデルは、カスタマーサービス AI チャットボットから最先端の AI 製品にまで、企業向けに本番利用可能な生成 AI アプリケーションを構築するための強力な新しいツールです。これらの新しい基盤モデルは、企業での利用に合わせて LLM を構築、カスタマイズ、展開するためのエンドツーエンドのフレームワークである NVIDIA NeMo の一部です。企業はこのツールを使用することで、

Source

]]>

Conversational AI / NLP – NVIDIA 技術ブログ

NVIDIA AI Blueprint でカスタマー サービス向けの AI バーチャル アシスタントを作成する 3 つの構成要素

Hymba ハイブリッド ヘッド アーキテクチャが小規模言語モデルのパフォーマンスを向上

Megatron-LM を用いた日本語に強い 172B 大規模言語モデルの開発

高速化された Llama 3.2 をエッジからクラウドへデプロイする

NVIDIA NIM Agent Blueprint で AI アプリ向けのデジタル ヒューマン インターフェイスを構築する

Transformer Engine ではじめる FP8 Training (導入編)

LLM テクニックの習得: 推論の最適化

LLM テクニックの習得: トレーニング

LLM テクニックの習得: LLMOps

NVIDIA AI Foundation モデル: 本番利用可能な LLM を使用して、企業向けのカスタムチャットボットとコパイロットを構築

NVIDIA AI Blueprint でカスタマーサービス向けの AI バーチャルアシスタントを作成する 3 つの構成要素

Hymba ハイブリッドヘッドアーキテクチャが小規模言語モデルのパフォーマンスを向上

NVIDIA NIM Agent Blueprint で AI アプリ向けのデジタルヒューマンインターフェイスを構築する