Microservices – NVIDIA 技術ブログ

NeMo Retriever を使って Embedding モデルを簡単デプロイ

Fri, 26 Apr 2024 04:00:39 +0000

Reading Time: 3 minutes NeMo Retriever は、エンタープライズデータの意味検索 (Semantic Search) を可能にし、検索拡張 (Retrieval Augmentation) を使用して高精度の応答を提供するマイクロサービスのコレクションです。本記事では、NeMo Retriever に含まれている NeMo Retriever Embedding Microservice を使用して Embedding モデルを簡単にデプロイする方法を説明します。 NeMo Retriever は、カスタム生成 AI モデルをさまざまなビジネスデータとシームレスに接続し、高精度の応答を提供するマイクロサービスのコレクションです。NeMo Retriever には、最小限のレイテンシー、最高のスループット、

Source

]]>

本番環境への AI モデルのデプロイを効率化する NVIDIA NIM

Mon, 15 Apr 2024 06:17:39 +0000

Reading Time: 2 minutes 生成 AI を導入する動きの高まりには目覚ましいものがあります。2022 年に OpenAI がリリースした ChatGPT をきっかけに、たった數か月の間に 1 億人以上のユーザーがこの新しいテクノロジを使い始め、ほぼすべての業界にわたり開発活動が活発になりました。 2023 年までに、開発者たちは Meta、Mistral、Stability などが提供する API やオープンソースのコミュニティモデルを使った概念実証を始めました。 2024 年に入り、組織は、AI モデルを既存の企業インフラに接続し、システムのレイテンシとスループットを最適化し、ロギング、モニタリング、セキュリティなどを含む、本格的な本番環境へのデプロイに重點を移行しつつあります。このような本番環境へのデプロイの道のりは、複雑で時間がかかります。

Source

]]>

NVIDIA NeMo マイクロサービスでカスタム生成 AI 開発が簡単に

Mon, 18 Mar 2024 07:47:30 +0000

Reading Time: 2 minutes 世界中の企業が生成 AI モデルの恩恵を実感しています。チャットボット、バーチャルアシスタント、コーディングコパイロットなど、さまざまなアプリケーションで生成 AI モデルが競うように導入されています。汎用モデルは単純なタスクには適していますが、さまざまな業界特有のニーズに応えるには不十分です。カスタム生成 AI モデルは、ドメイン固有の知識を取り入れ、地域の文化的ニュアンスを理解し、ブランドの聲や価値観に合わせることで、一般的な AI モデルを凌駕し、企業の要件を満たします。 NVIDIA NeMo チームがマイクロサービスである NVIDIA NeMo Curator、NVIDIA NeMo Customizer、NVIDIA NeMo Evaluator の早期アクセスプログラムをお知らせします。

Source

]]>

NVIDIA NeMo Retriever で企業データを実用的なインサイトに変える

Mon, 18 Mar 2024 05:44:42 +0000

Reading Time: 2 minutes あらゆる業界や業務で、生成 AI が組織內の可能性を引き出し、データを知識に変え、従業員がより効率的に働けるようにしています。正確で関連性のある情報は、データに基づく意思決定のために重要です。このため、企業はビジネスデータの保存、インデックス作成、アクセスの方法を改善するために投資を続けています。 IDC Global DataSphere Forecast 2023 によると、2024 年には、企業固有のデータが 11 ゼタバイト生成されると言われています。企業が生成する固有のデータの量は 2027 年までに 20 ゼタバイトになると予測されており、そのうち、83% は構造化されておらず、半分は音聲と動畫になるとのことです。2027 年に生成される非構造化データの量は、約 80 萬館の議會図書館に相當します。

Source

]]>