Data Center / Cloud / Edge – NVIDIA 技術ブログ http://www.open-lab.net/ja-jp/blog Thu, 10 Apr 2025 07:21:59 +0000 ja hourly 1 NVIDIA のフルスタック ソリューションで AI 推論のパフォーマンスを最適化 http://www.open-lab.net/ja-jp/blog/optimize-ai-inference-performance-with-nvidia-full-stack-solutions/ Thu, 10 Apr 2025 07:21:58 +0000 http://www.open-lab.net/ja-jp/blog/?p=3287 Reading Time: 2 minutes AI 搭載アプリケーションの急速な増加に伴い、開発者と AI インフラは、最先端のパフォーマンスを提供しつつ、運用の複雑さとコストを管理するという課題に直面しています。これにより、これまでにないほどの高い要求が両者に課さ … Continued]]> Reading Time: 2 minutes AI 搭載アプリケーションの急速な増加に伴い、開発者と AI インフラは、最先端のパフォーマンスを提供しつつ、運用の複雑さとコストを管理するという課題に直面しています。これにより、これまでにないほどの高い要求が両者に課されています。 NVIDIA は、AI 推論の可能性を再定義し、これまで以上に高速で、効率的かつスケーラブルなソリューションを提供するために、フルスタックのイノベーションを通じて開発者を支援しており、その範囲はチップ、システム、ソフトウェアにまで及びます。 6 年前、NVIDIA は、高スループットで遅延が重大な課題となる本番環境アプリケーションを構築する開発者向けに、特別設計された AI 推論サーバーの構築に著手しました。當時多くの開発者は、

Source

]]> 3287 NVIDIA Spectrum-X ネットワーキング プラットフォームと NVIDIA パートナーが AI ストレージを最大 48% 高速化 http://www.open-lab.net/ja-jp/blog/accelerating-ai-storage-by-up-to-48-with-nvidia-spectrum-x-networking-platform-and-partners/ Tue, 04 Feb 2025 08:28:00 +0000 http://www.open-lab.net/ja-jp/blog/?p=3282 Reading Time: 2 minutes AI ファクトリーの性能を左右するのはコンピューティング ファブリックだけではありません。GPU を接続する East-West ネットワークは AI アプリケーションのパフォーマンスにとって重要ですが、高速なストレージ … Continued]]> Reading Time: 2 minutes AI ファクトリーの性能を左右するのはコンピューティング ファブリックだけではありません。GPU を接続する East-West ネットワークは AI アプリケーションのパフォーマンスにとって重要ですが、高速なストレージ アレイを接続するストレージ ファブリックも同様に重要です。ストレージ パフォーマンスは、トレーニングのチェックポイント作成や推論手法 (例: 検索拡張生成 (RAG)) など、AI ライフサイクルのいくつかの段階に渡って重要な役割を果たします。 そうした需要に対処するため、NVIDIA とそのストレージ エコシステムは NVIDIA Spectrum-X ネットワーキング プラットフォームをデータ ストレージ ファブリックに拡張しています。この拡張がストレージのパフォーマンスを高め、AI の実行時間を短縮します。

Source

]]> 3282 NVIDIA NIM でファインチューニングされた AI モデルのデプロイ http://www.open-lab.net/ja-jp/blog/deploying-fine-tuned-ai-models-with-nvidia-nim/ Thu, 21 Nov 2024 05:34:49 +0000 http://www.open-lab.net/ja-jp/blog/?p=2953 Reading Time: 2 minutes ドメイン固有のデータで AI 基盤モデルを適応させている企業にとって、ファインチューニングされたモデルを迅速に作成し、デプロイする能力は、企業の生成 AI アプリケーションで効率的に価値を提供するための鍵となります。 N … Continued]]> Reading Time: 2 minutes ドメイン固有のデータで AI 基盤モデルを適応させている企業にとって、ファインチューニングされたモデルを迅速に作成し、デプロイする能力は、企業の生成 AI アプリケーションで効率的に価値を提供するための鍵となります。 NVIDIA NIM は、Parapeter-efficient Fine-tuning (PEFT) を用いてカスタマイズしたモデルのシームレスなデプロイなど、最新の AI 基盤モデル向けにビルドされたパフォーマンスを最適化した推論マイクロサービスを提供します。 場合によっては、Low-rank Adaptation (LoRA) を使用した PEFT とは異なり、継続事前學習、DPO、教師ありファインチューニング (SFT: Supervised Fine-tuning)、

Source

]]> 2953 NVIDIA AI Workbench によるハイブリッド環境におけるスムーズなコラボレーションと迅速なプロトタイピング http://www.open-lab.net/ja-jp/blog/frictionless-collaboration-and-rapid-prototyping-in-hybrid-environments-with-nvidia-ai-workbench/ Mon, 04 Nov 2024 06:49:00 +0000 http://www.open-lab.net/ja-jp/blog/?p=2964 Reading Time: 3 minutes NVIDIA AI Workbench は、選択したシステムでデータ サイエンス、AI、機械學習 (ML) プロジェクトを合理化する無料の開発環境マネージャーです。 PC、ワークステーション、データ センター、クラウド上 … Continued]]> Reading Time: 3 minutes NVIDIA AI Workbench は、選択したシステムでデータ サイエンス、AI、機械學習 (ML) プロジェクトを合理化する無料の開発環境マネージャーです。 PC、ワークステーション、データ センター、クラウド上で、あるいはそれらをまたがり、スムーズな作成、計算、コラボレーションを行うことを目的としています。基本的なユーザー體験はシンプルです: この記事では、GTC 2024 での製品発表以來、最も重要な NVIDIA AI Workbench の 10 月のリリースにおけるハイライトをご紹介します。製品ビジョン実現に向けた大きな一歩です。 このセクションでは、最新リリースでの主要な新機能とユーザーから要望のあった更新について、詳しく説明します。 主な新機能には以下が含まれます。

Source

]]> 2964 NVIDIA GH200 Superchip が、Llama モデルとのマルチターン インタラクションの推論を 2 倍高速化 http://www.open-lab.net/ja-jp/blog/nvidia-gh200-superchip-accelerates-inference-by-2x-in-multiturn-interactions-with-llama-models/ Mon, 28 Oct 2024 07:26:00 +0000 http://www.open-lab.net/ja-jp/blog/?p=3009 Reading Time: 2 minutes 本番環境で大規模言語モデル (LLM) をデプロイする際に、ユーザーのインタラクティブ性の強化と、システムのスループット向上との間で難しいトレードオフを迫られることがよくあります。ユーザーのインタラクティブ性を強化するに … Continued]]> Reading Time: 2 minutes 本番環境で大規模言語モデル (LLM) をデプロイする際に、ユーザーのインタラクティブ性の強化と、システムのスループット向上との間で難しいトレードオフを迫られることがよくあります。ユーザーのインタラクティブ性を強化するには、最初のトークンが出力されるまでの時間 (TTFT: Time To First Token) を最小限に抑える必要がありますが、スループットを向上するには、1 秒あたりのトークン數を増やす必要があります。一方の側面を改善すると、もう一方の側面が悪化することが多いため、データ センター、クラウド サービス プロバイダー (CSP)、AI アプリケーション プロバイダーにとって、適切なバランスを見つけることが困難になっています。 NVIDIA GH200 Grace Hopper Superchip を活用すると、

Source

]]> 3009 通信會社に AI-RAN を提供 http://www.open-lab.net/ja-jp/blog/bringing-ai-ran-to-a-telco-near-you/ Tue, 08 Oct 2024 08:40:56 +0000 http://www.open-lab.net/ja-jp/blog/?p=3185 Reading Time: 5 minutes 生成 AI と AI エージェントの推論により、エッジからセントラル クラウドまで AI コンピューティング インフラストラクチャを分散する必要性が高まります。 IDC は、「ビジネス AI (消費者を除く) は、203 … Continued]]> Reading Time: 5 minutes 生成 AI と AI エージェントの推論により、エッジからセントラル クラウドまで AI コンピューティング インフラストラクチャを分散する必要性が高まります。 IDC は、「ビジネス AI (消費者を除く) は、2030 年までに世界経済に 19.9 兆ドルの貢獻をし、GDP の 3.5% を占めるようになる」と予測しています。 5G ネットワークも、この新しい AI トラフィックに対応するために進化しなければなりません。 同時に、通信事業者には、データのプライバシーと主権の要件を満たしながら、ネットワーク接続に依存せずにエンタープライズ AI ワークロードをホストするためのローカル AI コンピューティング インフラストラクチャになる機會があります。 ここで、

Source

]]> 3185 NVIDIA NIM Operator で Kubernetes の AI 推論パイプラインを管理 http://www.open-lab.net/ja-jp/blog/managing-ai-inference-pipelines-on-kubernetes-with-nvidia-nim-operator/ Mon, 30 Sep 2024 04:10:52 +0000 http://www.open-lab.net/ja-jp/blog/?p=2851 Reading Time: 2 minutes 開発者は、これは、クラウド、データ センター、クラウド、GPU により高速化されたワークステーションなど、あらゆる場所で市場投入までの時間を短縮し、生成 AI モデルのデプロイを簡素化することができる、使いやすいクラウド … Continued]]> Reading Time: 2 minutes 開発者は、これは、クラウド、データ センター、クラウド、GPU により高速化されたワークステーションなど、あらゆる場所で市場投入までの時間を短縮し、生成 AI モデルのデプロイを簡素化することができる、使いやすいクラウドネイティブのマイクロサービスである NVIDIA NIM マイクロサービスに大いに期待しています。 多様なユース ケースの要求に応えるため、NVIDIA は、NVIDIA NIM マイクロサービスとしてパッケージ化されたさまざまな AI モデルを市場に投入しており、生成 AI 推論ワークフローの主要な機能を実現しています。 通常の生成 AI アプリケーションでは、複數の異なる NIM マイクロサービスを統合しています。例えば、RAG パイプラインのマルチターン対話型 AI では、LLM、埋め込み、

Source

]]> 2851 本番環境への AI モデルのデプロイを効率化する NVIDIA NIM http://www.open-lab.net/ja-jp/blog/nvidia-nim-offers-optimized-inference-microservices-for-deploying-ai-models-at-scale/ Mon, 15 Apr 2024 06:17:39 +0000 http://www.open-lab.net/ja-jp/blog/?p=2381 Reading Time: 2 minutes 生成 AI を導入する動きの高まりには目覚ましいものがあります。2022 年に OpenAI がリリースした ChatGPT をきっかけに、たった數か月の間に 1 億人以上のユーザーがこの新しいテクノロジを使い始め、ほぼ … Continued]]> Reading Time: 2 minutes 生成 AI を導入する動きの高まりには目覚ましいものがあります。2022 年に OpenAI がリリースした ChatGPT をきっかけに、たった數か月の間に 1 億人以上のユーザーがこの新しいテクノロジを使い始め、ほぼすべての業界にわたり開発活動が活発になりました。 2023 年までに、開発者たちは Meta、Mistral、Stability などが提供する API やオープンソースのコミュニティ モデルを使った概念実証を始めました。 2024 年に入り、組織は、AI モデルを既存の企業インフラに接続し、システムのレイテンシとスループットを最適化し、ロギング、モニタリング、セキュリティなどを含む、本格的な本番環境へのデプロイに重點を移行しつつあります。このような本番環境へのデプロイの道のりは、複雑で時間がかかります。

Source

]]> 2381 NVIDIA GB200 NVL72 は兆単位パラメーターの LLM トレーニングとリアルタイム推論を実現 http://www.open-lab.net/ja-jp/blog/nvidia-gb200-nvl72-delivers-trillion-parameter-llm-training-and-real-time-inference/ Mon, 18 Mar 2024 08:45:26 +0000 http://www.open-lab.net/ja-jp/blog/?p=2454 Reading Time: 4 minutes 兆単位パラメーター モデルに対する関心とはどのようなものでしょう? 現在、多くの用途が知られており、また、以下のような能力の拡大が期待されているため、関心が高まっています。 メリットは大きいですが、大規模なモデルのトレー … Continued]]> Reading Time: 4 minutes 兆単位パラメーター モデルに対する関心とはどのようなものでしょう? 現在、多くの用途が知られており、また、以下のような能力の拡大が期待されているため、関心が高まっています。 メリットは大きいですが、大規模なモデルのトレーニングとデプロイは計算負荷が高く、リソースを大量に消費することがあります。計算効率、費用対効果、エネルギー効率に優れたシステムをリアルタイム推論用に設計することは、広範囲にわたるデプロイには不可欠です。新しい NVIDIA GB200 NVL72 はそのようなタスクに対応するシステムの 1 つです。 説明のために、Mixture of Experts (MoE) モデルを考えてみましょう。このモデルは、モデル並列処理とパイプライン並列処理を使用して、複數のエキスパートに計算負荷を分散し、

Source

]]> 2454 RAG アプリケーションを 4 つのステップでパイロットから本番環境に移行する方法 http://www.open-lab.net/ja-jp/blog/how-to-take-a-rag-application-from-pilot-to-production-in-four-steps/ Mon, 18 Mar 2024 03:00:00 +0000 http://www.open-lab.net/ja-jp/blog/?p=2625 Reading Time: 3 minutes 生成 AI はあらゆる産業を変革する可能性を秘めています。私たちは、困難な認知作業を説明し、論理的に推論し、解決する目的ですでに大規模言語モデル (LLM) を使用しています。検索拡張生成 (RAG) は LLM をデー … Continued]]> Reading Time: 3 minutes 生成 AI はあらゆる産業を変革する可能性を秘めています。私たちは、困難な認知作業を説明し、論理的に推論し、解決する目的ですでに大規模言語モデル (LLM) を使用しています。検索拡張生成 (RAG) は LLM をデータに接続し、LLM が最新の正確な情報にアクセスできるようにすることで LLM の利便性をさらに高めます。 多くの企業がすでに RAG で業務プロセスを自動化し、データからインサイトを発掘する方法を探り始めています。ほとんどの企業が生成 AI のユース ケースに合わせた複數のパイロットプロジェクトを始めていますが、そのほとんど (90%) は近い將來に評価フェーズから先に進むことはないと推定されています。人々を惹きつける RAG のデモを、真のビジネス価値を提供する本番環境サービスに変換することは、

Source

]]> 2625 人人超碰97caoporen国产