Recommenders / Personalization – NVIDIA 技術ブログ

NVIDIA TensorRT-LLM が NVIDIA H100 GPU 上で大規模言語モデル推論をさらに強化

Fri, 08 Sep 2023 01:18:36 +0000

Reading Time: 3 minutes 大規模言語モデルは驚くべき新機能を提供し、AI で実現できる領域を拡大しています。しかし、その大きなサイズと特有の実行特性は、費用対効果の高い方法で使用することを困難にすることがあります。 NVIDIA は、Meta、AnyScale、Cohere、Deci、Grammarly、Mistral AI、MosaicML (現在は Databricks の一部)、OctoML、ServiceNow、Tabnine、Together AI、Uber などの主要な企業と緊密に協力し、LLM の推論の高速化と最適化に取り組んできました。これらのイノベーションは、オープンソースの NVIDIA TensorRT-LLM ソフトウェアに統合され、Ampere、Lovelace、Hopper GPU に対応し、

Source

]]>

NVIDIA GTC 2023 で発表された新しい最新の AI workflows

Wed, 22 Mar 2023 01:56:00 +0000

Reading Time: 2 minutes NVIDIA GTC 2023 では、AI workflows を活用して、AI ソリューションの開発を加速し、さまざまなユースケースに対処する方法を紹介しました。 AI workflows は、NVIDIA AI フレームワークを活用して、インテリジェントなバーチャルアシスタント、サイバーセキュリティのためのデジタル指紋採取、商品レコメンデーションなどの AI ソリューションを効率的に構築する方法を示す、クラウドネイティブでパッケージ化されたリファレンスソリューションです。AI workflows には、事前學習済みのモデル、學習と推論のパイプライン、Python コード、Helm チャートが含まれており、開発者がより迅速に AI による成果をもたらせるように支援します。

Source

]]>

NVIDIA AI Enterprise 3.1 により、最先端 AI の利用を加速

Tue, 21 Mar 2023 04:36:47 +0000

Reading Time: 2 minutes ジェネレーティブ AI は、AI 革命における重要なマイルストーンとなりました。AI は重大な転換點を迎えており、企業は単に新しい取り組みを開始しているだけでなく、難しい取り組みにも積極的に挑戦しているのです。 50 を超えるフレームワーク、事前學習済みモデル、開発ツールを備えた NVIDIA AI プラットフォームのソフトウェアである NVIDIA AI Enterprise は、企業が最先端 AI の利用を加速できるように設計されています。AI を簡素化し、すべての企業がAIを容易に利用できるようにすることを目的としています。先日、AT&T Corp. と NVIDIA による協業が発表されました。今後 AT&T は、NVIDIA が提供する AI を活用しながら継続的に業務を変革し、

Source

]]>

TREx で NVIDIA TensorRT Engines を探る

Thu, 16 Jun 2022 07:47:00 +0000

Reading Time: 5 minutes NVIDIA TensorRT の主な機能は、ネットワーク定義を処理し、最適なエンジン実行プランに変換することで実現するディープラーニングの推論の高速化です。 TensorRT Engine Explorer (TREx) は、 TensorRT エンジンプランとそれに関連する推論プロファイリングデータを探るための Python ライブラリと Jupyter Notebook のセットです。 TREx は、生成されたエンジンの可視性を提供し、要約された統計、チャート作成ユーティリティ、およびエンジングラフの可視化を通じて新しい洞察を得ることができるようにします。TREx は、2 つのバージョンのネットワークの性能を比較するなど、ハイレベルなネットワーク性能の最適化とデバッグに有効です。詳細なパフォーマンス分析には、

Source

]]>

NVIDIA Hopper アーキテクチャの徹底解説

Tue, 22 Mar 2022 08:39:00 +0000

Reading Time: 12 minutes 2022 年 3 月の NVIDIA GTC 基調講演において、NVIDIA の創業者/CEO であるジェンスンフアンが、新しい NVIDIA Hopper GPU アーキテクチャに基づく NVIDIA H100 Tensor コア GPU を紹介しました。この記事では、新しい H100 GPU の內部と、NVIDIA Hopper アーキテクチャ GPU の重要な新機能について説明します。 NVIDIA H100 Tensor コア GPU は、大規模な AI や HPC において前世代の NVIDIA A100 Tensor コア GPU と比較して桁違いの性能の飛躍を実現するために設計された NVIDIA の第 9 世代データセンター GPU です。H100 は、

Source

]]>

NVIDIA GTC 2022 で、音聲、レコメンダー、推論などを進化させる NVIDIA AI ソフトウェアの主要なアップデートが発表

Tue, 22 Mar 2022 03:13:00 +0000

Reading Time: 2 minutes GTC 2022 において、NVIDIA は、開発者がリアルタイム音聲 AI アプリケーションを構築したり、高性能なレコメンダーを大規模に作成したり、あらゆるアプリケーションで推論を最適化したりするための、NVIDIA AI ソフトウェア一式の主要なアップデートを発表しました。CEO Jensen Huang による基調講演を視聴して、NVIDIA の最新の進化をご確認ください。(※基調講演の動畫は日本語字幕がご利用いただけます。) 本日、NVIDIA は Riva 2.0 の一般提供開始を発表しました。Riva は、リアルタイムアプリケーションのためのモデル、ツール、完全に最適化された音聲認識およびテキスト読み上げのパイプラインを提供する、高速化されたスピーチ AI SDK です。ハイライトは以下の通りです。

Source

]]>