Japanese Tutorial – NVIDIA 技術ブログ http://www.open-lab.net/ja-jp/blog Wed, 18 Jun 2025 09:18:55 +0000 ja hourly 1 Spotlight: NVIDIA NeMo を使用した小型 LLM「ABEJA Qwen2.5-7B Model」學習のための蒸留のパイプライン並列化 http://www.open-lab.net/ja-jp/blog/spotlight-pipeline-parallelism-of-the-distillation-for-abeja-qwen-2-5-7b-using-nvidia-nemo/ Thu, 29 May 2025 08:16:03 +0000 http://www.open-lab.net/ja-jp/blog/?p=3355 Reading Time: 4 minutes 本記事は ABEJA、NVIDIA で共同執筆しています。ABEJA にて公開しているブログについてはこちらを參照してください。 本記事の取り組みは、経済産業省と NEDO が実施する、國內の生成 AI の開発力強化を目 … Continued]]> Reading Time: 4 minutes 本記事は ABEJA、NVIDIA で共同執筆しています。ABEJA にて公開しているブログについてはこちらを參照してください。 本記事の取り組みは、経済産業省と NEDO が実施する、國內の生成 AI の開発力強化を目的としたプロジェクト「GENIAC (Generative AI Accelerator Challenge)」での ABEJA の成果の 1 つとなります。今回は、プロジェクトの中で実施した大規模言語モデル (LLM) の蒸留 (Knowledge Distillation) に関する技術的な取り組みをご紹介します。蒸留の成果については、ABEJA が公開している記事で既に紹介しています。 本記事では、

Source

]]>
3355
NeMo 2.0 を使った VLM 開発: ファインチューニングから推論、評価 http://www.open-lab.net/ja-jp/blog/nemo-2-0-vlm-development-tutorial-japanese/ Thu, 29 May 2025 08:06:07 +0000 http://www.open-lab.net/ja-jp/blog/?p=3337 Reading Time: 10 minutes NeMo Framework とは NeMo Framework は、LLM をはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐ … Continued]]> Reading Time: 10 minutes NeMo Framework は、LLM をはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NGC 上に公開されているコンテナーを無償利用していただくこともできますが、NVIDIA AI Enterprise の対象ソフトウェアとなっているため、エンタープライズ サポートを希望される場合は NVIDIA AI Enterprise ライセンスの購入をご検討ください。 生成 AI の開発におけるタスクには以下のようなものがあります。 生成 AI モデル の開発、

Source

]]>
3337
Spotlight: DataStax Langflow で再現する NVIDIA AI Blueprints をマクニカの AI TRY NOW PROGRAM で検証可能に http://www.open-lab.net/ja-jp/blog/spotlight-nvidia-ai-blueprints-reproduced-with-datastax-langflow-can-be-tried-with-macnica-ai-try-now-program/ Fri, 18 Apr 2025 00:12:57 +0000 http://www.open-lab.net/ja-jp/blog/?p=3294 Reading Time: 2 minutes 本記事は マクニカ、DataStax、NVIDIA の 3 社で共同執筆しています。 AI エージェントとは、複數の AI や Tool を組み合わせ、従來の AI ではできない複雑なタスクや複數のタスクを自律的に実行す … Continued]]> Reading Time: 2 minutes 本記事は マクニカ、DataStax、NVIDIA の 3 社で共同執筆しています。 AI エージェントとは、複數の AI や Tool を組み合わせ、従來の AI ではできない複雑なタスクや複數のタスクを自律的に実行するための高度なシステムです。AI エージェントは設定された環境やフィードバックを基にタスクを実行し、データの分析、意思決定の支援、問題解決など、様々なタスクを実行します。CES 2025 や GTC 2025 にて、NVIDIA の CEO Jensen Huang はこれまでの RAG のシステムを代表する Generative AI (生成 AI) から Agentic AI (エージェント型 AI) への移行、つまり様々な業界のタスクを支援できる AI エージェントの可能性を示唆し、

Source

]]>
3294
リランキングモデルによる RAG の日本語検索精度の向上 http://www.open-lab.net/ja-jp/blog/rag-with-sota-reranking-model-in-japanese/ Mon, 03 Mar 2025 06:03:24 +0000 http://www.open-lab.net/ja-jp/blog/?p=3207 Reading Time: 7 minutes ChatGPT が登場して以降、多くの企業/組織にて生成 AI の活用が進んでいます。その中でも LLM (Large Language Model、大規模言語モデル) は大量の知識を學習することで幅広い分野の問題を解決 … Continued]]> Reading Time: 7 minutes ChatGPT が登場して以降、多くの企業/組織にて生成 AI の活用が進んでいます。その中でも LLM (Large Language Model、大規模言語モデル) は大量の知識を學習することで幅広い分野の問題を解決することができます。LLM は學習した知識には適切な回答ができるも一方で、社內ナレッジなど學習には含まれていない事がらに関する回答は得意ではありません。LLM が特定の領域の質問にも正確に回答できるようにした手法に RAG (Retrieval Augmented Generations) があります。 RAG は、大きく「レトリーバー (Retriever)」と「ジェネレーター (Generator)」の 2 つのパーツで構成されています。レトリーバーは、ユーザーによって入力されたクエリ (例…

Source

]]>
3207
NeMo Framework で実踐する継続事前學習 – 日本語 LLM 編 – http://www.open-lab.net/ja-jp/blog/how-to-use-continual-pre-training-with-japanese-language-on-nemo-framework/ Mon, 20 Jan 2025 04:03:28 +0000 http://www.open-lab.net/ja-jp/blog/?p=3058 Reading Time: 3 minutes 本記事では、NeMo Framework を使用して、日本語データセットで大規模言語モデル (LLM) の継続事前學習を実行する方法を説明します。 NeMo Framework とは NeMo Framework は、L … Continued]]> Reading Time: 3 minutes 本記事では、NeMo Framework を使用して、日本語データセットで大規模言語モデル (LLM) の継続事前學習を実行する方法を説明します。 NeMo Framework は、LLM をはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NGC 上に公開されているコンテナーを無償利用していただくこともできますが、NVIDIA AI Enterprise の対象ソフトウェアとなっているため、エンタープライズ サポートを希望される場合は NVIDIA AI Enterprise ライセンスの購入をご検討ください。

Source

]]>
3058
NeMo Framework で日本語 LLM をファインチューニング – DPO 編 – http://www.open-lab.net/ja-jp/blog/how-to-use-dpo-on-nemo-framework-in-japanese/ Fri, 08 Nov 2024 06:10:00 +0000 http://www.open-lab.net/ja-jp/blog/?p=2870 Reading Time: 4 minutes 本記事では、NeMo Framework を使用して、日本語の大規模言語モデル (LLM) の DPO (ファインチューニングの手法の一種)を実行する方法を説明します。 NeMo Framework とは NeMo Fr … Continued]]> Reading Time: 4 minutes 本記事では、NeMo Framework を使用して、日本語の大規模言語モデル (LLM) の DPO (ファインチューニングの手法の一種)を実行する方法を説明します。 NeMo Framework は、LLMをはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NGC 上に公開されているコンテナーを無償利用していただくこともできますが、NVIDIA AI Enterprise の対象ソフトウェアとなっているため、エンタープライズ サポートを希望される場合は NVIDIA AI Enterprise ライセンスの購入をご検討ください。

Source

]]>
2870
NeMo Guardrails により LLM の脆弱性を防ぐ: 導入編 http://www.open-lab.net/ja-jp/blog/nemo-guardrails-prevents-llm-vulnerabilities-introduction/ Wed, 16 Oct 2024 08:07:48 +0000 http://www.open-lab.net/ja-jp/blog/?p=2822 Reading Time: 3 minutes はじめに 大規模言語モデル (LLM) はその優れた性能により従來手法では実現できなかった様々な目標を達成し注目を集めています。様々な業界が LLM の積極的な導入を進める中、その安全性は徐々に重要な課題になりつつありま … Continued]]> Reading Time: 3 minutes 大規模言語モデル (LLM) はその優れた性能により従來手法では実現できなかった様々な目標を達成し注目を集めています。様々な業界が LLM の積極的な導入を進める中、その安全性は徐々に重要な課題になりつつあります。 チャットボットなど LLM で構成される対話型アプリケーションにおける安全性とは、例えばハルシネーションによる情報の誤伝搬、プライバシーの侵害、偏見の増幅など様々なリスクからユーザーを保護する事です。 LLM を安全に利用するためには、使いやすくかつ強固なガードレール機能の構築が必須です。「ガードレール」とは LLM の出力、入力、RAG の処理などを制御する特定の方法の事で、政治について話さない、特定のユーザー リクエストに特定の方法で応答する等、

Source

]]>
2822
NeMo Guardrails により LLM の脆弱性を防ぐ: ジェイルブレイク防止編 http://www.open-lab.net/ja-jp/blog/nemo-guardrails-prevents-llm-vulnerabilities-jailbreak-prevention/ Wed, 16 Oct 2024 08:07:08 +0000 http://www.open-lab.net/ja-jp/blog/?p=2786 Reading Time: 8 minutes NeMo Guardrails とは NeMo Guardrails とは LLM (大規模言語モデル) ベースの會話型アプリケーションにプログラム可能なガードレールを追加する為のオープンソースのツールキットです。 プロ … Continued]]> Reading Time: 8 minutes NeMo Guardrails とは LLM (大規模言語モデル) ベースの會話型アプリケーションにプログラム可能なガードレールを追加する為のオープンソースのツールキットです。 プログラム可能なガードレールを追加する主な利點は次のとおりです。 NeMo Guardrails については、機能詳細や導入方法を解説した「NeMo Guardrails によりLLM の脆弱性を防ぐ -導入編-」の記事も併せてご確認下さい。 NeMo Guardrails は、ジェイルブレイクやプロンプト インジェクションのような一般的な LLM の脆弱性から LLM を搭載したチャット アプリケーションを保護するためのいくつかのメカニズムを提供します。 図.

Source

]]>
2786
NeMo Curator を使った日本語データのキュレーション http://www.open-lab.net/ja-jp/blog/curating-japanese-data-using-nemo-curator/ Wed, 25 Sep 2024 00:57:11 +0000 http://www.open-lab.net/ja-jp/blog/?p=2768 Reading Time: 7 minutes 本記事では、NeMo Curator を使用して、日本語データセットを作成する方法を説明します。 データ キュレーションとは データ キュレーションとは、データのダウンロードやテキストの抽出、クリーニング、重複排除、フィ … Continued]]> Reading Time: 7 minutes 本記事では、NeMo Curator を使用して、日本語データセットを作成する方法を説明します。 データ キュレーションとは、データのダウンロードやテキストの抽出、クリーニング、重複排除、フィルタリングなどを通じて、機械學習モデルの開発に必要なデータセットを構築するプロセスです。 データ キュレーションは、大規模言語モデル (LLM) の事前學習、カスタマイズにおける最初の、そしておそらく最も重要なステップでもあります。しかし、この重要性にもかかわらず、LLM を學習するための大規模なデータセットを作成するために開発されたソフトウェアやツールのほとんどは、公開されておらず、拡張性もありません。そのため、LLM 開発者は、

Source

]]>
2768
Transformer Engine ではじめる FP8 Training (導入編) http://www.open-lab.net/ja-jp/blog/introduction-to-fp8-training-using-transformer-engine/ Thu, 18 Jul 2024 06:57:44 +0000 http://www.open-lab.net/ja-jp/blog/?p=2718 Reading Time: 5 minutes Transformer Engine とは Transformer Engine とは、Transformer モデルの學習を効率的に行うためのオープンソース ライブラリです。 が含まれており、GPU における Tran … Continued]]> Reading Time: 5 minutes Transformer Engine とは、Transformer モデルの學習を効率的に行うためのオープンソース ライブラリです。 が含まれており、GPU における Transformer モデルの學習効率を大幅に向上させることができます。特に FP8 については、記事執筆時點では Hopper/Ada Lovelace アーキテクチャなどの最新の GPU に搭載はされているものの、深層學習フレームワークでは対応する OP がまだ実裝されていない狀況であるため、Transformer Engine は FP8 を活用して GPU の性能を最大限に引き出すために必須のライブラリといえます。 FP8 は、名前の通り 8bit で浮動小數點數を表現するデータ フォーマットです。

Source

]]>
2718
人人超碰97caoporen国产