• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • Data Science

    Triton Inference Server 2022 年 3 月のリリース概要

    Reading Time: < 1 minute

    今月も Triton Inference Server のリリース內容について、概要をお屆けします。例によって、そもそも「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。

    What’s New in 2.20.0 (NGC 22.03)

    リリース ノート本體は https://github.com/triton-inference-server/server/releases/tag/v2.20.0 です。今月のリリースには以下の機能や改善などが含まれています。

    今月もあまり大きなアップデートはありませんが、モデル ロード API を介した設定の動的な変更は注目ポイントでしょうか。

    以前から Model Repository Extension には、モデル ロード / アンロードの API が含まれており、Triton の起動時オプションを適切に設定することで、動的にモデルを読み込んだり、あるいは特定モデルに割り當てられているサーバー上のリソースを解放したり、といったことが可能でした。しかし一方、設定を変更したい場合は、モデル リポジトリ (= Triton の起動時オプションとして `–model-repository` に渡す、サーバー上のディレクトリやクラウド ストレージ) 上に配置されている設定ファイルを書き換えたのち、モデルをロードしなおす必要がありました。今回の変更により、サーバー側のファイルを変更することなく、動的にモデルの設定を変更することができるようになります。ただし、利用する API がモデル ロード API であることからもわかる通り、モデル自體の再ロードは発生するため、一時的なサービス ダウンなどについての考慮が必要な點はご注意ください。

    What’s New に言及されていないアップデート

    今月の主なアップデートは、What’s New に言及されていたもので全てのようです。

    まとめ

    今月も先月に引き続き、アップデートはいずれも比較的小さなものでした。モデルの設定変更が API 経由で可能になるのは、用途によっては有益かと思います。引き続き機能追加など進められていますので、定期的にご確認いただければ。

    その他、疑問點や問題點がある場合や、日本語で要望を書きたいという方など、自由にコメントなどいただければ幸いです!

    +1

    Tags

    人人超碰97caoporen国产