NVIDIA DeepStream 是一個功能強大的 SDK，可以解鎖 GPU 加速的構建塊，以構建端到端的視覺 AI 管道。憑借 40 多個現成的插件，您可以輕松部署具有尖端 AI 推理、對象跟蹤和流行的物聯網消息代理（如 REDIS、Kafka 和 MQTT）無縫集成的完全優化的管道。
DeepStream 提供直觀的 REST API 來控制您的 AI 管道，無論是部署在遠端還是云端。
DeepStream 7.0 的最新版本是我們迄今為止最重要的版本之一，旨在為您在生成人工智能時代提供突破性的功能。此版本包含旨在加速下一代應用程序開發的創新功能。
發布亮點包括以下內容：
- 通過 Python API 使用新的 DeepStream 庫的新開發途徑
- 使用新的 Service Maker 簡化了應用程序開發
- 單視圖 3D 跟蹤器的增強功能
- 支持使用 DeepStream 3D 框架的傳感器融合模型 BEVFusion。
- 支持 Linux 的 Windows 子系統（WSL2）
- 使用 PipeTuner 優化 AI 流水線
立即下載 DeepStream 7.0 版 。
DeepStream 庫：拓展開發者視野?
在構建視覺人工智能應用程序時，業務的首要任務是優化人工智能管道，以獲得一流的性能。無論你是一名經驗豐富的職業選手，還是剛剛投身其中，了解戰略格局都是關鍵。
大體上，您有兩種關鍵方法可供選擇：
- 現有的開箱即用的框架，如 GStreamer。
- 加速您自己框架上的關鍵構建塊的功能性 API。
圖 3 顯示了 DeepStream 插件的結構。在其核心，每個插件都將其基本功能封裝在一個庫中，可通過與 GStreamer 插件規范一致的定義良好的接口訪問。
這種標準化的方法確保了 GStreamer 生態系統中的無縫兼容性和集成。DeepStream 在插件之間添加零內存拷貝，實現最先進的性能。
隨著 DeepStream 7.0 的推出， NVIDIA 很高興能為開發人員開辟新的途徑，提供繼續利用 GStreamer 功能的靈活性，或通過直觀的 Python API 利用 DeepStream 庫的強大功能。這種雙重方法不僅為 Python 開發人員拓寬了 NVIDIA 加速功能的可訪問性，而且還無縫集成到您現有的人工智能框架中。
由 NVIDIA 提供支持的 DeepStream 庫，包括 CV-CUDA、NvImageCodec 和 PyNv 視頻編解碼器，提供了一組低級別的 GPU 加速操作，這些操作在視覺 AI 管道的前處理和后處理階段可以輕松取代 CPU 瓶頸的等效操作。
作為開源庫，它們提供了完全的透明度和必要的工具，以實現庫之間以及與流行的深度學習框架之間的零內存復制交互。設置過程非常簡潔，只需執行一個 pip 安裝命令，即可簡化集成過程。
DeepStream 7.0 現在支持的兩種路徑具有固有的優勢和權衡：
- 易于學習和集成：DeepStream 庫簡化了學習曲線，使您能夠快速集成 Python API，并見證 GPU 加速的直接好處。一個主要的例子是與 DeepStream Libraries 編解碼器的集成，在那里，圖像或視頻幀的加速解碼/編碼的影響在幾行代碼后很快就會顯現出來。
- 現成的解決方案：對于從零開始或沒有現有管道框架的情況，DeepStream 插件與 GStreamer 框架的結合提供了快速的市場部署途徑。這些插件具有內置的零內存拷貝和復雜的資源管理功能，是高效應用程序開發的理想選擇，能夠幫助您快速啟動。
展望未來， NVIDIA 計劃不斷擴大支持的 DeepStream 庫的范圍，進一步豐富每一個新版本的開發者體驗。
有關更多信息，請參閱以下資源：
DeepStreamServiceMaker：簡化應用程序開發?
對于想要利用 GStreamer 的 DeepStream 開發人員，我們也有好消息。對于那些剛接觸 GStreamer 的人來說，它可能會帶來陡峭的學習曲線。
NVIDIA 很高興在 DeepStream 技術套件中推出一項突破性功能：DeepStreamServiceMaker。這一新增功能通過抽象 GStreamer 的復雜性大大簡化了開發過程，使每個人都能在一個心跳中高效地構建 C++面向對象的應用程序。
使用 DeepStreamServiceMaker，您可以在幾分鐘內快速構建管道、集成所需插件、無縫鏈接它們并啟動應用程序。然后，這些應用程序可以輕松地打包到容器中，并通過 RESTAPI 進行管理，提供了一個簡化的工作流程，大大減少了傳統的編碼工作量。
Pipeline pipeline("deepstream-test1"); pipeline.add("filesrc", "src", "location", argv[1]) .add("h264parse", "parser") .add("nvv4l2decoder", "decoder") .add("nvstreammux", "mux", "batch-size", 1, "width", 1280, "height", 720) .add("nvinfer", "infer", "config-file-path", CONFIG_FILE_PATH) .add("nvvideoconvert", "converter") .add("nvdsosd", "osd") .add(sink, "sink") .link("src", "parser", "decoder") .link({"decoder", "mux"}, {"", "sink_%u"}) .link("mux", "infer", "converter", "osd", "sink") .attach("infer", new BufferProbe("counter", new ObjectCounter)) .attach("infer", "sample_video_probe", "my probe", "src", "font-size", 20) .start() .wait(); |
對于那些不熟悉 GStreamer 的人來說，DeepStreamServiceMaker 使開發過程更加直觀，也為經驗豐富的開發人員解鎖了新的功能。它完全支持自定義插件，如果您多年來一直在創建自定義解決方案，這一點至關重要。
通過將復雜的編碼需求從數百行轉換為幾行，DeepStreamServiceMaker 徹底改變了您處理和管理應用程序開發的方式，使其比以往任何時候都更容易訪問。
DeepStreamServiceMaker 還加速了邊緣環境的應用程序開發，因為它是為 Jetson（MMJ）的 Metropolitan 微服務開發自己的微服務的理想途徑。DeepStreamServiceMaker 也可以很容易地作為微服務部署在云上，可以通過 RESTAPI 進行控制。
當您的應用程序使用 Service Maker 構建時，可以很容易地將其打包到一個容器中，然后通過直觀的 RESTAPI（如流添加和刪除以及感興趣區域（ROI）配置）進行管理和動態控制。
DeepStreamServiceMaker 的第一個版本支持 C++。Python 支持將在未來的版本中提供，從而擴大該工具的可訪問性和多功能性。
欲了解更多信息，請參閱 DeepStream Service Maker 文檔。
DeepStream 單視圖 3D
NVIDIA DeepStream 的最新版本對單視圖 3D 跟蹤（SV3DT）跟蹤器進行了重大增強。這一高級功能旨在僅使用單個單聲道相機準確跟蹤 3D 空間內的對象，從而在 3D 世界地平面上提供對象的精確定位。
SV3DT 的第一個版本將行人建模為地平面上的圓柱體。這種方法通過將腳部定位在圓柱體底部來確保更準確的定位，提供更清晰、更明確的運動表示，以及無論遮擋程度如何的定位。
有關更多信息，請參閱以下資源：
- 使用 NVIDIA DeepStream 中的單視圖 3D 跟蹤技術緩解視覺感知障礙
- 在 NVIDIA DeepStream SDK 開發者指南 中，查看 單視圖三維跟蹤（Alpha）。
使用 DeepStream 3D 框架支持 BEVFusion
DeepStream 7.0 支持傳感器融合最令人興奮的人工智能模型之一：BEVFusion。DeepStream7.0 增強了 DeepStream 3D（DS3D）框架，并添加了可以與相機輸入融合的激光雷達和雷達輸入。 NVIDIA 承諾推出下一代環境感知解決方案。
通過作為源代碼提供的低級別庫簡化了與各種傳感器的集成，簡化了對不同傳感器供應商的支持。
BEVFusion 與 DS3D 框架的集成提供了一套旨在增強功能和易用性的功能：
- 易于可視化：在屏幕上渲染和旋轉激光雷達或 3D 數據，將激光雷達數據投影到圖像中，并從多個視點顯示 3D 邊界框，以提供更加直觀的視覺體驗。
- 消息代理支持：默認情況下與消息代理集成，實現與其他子系統的快速、高效、可靠的集成。
- 傳感器同步：實現多傳感器數據（包括激光雷達、雷達和相機）的穩健同步，支持文件輸入和直播輸入，并能夠適應不同的幀速率，有效管理幀丟失，以滿足現實應用程序的需求。
- 對齊篩選器：通過比較不同傳感器的內在和外在參數，實現精確定制，適用于各種傳感器數據的比對。
- 自定義三維數據預處理：為激光雷達和雷達數據提供定制化的預處理解決方案，以提高處理精度和靈活性。
- 通用數據映射管理：通過關鍵價值系統管理的傳感器和張量數據的全面陣列，實現了數據監督和操作的簡化和優化。
憑借這些功能，帶有 BEVFusion 的 DeepStream 7.0 站在 3D 人工智能開發的前沿，突破了傳感器融合技術的極限，該技術可以從邊緣部署到云端。
欲了解更多信息，請參閱 DeepStream 3D 框架文檔，以獲取詳細信息。
支持 Linux 的 Windows 子系統
DeepStream 應用程序現在可以使用 Windows Linux 子系統（WSL2）在您的 Windows 系統上開發。此更新是向前邁出的重要一步，也是在以 Windows 為標準的 IT 批準系統上進行開發的客戶經常提出的要求。
通過在 WSL2 上集成 DeepStream，您可以在單個系統上簡化工作流程，從而無需遠程訪問 Linux 系統。這一新功能確保您可以使用 DeepStream 的強大功能，而無需復雜的雙系統設置，從而簡化開發過程并提高生產力。
對 WSL2 的 DeepStream 支持提供了直接在 Windows 上開發高級應用程序所需的靈活性和便利性。在享受 DeepStream 強大功能的同時，輕松兼容 Windows。
如需了解更多信息，請參閱 WSL2 文檔。
PipeTuner 1.0：優化 AI 流水線
PipeTuner 1.0 是一款新的開發工具，有望徹底改變人工智能管道的調整。人工智能服務通常包含一系列用于推理和跟蹤的參數。找到最佳設置以最大限度地提高特定用例的準確性是一個復雜而關鍵的過程。
傳統上，手動調整需要對每個管道模塊有深入的了解，并且在廣泛的高維參數空間中變得不切實際——即使有數據集和用于精度分析的基本事實標簽的支持。
PipeTune 旨在直面這些挑戰。PipeTune 有效地探索參數空間，并自動化識別最佳參數的過程，根據用戶提供的數據集實現盡可能高的關鍵性能指標（KPI）。至關重要的是，PipeTuner 簡化了這一過程，因此用戶不需要管道及其參數的技術知識。
PipeTuner 1.0 正在開發人員預覽版中。
通過集成 PipeTuner，您可以加快上市時間，并為每個部署位置定制 DeepStream 管道參數，確保在每個場景中都能獲得最佳性能。這標志著在使復雜的人工智能管道優化對所有用例和場景中的每個人都可訪問和有效方面邁出了重要一步。
立即開始管道調整！
欲了解更多信息，請參閱 PipeTuner 文檔，以獲取詳細信息。
總結
我們很高興看到您如何使用最新 DeepStream SDK7.0 版本中提供的這些新工具和功能來創造非凡的東西。
現在開始使用 DeepStream 并在 DeepStream 論壇 中更深入地探索。
一如既往，DeepStreaming 快樂！
?
