• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • Computer Vision / Video Analytics

    ??? ?? ? ??? NVIDIA AI Blueprint? ???? ?? ??? ?? AI ???? ??

    Reading Time: 9 minutes

    ?? ?? ??(VLM)? ?? ??? ??(CV) ???? ? ?? ?? ??? ??? ?? ??? ???? ?? ??? ??????. ??? ?? ??? ??? ??? ?? ?? ??? ?? ??? ??? ??? VLM? ? ?? ??? ? ?? ??? ?? ?????.

    ?? ???? ?? ??? ??? ??(VSS)? ?? NVIDIA AI Blueprint? VLM, LLM, ?? ?? ??(RAG)? ???? ??? ??, ??, ?? ????? ???? ??? ??? ??? ??? ?? ??? ? ??? ???. Visual AI Agent? ??? ?? ????, ?? ???, SOP ?? ? ??? ??? ??? ? ????.

    NVIDIA? ??? ??? ??? ?? NVIDIA AI Blueprint? ??? ??? GA(General Availability)? ??????. ?? ???? ?? ??? ???, ??? ?? ??, ??? ?? CV ?????, ??? ?? ?? ?? ??? ???????. ? ????? ??? ?? ??? ?? ?? ?? AI ???? ??? ?? ??????.

    ?? ?? ? Blueprint? ?? ??? ??? Build a Video Search and Summarization Agent with NVIDIA AI Blueprint? ?? ????.

    ??? 1. NVIDIA NIM ? NVIDIA Metropolis? ???? AI ????? ?? ??? ??? ????? ??? ?????.

    ??? ??? ??? ?? AI ????

    VSS? VLM, ?? ?? ??(LLM), ?? RAG ??, ?? ?? ?????? ???? ??? ?? ??? ?? AI ???? ??? ??????. ?? ??? ??(v2.0.0)? ??, Q&A, ??? ???? Visual Agent? ?? ???? ? ?? ??? ??? ? ??? ??????.

    ? ?? ?? ??(v2.3.0)?? ??? ?? ?? ??? ???? ????. ?? 1? ??? ?? ??? ??? ????? ???? ?????? ?????.

    • ?? GPU ?? ? ???? ?? ??: ?? ????? ?? VSS? ??? ???? ???? ??? ? ????. ??? ????? ?? NVIDIA A100, H100, H200 GPU?? ?? GPU ??? ?????.
    • ?? ??? ??? ? ??? ?? ??: ?? ?? ??? ????? ?? ??? ?? ??? ??? ??? ? ????.
    • ??? ??: ??? ???? ???? ??? ?? ??? ??? ? ??? ?????. ?? ?? ??, ????, ? ??, ?? ?? ??? ? ???? ??? ???? ?????.
    • ??? ?? ?????: Zero-shot ?? ??, ??? ??? ?????? ???? ??? ?? ??, ??? ??? ??? ????? ???? VLM ??? ?? Set-of-Mark(SoM)? ?? ???? ?????.
    • CA-RAG ? GraphRAG ?? ??: ?? ??? ??? ??, ?? ?? ? ?? ??? ??, ?? ??? ????? ?? CA-RAG ??? ?? ??? ?? ??? ???? ??????.
    ?? 1. VSS GA ???? ?? ?? ????

    ?? GPU ??

    ?? ??? ??? ?? LLM? ??? ?? GPU ?? ???? ???????. ? ??? NVIDIA H100, H200, A100 (80 GB ??, HBM) ???? ?? ????, ?? GPU? ?? ??? ? ??? ?????. ? ??? ?? GPU ??? ???? ?? ??? ??? ?????, ??? ?? ???? ??? ???? ? ????.

    ? ?? ??? VLM, LLM, ???, ??? ??? ?? ??? GPU?? ??? ?????. ?? ?? ??? ??? ????.

    • ?? ??: ?? ??(VSS, LLM, ???, ???)? ?? GPU? ????? ?????.
    • ??? ???: GPU ??? ????? ???? ?? LLM? ???? ??? ??? ??? ??? ?????.
    • ?? ??: ?? GPU ??? ???? ??? ????? Llama 3.1 8B Instruct? ?? ?? LLM ??? ?????. VSS ??? ?? ??? ?? NVILA ??? ????? ?????.
    • ??? ???: ???? ??? ??? ????? ??? init ????? ?????.

    ?? ??? ??? ? ??? ?? ??

    ??? ?? ??? ?? ?? ??? ??? ?? ??? ??? ???? ?? ???? ??? ??, ?? ??? ??? AI ????? ?? ?? ??? ???? ??? ??? ???? ?? ?? ???? ??? ? ??? ?????.

    ?? ????? ?? VSS ???? ?? ???? ?? ??? ??? ???? ????? ?????. CA-RAG? ???? ? ??? ????? ????? ?????. Summarization(POST/summarize), Q&A(POST/chat/completions)? ??? ?? API? ??? ?? ???? ??? ???? ?? ?? ???? ?????? ??? ??? ? ????.

    ?? ??? ??? ???? ?? VLM? ??? ???? ??? ???? ?? ? ??? ??? ??? ??? ID? ?????. ? ??? ID? ?? ??? ??? ?? ?? ??, ???, ??? ? ???? ??? ????? ???.

    ???? multi_channel: true? ???? ?? ???? ???? ?????, multi_channel: false? ???? ?? ????? ??? ??? ? ?? ?????? ???? ??? ?? ?????.

    ??? ??

    NVIDIA? blueprint-generated ??? ????? ?? ??? ???? ???? ???? ??? ??? ??? ?? ??? ??? ? ??? ????. ? ??? ???, ??, ????, 1?? ?? ??? ?? ???? ???? ?? ??????.

    VSS? ??? ??? ???? ?? ?? ?? ??? ??? ??? ???? ??? ??? ???? ??????. ??? ??? ???? GPU ? ?? ??? ??? ?, ???? ??? ?? ??? ?????.

    • ?? ???? ??? ??: ???? ??? ??? ??? ?????.
    • ??? ???: ? ??? ??? 16kHz ?? ???? ?????.
    • ?? ?? ??(ASR) ??: ??? ???? NVIDIA Riva ASR NIM ???????? ???? ?? ??? ??? ???? ?????.
    • ???? ?? ?? ??: ? ??? ?? VLM? ?? ??? ASR ???? ??? ???, ????? ?? ?? ?? ?????? ?? ??????? ???? ?? ?? ? ???? ?????.

    VSS? ??? ?? ??? ??? ? ?????? ????? ? ????. ? ?? ????? ??? ??? ?????? ??????? ??? ? ????. ? ??? ??? ?? ??? ?? ??? ??? ??? ???? ??? ????? ??? ??? ??? ? ????.

    RIVA ASR NIM ???????? ??????, NIM ???????? ?? ???? ?? ??? ??? ??? ? ????. ??? ?? ??? ?? ??? ?? ??? ??? ??? ?? ??? ? ???, VSS? ???? ???? ???? ?????.

    ? ??? NVIDIA GTC ????? ?? ??? ???? ? ????? ??????, ???? ??? ??? ?? ???? ?? ????? ?????? ??? ? ??? ????.

    ??? ?? ?????

    ?? CV ??? VLM? ???? ??? ??, ???, ??? ID ?? ?? ?????? ??? ?? ??? ??? ? ????. SoM ????? ???? ??? ????? ???? ?? VLM? ?? ??? ?? ?? ??? ???? ??? ????? ????. ? ??? ?? ?? ??? ??? ??? ??? ?? ID? ??? ???? ?? ??? ??? ??? ???? ? ?????.

    ??? 2. CV ?????? ??? ??? ???? ?? ??? ???? ??? ?????.

    VSS? CV ? ??? ?????? ??? ??? ??? ??? ?? ???? CV ?????? ????? ???????. ? ??????? ?? ? ??? ??, ???, ??? ID ? ?? ??? ?????. ?????? ??? ?? ???? ?? ?????.

    • ?? ??: ? ??? zero-shot ?? ???? Grounding DINO? ??? ?? ??? ?????. ?? ?? ??? ???? ???? ??? ????, ??? ?? ???? ?? ??? ???? ??? ? ????.
    • ??? ?? ? ???: ?? ?? ?, NVIDIA DeepStream? NvDCF ???? ??? GPU ?? ?? ?? ???? ?? ??? ?????. ? ?? ?? ???? Meta? SAM2 ??? ??? ???? ?? ???? ???? ???? ??????.
    • ????? ??: CV ??? ?? ?? ? ??? ?? ??? ?? ???? ?? ?? ID? ???? ?????. ?? ???? ?? VSS? ? ??? CV ?????? ??? ?? ???? ??? ??? ???? CV Metadata Fusion ??? ?????.
    • ??? ?? ?????: ??? CV ?????? ??? ?? ??????? ????, SoM ????? CV ?????? ????? ?? ???? ?????.
    • ??? ?? ??: ??? CV ?????? VLM? ??? ??? ??? ?? ?????.

    ?? ?? ?? ?????? “vehicle”, “truck”? ?? ??? ?? ?? ???? ??? CV ?????? ????? ?? ??? ???? ??? ? ????. ? ?? ??? VLM ??? ????, ???? ????? ?? ID? ?? ???? ???????. VLM ??? ? ID? ???? ??? ??? ???? ?? ?? ????? ?????. ?? ?? ? ??? ???? ?? ?? ?? ??? ??? ??, ?? ?? ID? ???? ?? ??? ????? ??? ? ? ????.

    ?? 2. ?? ID? ?????? ???? ??? ?? ??? ? Q&A ??? 2. CV ????? ??? ?? ???? ?? ?? ??

    VLM, ???, CV ?????? ?? ? VLM? ??? ?? ??, ??? ?? ??, ??? ??? ?????? ???, ????? ?? ?? ?? ?????? ?? 3? ??? ??? ?? ??????? ???? ?? ?? ? ???? ??????.

    ?? 3. ?? ???? ?? ????? ?? ??

    ? ?? ???? ?? ??????? ??? ??????? ????? ????, ?? ??????? ?????. ?? ?? ????? ?? ? ??? ? ???·??? ??? ????, ??? ?? ??? ???? ??? ??? ??? ? ????.

    CA-RAG? ?? ???? ?? ???

    CA-RAG? ??? ?? ? ?? ???? ?? ??? ?? ???, ?? ????? ????? ??? ??? ???? ???? ??? ?????.

    CA-RAG? ?? ?? VLM ???? ??? ??? ???? ?? ???? ??, Q&A, ?? ?? ??? ?????. ? ??? ?? ??? ??? Build a Video Search and Summarization Agent with NVIDIA AI Blueprint? ?????.

    ? ??? ???? ?? ?? ??? ??? ????.

    • ??? ??: ?? ??? ?? ??? ??? ?????.
    • ?? ? ??: ??? ??? ??? ??? ??? ?????.
    • ?? ??: ?? ??? ??? ????? ???? ??? ?????.
    • ???: ??? ?? ????? ????? ?????.

    ??? ???? ??? ?? CA-RAG?? ?? ?? ??? ???????.

    • ?? ?? ? ??? ??
    • GraphRAG ???
    • ?? ????

    ?? ?? ? ??? ??

    CA-RAG?? ?? ???? ?? ?? Batcher? ??? ???????. ? ??? ??? ??? ?? ?? ??? ??? ??? ??? ??? ??? ?????.

    ?? ?? ??? ???? ?? ?? ?? ?? ??? ????, ???? ???? ??? ?????.

    GraphRAG ???

    ???? CA-RAG? VLM? ?? ??? ??? ??? ???? ???? ??? ??? ??????.

    ?? CA-RAG? ?? ?? ? ???? ???? ???? ??? ??? ??? ??? ??? ? ????. ??? ?? ?? ??? ???? ???? ?????.

    ?? ???? ??

    CA-RAG? ?? ??? ??? ?? ?? ?????? ????, ??? ??? ?????. ?? ?? ?? ?? ?????? ???? ??? ???? ??? ?? ?????? CA-RAG ? ??? ?? ??? ?????.

    ? ?? ??? ???? ????, ??? ????, ??? ?????? ??? ???? ??????.

    VSS Blueprint ??

    VSS Blueprint? NVIDIA GPU? ????? ?? ?? ???? ?? 100? ?? ??? ?????. ???? ??? ?? ????, ?? ?? ??? ?? ??? ????? ??? ? ??? ??? ?? ??? ?????.

    ?? ??? ??? ?? ??? ?? ??? ???? ? ???? ?? ???? ?????. ??, ??? ?? ?? ??? ?? ??? ?? ??? ?? ?? ?? ??? ??? ? ?? ??? ??? ?? ?? ?? ??? ?????. ?? ?? ?????? ?? ??? ??? ?? ?? ??? ??? ????.

    • ?? ??
    • ?? ??
    • ?? ?? ??
    • VectorRAG ?? GraphRAG ??? ??

    ?? ??? ?? ??? ???? ?? ? ?? ?? ?? ??? ??, ?? ??? ???? ? ??? VLM ? LLM ?? ??? ?????. ?? ?? ??? ?? LLM ???? ??? VLM ??? ?? ?????.

    \text{Video Chunks} = \frac{\text{Video Length}}{\text{Chunk Size}}
    \text{VLM Calls} = \text{Number of Video Chunks}
    \text{LLM Calls} = \frac{\text{Number of Video Chunks}}{\text{Aggregation Batch Size}} + 1
    \text{LLM Calls (with GraphRAG)} = \frac{\text{Number of Video Chunks}}{\text{Aggregation Batch Size}} + \text{Number of Video Chunks} + 1

    ?? ??? ?? ?? ??? End-to-End(E2E) ?? ???? ??? ? ????.

    \text{E2E latency} = \left(\frac{\text{Upload latency}}{\text{Streaming latency}}\right) + \text{Summarization latency}

    ??? ?? ???? ?? ??? ???? ??? ?? ?????. ?? ?? ???? ?? ?? ??, ? ??? ?? VLM ?? ??, ?? ? ?? ?? ??? ?? LLM ??? ????, ?? ?? ???? ??? ?? ????.

    ?? 4? 60? ??? ??? 10? ?? ??? ??? ? ??? ????? ??? ?? ?? ??? ?????. ?? 5? ?? ?? ??? ?? 1? ?? ??? ? ?? ?? ?? ?? ????, ??? ?? ??? ?? ??? ???? ?????.

    ?? 4. 60? ??? ???? ???? ? ???? ?? (10? ?? ?? ??), ??? GPU ?? ???
    ?? 5. ??? ?? ???, ?? ???? ??? ?? 1? ?? ??? ??? ?? ?????.

    ??? ?? ??? ??? ?? ??? ?? ?? Q&A ???? ???? ?? ??? ?? ?????. ?? ??? ???? ??? ???? ??? ???? ???? ??? ??, ?? ?? ????? ???? ?? ?? ??? ????? ?????. ??, ?? ?? ???? ??? ????? ???? ?? ??? ??, ?? ?? ?? ?? ??? ?? ????? ???? ??? ??? ?? ? ? ?? ??? ??? ? ????.

    ?? ? ?? ??

    NVIDIA? ??? Blueprint ??? ??? ??? ?? ?? ??? ?????. ? ???? ??? ??? ??? ??? ??? ???? ?, ?? ??? ???? ???? ??? ? ??? ???.

    • NVIDIA API Catalog
    • NVIDIA Launchables
    • Docker ?? Helm ?? ??
    • ???? ??

    NVIDIA API Catalog

    Blueprint? ?? ??? ??? ??? ????? build.nvidia.com? VSS Blueprint ??? ?????.

    NVIDIA Launchables

    NVIDIA Launchables? ?????? ?? ???? ???? ??? ? ????? ??? ?????.

    ? ??? docker compose ??? ??? VSS Blueprint? ????, ????? ???? ?? ??? ?????. ???? ??? ???? VSS Blueprint? ?? ??? ? ? ????.

    Docker ?? Helm ?? ??

    NVIDIA? docker compose? ??? Helm ??? ?? ??? ?? ??? ?????. ??? ???? ?? ??? ?? ?? ??? ??? ??? ??? ?????. ??? ??? VSS ?? ???? ?????.

    ???? ??

    VSS? ??? ???? ????? ??????? ????? ???? ???? ??? ? ?? ???? ??? ?????. ?? AWS? ????, ? Azure? GCP ??? ??? ?????.

    ? ?? ??? ??? ???? ???? ??? ??? ???? ???. AWS ??? ?? ??? ??? VSS ???? ?? ???? ?????.

    VSS? ??? ????? ?? ???? ?????.

    • ???: ???? ???? ?? ??
    • ???: ?????? ?? ??? ?? ?? ??
    • ??????: ?? ?????? ???? ??

    ??

    Blueprint? ?????? NVIDIA Developer ???? ??? ??? ???. ??? ??? ?? ???? ?????.

    ??? ??? ????? NVIDIA ??? ? CEO? ?? ?? COMPUTEX 2025 ???? ????, 5? 23??? COMPUTEX 2025?? ??? GTC Taipei ??? ??? ???.

    ?? ??? ????? ????? ???? LinkedIn, Instagram, X, Facebook?? NVIDIA AI? ??????. ?? NVIDIA ??? YouTube ??? ???? NVIDIA Developer ?? AI ???? ??? ???.

    ?? ???

    Discuss (0)
    +1

    Tags

    人人超碰97caoporen国产