• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • Generative AI / LLMs

    RAG 101: ?? ?? ?? ?? ??? ??

    Reading Time: 6 minutes

    ??? ??????, AI ????, MLOps ????, IT ??? ???? RAG ?????? ???? ??? ? LLM? ?? ?? ?? ???? ?? ?? ???? ??? ??? ???? ???.

    ??? RAG? ??? ???? ?? ??? ??? ??? ?????? ????. ? ???? ?? ??? ????, RAG 101: ?? ?? ?? ????? ?????? ??? ??????. ??? ?? ??? ??? ?? ?? ??? ?? ? ?? ??? ?????.

    ??? ?? ?? ??? ?? ?????.

    ?? LLM? ?? ???? ?? RAG? ???? ????

    LLM? ???? ?? ??, ???? ??? ?? ??(PEFT), ??? ?????, ?? ?? ??(RAG) ? ?? ?? ????? ??????? ?? ?? ??? ?? ??? ?? ?????.

    • ?? ??? ???? ??? ??? ????? ??? ?? ??? ?????? ?? ???? ?? ?? ??? LLM? ??? ?????. ? ?? ??? ??? ?????? ??? ?? ??? ?? ?? ???? ?????.
    • PEFT? ??? ?? ??? ??? ?? ? ?? ?? ???? ????? ?? ??? LLM? ?????. ???? ??? ??? ??? ??? ????, ?? ??? ??? ? ?? ?? ???? ??? ??????? ??? ??? ?????.
    • ???? ?????? ??? ????? ???? ?? LLM? ?? ??? ???? ??? ?????. ???? ?? ?? ???? ????, ???? ?? ???? ??? ??????? ?????.
    • RAG? ?? ??????? ??? LLM ????? ???? ???, ??? ??? ??? ???? ????????.

    ? ?? ???? ?? ??? ???? ?? ??? ?? ????. ??? ??? ??? ?? ??? ? ????. ?? ??, LLM ?? ??? ??? ?? ????? ?? PEFT? RAG ???? ??? ? ????. ?? ?? ?? ??? ??????? ?? ?? ??, ???, ??? ??? ? ?? ?? ??? ??? ?? ?????.

    ???? ???? ????? ? ??? ? ?? ??? ?? ??? ?? ??? ??? ?? ?? ?? ??? ?? ?? ????? ?????.

    LLM?? ??????? ??? ?? ?? RAG? ???? ?? ??? ??? ??? ??????. ? ?? ??? ???? ??? ??? ?????.

    ??? ???? ???? ? ??? ?? ?? ??? ?? ??? ?? ??? ??? ? ????. ? 2?? ????? RAG? ?? ?? ??? ?? ??? ??? ?? ?? ??, ???? ?? ? ???? ?? ?? ?? ??? ?????.

    ?? ?? ?? RAG ???? ??? ??? ??????

    ? ??? ? ?? ?? ??? ?? ?? ?? ?????. ???, RAG? ???? ?????? ????? ???? ???? ?? ?? ????, ?? ??? RAG ???? ???? ???? ? ??(?? ????? ?? ? ??) ??? ??? ????.

    ????? RAG ???? ??? ? ?? ??? ??? ???. ????? ???? ?? ???? ??? ???? ?? ? ? ????. RAG ???? ???? ?? ??????? Ragas, ARES, Bench ? ?? ??? ????.

    ???? ?? ? ?? ??? ??? ??? ?? ??? ???? ?? ???? ???? ?? ??? ? ?? ?? ?? ????.

    ???? ?? ? ???, ?? ???? ???? ?? ???? ???? ??? ?????. ?? ??, ??? ?? ???? ???? ?? ?? ?? ??? ??? ??? ?? ??? ?? ? ????.

    ???? ??? ??? ???? ?? ?????. ??? ???? ????? ???? ???????. ??? ??? ?? ??? ?? ???, ?? ?? ? ??? ??? ?? ??? ?? ??? ????. ???? ???? ??? ?? ??? ?? ??? ??? ???? ??? ?????.

    ? ??? ??? ?? ? ?? ?? ??? ????. ?? ??, ??? ??? ??? ??? ?? ?? ?? ???? ??? ? ???, ??? ??? LLM? ?? ??? ???? ???? ? ????.

    ??? ?? ??? ????. ?? ???? ??? ???? ??? ???? ???? ???? BM25, ??? ?? ??? ?? ?? ???? ??? ??? ? ????.

    ????? ?? ??? ????? ??? ?? ??? ?? ???? ???? ??? ??? ??? ?? ????. ?? ??? ? ??? ??? ????? ? ???? ? ????. LLM? ??? ????? ???? ???? ?? ??? ? ????.

    ??, ??? ?? ??? ???? ???? ??? ???? ???? ? ??? ???? ?? ?????.

    LLM?? ??? ??? ?? ??? RAG ???? ??? ???? ?? ?????. ?? ??? ?? ??? ?? ???? ???? ?? RAG ???? ??? ? ?? ??? ?? ??? ????.

    LLM? ??? ??? ????? ??? ?? ????

    LangChain, LlamaIndex? ?? LLM? ??? ??? ???? ?? ??? ?????? ????. ??? ?????? ?? ?????, ?? ??, ?? ??? ? ??? ??? ?????. ??? ???? ?? ???? ????. ??? ?????? ?? ???? ??? ??????? ?? ??? ?????? ????? ?? ??? ???? ?? ????.

    RAG? ???? ???? ?? ??? ??? ? ????

    ?. ??? ??? ???? ?? ??? ??? ? ??? ??? ??? ?????. NVIDIA/GenerativeAIExamples GitHub ?????? ?? AI ?? RAG ????? ????? ?? ??? ?? ???? ??? ?????.

    RAG?? ?? ??? ???? ?????? ???? ???? ??? ??????

    ????? ??? ???? RAG?? ? ?????. ???? ?? ??? ?? ??? ???? ?? ???? ?? ?? ?? ??? ???? ?? RAG ???? ??? ???? ????. ???? ???? ??? ?? ??? ???? ?? ?? ??? ???? ? ?? ????. LlamaHub? LangChain?? ??? ??? ??? ??? ? ????. ??? ???? ??? ?????? ???? ??? ?? ??? ??? ???? ???? ??? ?? LLM ???? ?????.

    ?? ??? ?? ??? ??? ?? ?????. ?? ??, ?? ???? ???? ?? ????? ???? ? ? ????. ??? ?? ???? ?? ???? ???? ?? ?? ??? ??(RBAC)? ??? ??? ?? ??? ??? ? ????. ?? ??, ?? ??????? ?? ??? ??? ?? ??? ???? ?? ???? ?? ??? ??? ??? ???? ??? ? ? ????.

    ???? ??? ???? ?? ?? ??? ??????? ?? ??? ??? ???? ?? ??? ? ?? ??? ?????. ???? ?????? ??? ???? ??, ?? ? ?? ??? ?? ??? ???? ??? ???? ??? ???. ??? ??? ?? ?? ? ??? ?? ??? ??? ??? ??? ? ???, ?? ????? ??? ???? ??? ???? ???? ?? PII? ?? ??? ??? ??? ? ?? ????.

    AI ???? ???? ??? ???? ??? ?? ????. ??? ???? ?? ? ? ?? RBAC, ?? ?? ? ?? ??? ?? ??? ??? ???? AI ??? ?? ???? ???? ???. ??? ??? ??? ?????? ? ??? ????. ??? ??? LLM ?? ?????? ??? ?? ?? ??? ?????.

    ?? LLM ???? ??? ? ?? ??? ?? ????? ?? ?? ?????. RAG ?????? ???? ??? ??? ??? ??? ?? ????. ??/?? ??? ?? ??? ???? ???? ??? ??? ? ?? ??? ???? ???.

    ???? ??? ???? ??? ? ? ????. ???? 2???? ???? ???? ??? ??? ????? ????, ???? ??? ??? ?? ??? ????, LLM ??????? ????? ???? ?? ??? ?? ???? ?? ??? ??? ? ?? NeMo ????? ?? ?? ?? LLM? ??? ? ? ????.

    RAG ?????? ????? ??? ?? ????

    RAG ???? ?? ?? ??? ???? ???? RAG ?????? ???? ? ?? ??? ????:

    • ??? ???
    • ??? ? ??
    • LLM ??

    ??? ???

    ?? ??? ?? ???? ???? ???? ???????. RAG ??? ???? ???? ?? ??? ??? ?? ????? ?? ??? ??? ?? ??? ? ??? ? ????.

    NVIDIA NeMo ??? ????? NVIDIA GPU? ???? ?? ??, Jaccard ??? ??? ? ??? ?? ?? ??? ??? ?????? ?? ??? ??????. ?? ?? ??? ??? ??? ??? ???? ? ??? ??? ?? ?? ? ????.

    ? ?? ??? ?????. ????? ??? ??? ?? ?? ??? ??? ???? ? ?? ??? ? ??? ???? ? ?? ???? ?? ??? ???? ???. OpenAI? ?? ?? ???? ??? ??? ?? 1536?? ??? ???? ? ????. ???? ??? ? ??? ??? ????.

    NVIDIA cuDF? GPU?? ?? ??? ??? ??? ???? ??? ????? ? ??? ? ????. ??? ?? ??? ???? ???? ? ??? ??? ?? ?? ? ????.

    ?????, GPU?? ????? ???? ? ????. ????? ???? ??? ???? ???? ?? ?? ??? ???? ???? ??? ???. ???? ????? ????? ?? ??? ??? ??? ?? ?? ??? ?? ? ? ????.

    ??? ? ??

    ???? ?? ?????? ????? ????? ??? ??? ?? ???? ???????. ??? ?? ??? ?????? ?? ?? ??? ?????. ??? ????? NVIDIA NeMo Retriever? ???? ? ????. NeMo Retriever? ?? ?? ?? ??? ??? ???? ?? ????, ?? ??? ??? ??? ??? ???????? ???? ?? ??? ???.

    LLM ??

    ??? ???? ??? ??? ???? ?? LLM? ?????. LLM? ?? ?? ? ???? ?? ???? ??? ? ????.

    LLM? ?? ? ???? ?? LLM? ?? ?? ??? ?? ?????. NVIDIA NeMo?? ?? ??? ?? TensorRT-LLM? ???? ???, ?? LLM? ????? ???? ?? ??? ? GPU ???? ?? ?????.

    ?? NVIDIA Triton ?? ??? ???? ?? ????? ?? ??? ?? ??? ??? ?? ???? LLM? ??? ? ????.

    ??? ?? ??? ???? ?? ????? ?? ?? ????

    ??? NeMo Retriever, NeMo ?? ????? ?? RAG ?????? ????? ?? Triton ?? ?? ? TensorRT-LLM? ???? ? ??? ????? ???? ??? ?? ?? ??? ???? ?? ???? ?? ?????. ??? ??? ? ???? ??? ??? ?? ???? ? ???? UI? ???? ?? ?? ??? ?? ? ????.

    ?? ??? ?? ?? ??? ? ?? LLM? ???? ?? ??? ? ? ????. ????? ?? LLM? ? LLM?? ?? ??? ?? ????.

    ?? ?? ??? 7B ??? SQL ??? ?? ?? ???? GPT-4? ???? ???? ??? ???????. ?? ??, ????? ? ??? ?????? ???? ????? ? ??? ?? ?? NVIDIA?? ????? ??? ??? LLM? ChipNeMo? 70B ???? ?? ?? 13B? ?? ??? ??? ?????. TensorRT-LLM? ???, ??????, ??????, ?? ? ???? ?? ?? ???? ???? ? ?? ??? ?? ?? ??? ???? ??? ? ???, ?? ?? LLM?? ???? ???? ?? ? ????.

    LLM ??? ?? ??? ? ?? ???? ??? ??(TTFT)? ?? ??? ??(TPOT)? ?????.

    latency = TTFT + TPOT(number\_of\_tokens\_to\_generate)

    LLM? ???? TTFT? TPOT ?? ?????.

    ???? RAG ?? ????

    RAG? ???? LLM? ?? ?? ??? ?? ????, ??? ??? ???, ??? ??? ????, ??? ??? ???? ??? ? ????.

    ?? ??? ???? ???? ???? ??? ???? ??? ? ?? ?? ??? ????? NVIDIA AI ?? RAG ?????? ?????.

    ?? ???

    Discuss (0)
    +1

    Tags

    人人超碰97caoporen国产