??? ??????, AI ????, MLOps ????, IT ??? ???? RAG ?????? ???? ??? ? LLM? ?? ?? ?? ???? ?? ?? ???? ??? ??? ???? ???.
??? RAG? ??? ???? ?? ??? ??? ??? ?????? ????. ? ???? ?? ??? ????, RAG 101: ?? ?? ?? ????? ?????? ??? ??????. ??? ?? ??? ??? ?? ?? ??? ?? ? ?? ??? ?????.
??? ?? ?? ??? ?? ?????.
?? LLM? ?? ???? ?? RAG? ???? ????
LLM? ???? ?? ??, ???? ??? ?? ??(PEFT), ??? ?????, ?? ?? ??(RAG) ? ?? ?? ????? ??????? ?? ?? ??? ?? ??? ?? ?????.
- ?? ??? ???? ??? ??? ????? ??? ?? ??? ?????? ?? ???? ?? ?? ??? LLM? ??? ?????. ? ?? ??? ??? ?????? ??? ?? ??? ?? ?? ???? ?????.
- PEFT? ??? ?? ??? ??? ?? ? ?? ?? ???? ????? ?? ??? LLM? ?????. ???? ??? ??? ??? ??? ????, ?? ??? ??? ? ?? ?? ???? ??? ??????? ??? ??? ?????.
- ???? ?????? ??? ????? ???? ?? LLM? ?? ??? ???? ??? ?????. ???? ?? ?? ???? ????, ???? ?? ???? ??? ??????? ?????.
- RAG? ?? ??????? ??? LLM ????? ???? ???, ??? ??? ??? ???? ????????.
? ?? ???? ?? ??? ???? ?? ??? ?? ????. ??? ??? ??? ?? ??? ? ????. ?? ??, LLM ?? ??? ??? ?? ????? ?? PEFT? RAG ???? ??? ? ????. ?? ?? ?? ??? ??????? ?? ?? ??, ???, ??? ??? ? ?? ?? ??? ??? ?? ?????.
???? ???? ????? ? ??? ? ?? ??? ?? ??? ?? ??? ??? ?? ?? ?? ??? ?? ?? ????? ?????.
LLM?? ??????? ??? ?? ?? RAG? ???? ?? ??? ??? ??? ??????. ? ?? ??? ???? ??? ??? ?????.
??? ???? ???? ? ??? ?? ?? ??? ?? ??? ?? ??? ??? ? ????. ? 2?? ????? RAG? ?? ?? ??? ?? ??? ??? ?? ?? ??, ???? ?? ? ???? ?? ?? ?? ??? ?????.
?? ?? ?? RAG ???? ??? ??? ??????
? ??? ? ?? ?? ??? ?? ?? ?? ?????. ???, RAG? ???? ?????? ????? ???? ???? ?? ?? ????, ?? ??? RAG ???? ???? ???? ? ??(?? ????? ?? ? ??) ??? ??? ????.
????? RAG ???? ??? ? ?? ??? ??? ???. ????? ???? ?? ???? ??? ???? ?? ? ? ????. RAG ???? ???? ?? ??????? Ragas, ARES, Bench ? ?? ??? ????.
???? ?? ? ?? ??? ??? ??? ?? ??? ???? ?? ???? ???? ?? ??? ? ?? ?? ?? ????.
???? ?? ? ???, ?? ???? ???? ?? ???? ???? ??? ?????. ?? ??, ??? ?? ???? ???? ?? ?? ?? ??? ??? ??? ?? ??? ?? ? ????.
???? ??? ??? ???? ?? ?????. ??? ???? ????? ???? ???????. ??? ??? ?? ??? ?? ???, ?? ?? ? ??? ??? ?? ??? ?? ??? ????. ???? ???? ??? ?? ??? ?? ??? ??? ???? ??? ?????.
? ??? ??? ?? ? ?? ?? ??? ????. ?? ??, ??? ??? ??? ??? ?? ?? ?? ???? ??? ? ???, ??? ??? LLM? ?? ??? ???? ???? ? ????.
??? ?? ??? ????. ?? ???? ??? ???? ??? ???? ???? ???? BM25, ??? ?? ??? ?? ?? ???? ??? ??? ? ????.
????? ?? ??? ????? ??? ?? ??? ?? ???? ???? ??? ??? ??? ?? ????. ?? ??? ? ??? ??? ????? ? ???? ? ????. LLM? ??? ????? ???? ???? ?? ??? ? ????.
??, ??? ?? ??? ???? ???? ??? ???? ???? ? ??? ???? ?? ?????.
LLM?? ??? ??? ?? ??? RAG ???? ??? ???? ?? ?????. ?? ??? ?? ??? ?? ???? ???? ?? RAG ???? ??? ? ?? ??? ?? ??? ????.
LLM? ??? ??? ????? ??? ?? ????
LangChain, LlamaIndex? ?? LLM? ??? ??? ???? ?? ??? ?????? ????. ??? ?????? ?? ?????, ?? ??, ?? ??? ? ??? ??? ?????. ??? ???? ?? ???? ????. ??? ?????? ?? ???? ??? ??????? ?? ??? ?????? ????? ?? ??? ???? ?? ????.
RAG? ???? ???? ?? ??? ??? ? ????
?. ??? ??? ???? ?? ??? ??? ? ??? ??? ??? ?????. NVIDIA/GenerativeAIExamples GitHub ?????? ?? AI ?? RAG ????? ????? ?? ??? ?? ???? ??? ?????.
RAG?? ?? ??? ???? ?????? ???? ???? ??? ??????
????? ??? ???? RAG?? ? ?????. ???? ?? ??? ?? ??? ???? ?? ???? ?? ?? ?? ??? ???? ?? RAG ???? ??? ???? ????. ???? ???? ??? ?? ??? ???? ?? ?? ??? ???? ? ?? ????. LlamaHub? LangChain?? ??? ??? ??? ??? ? ????. ??? ???? ??? ?????? ???? ??? ?? ??? ??? ???? ???? ??? ?? LLM ???? ?????.
?? ??? ?? ??? ??? ?? ?????. ?? ??, ?? ???? ???? ?? ????? ???? ? ? ????. ??? ?? ???? ?? ???? ???? ?? ?? ??? ??(RBAC)? ??? ??? ?? ??? ??? ? ????. ?? ??, ?? ??????? ?? ??? ??? ?? ??? ???? ?? ???? ?? ??? ??? ??? ???? ??? ? ? ????.
???? ??? ???? ?? ?? ??? ??????? ?? ??? ??? ???? ?? ??? ? ?? ??? ?????. ???? ?????? ??? ???? ??, ?? ? ?? ??? ?? ??? ???? ??? ???? ??? ???. ??? ??? ?? ?? ? ??? ?? ??? ??? ??? ??? ? ???, ?? ????? ??? ???? ??? ???? ???? ?? PII? ?? ??? ??? ??? ? ?? ????.
AI ???? ???? ??? ???? ??? ?? ????. ??? ???? ?? ? ? ?? RBAC, ?? ?? ? ?? ??? ?? ??? ??? ???? AI ??? ?? ???? ???? ???. ??? ??? ??? ?????? ? ??? ????. ??? ??? LLM ?? ?????? ??? ?? ?? ??? ?????.
?? LLM ???? ??? ? ?? ??? ?? ????? ?? ?? ?????. RAG ?????? ???? ??? ??? ??? ??? ?? ????. ??/?? ??? ?? ??? ???? ???? ??? ??? ? ?? ??? ???? ???.
???? ??? ???? ??? ? ? ????. ???? 2???? ???? ???? ??? ??? ????? ????, ???? ??? ??? ?? ??? ????, LLM ??????? ????? ???? ?? ??? ?? ???? ?? ??? ??? ? ?? NeMo ????? ?? ?? ?? LLM? ??? ? ? ????.
RAG ?????? ????? ??? ?? ????
RAG ???? ?? ?? ??? ???? ???? RAG ?????? ???? ? ?? ??? ????:
- ??? ???
- ??? ? ??
- LLM ??
??? ???
?? ??? ?? ???? ???? ???? ???????. RAG ??? ???? ???? ?? ??? ??? ?? ????? ?? ??? ??? ?? ??? ? ??? ? ????.
NVIDIA NeMo ??? ????? NVIDIA GPU? ???? ?? ??, Jaccard ??? ??? ? ??? ?? ?? ??? ??? ?????? ?? ??? ??????. ?? ?? ??? ??? ??? ??? ???? ? ??? ??? ?? ?? ? ????.
? ?? ??? ?????. ????? ??? ??? ?? ?? ??? ??? ???? ? ?? ??? ? ??? ???? ? ?? ???? ?? ??? ???? ???. OpenAI? ?? ?? ???? ??? ??? ?? 1536?? ??? ???? ? ????. ???? ??? ? ??? ??? ????.
NVIDIA cuDF? GPU?? ?? ??? ??? ??? ???? ??? ????? ? ??? ? ????. ??? ?? ??? ???? ???? ? ??? ??? ?? ?? ? ????.
?????, GPU?? ????? ???? ? ????. ????? ???? ??? ???? ???? ?? ?? ??? ???? ???? ??? ???. ???? ????? ????? ?? ??? ??? ??? ?? ?? ??? ?? ? ? ????.
??? ? ??
???? ?? ?????? ????? ????? ??? ??? ?? ???? ???????. ??? ?? ??? ?????? ?? ?? ??? ?????. ??? ????? NVIDIA NeMo Retriever? ???? ? ????. NeMo Retriever? ?? ?? ?? ??? ??? ???? ?? ????, ?? ??? ??? ??? ??? ???????? ???? ?? ??? ???.
LLM ??
??? ???? ??? ??? ???? ?? LLM? ?????. LLM? ?? ?? ? ???? ?? ???? ??? ? ????.
LLM? ?? ? ???? ?? LLM? ?? ?? ??? ?? ?????. NVIDIA NeMo?? ?? ??? ?? TensorRT-LLM? ???? ???, ?? LLM? ????? ???? ?? ??? ? GPU ???? ?? ?????.
?? NVIDIA Triton ?? ??? ???? ?? ????? ?? ??? ?? ??? ??? ?? ???? LLM? ??? ? ????.
??? ?? ??? ???? ?? ????? ?? ?? ????
??? NeMo Retriever, NeMo ?? ????? ?? RAG ?????? ????? ?? Triton ?? ?? ? TensorRT-LLM? ???? ? ??? ????? ???? ??? ?? ?? ??? ???? ?? ???? ?? ?????. ??? ??? ? ???? ??? ??? ?? ???? ? ???? UI? ???? ?? ?? ??? ?? ? ????.
?? ??? ?? ?? ??? ? ?? LLM? ???? ?? ??? ? ? ????. ????? ?? LLM? ? LLM?? ?? ??? ?? ????.
?? ?? ??? 7B ??? SQL ??? ?? ?? ???? GPT-4? ???? ???? ??? ???????. ?? ??, ????? ? ??? ?????? ???? ????? ? ??? ?? ?? NVIDIA?? ????? ??? ??? LLM? ChipNeMo? 70B ???? ?? ?? 13B? ?? ??? ??? ?????. TensorRT-LLM? ???, ??????, ??????, ?? ? ???? ?? ?? ???? ???? ? ?? ??? ?? ?? ??? ???? ??? ? ???, ?? ?? LLM?? ???? ???? ?? ? ????.
LLM ??? ?? ??? ? ?? ???? ??? ??(TTFT)? ?? ??? ??(TPOT)? ?????.
LLM? ???? TTFT? TPOT ?? ?????.
???? RAG ?? ????
RAG? ???? LLM? ?? ?? ??? ?? ????, ??? ??? ???, ??? ??? ????, ??? ??? ???? ??? ? ????.
?? ??? ???? ???? ???? ??? ???? ??? ? ?? ?? ??? ????? NVIDIA AI ?? RAG ?????? ?????.
?? ???
- GTC ??: ?? ?? ?? ??? ?? ?? ? ??? ??? ?? ??(2023? ?)
- GTC ??: ??? ??? ?? ??? ?? ?? ????(2023? ?)
- NGC ????: NVIDIA K8s ??? LLM ?????
- NGC ????: ?? ??
- ???: RAG? ???? ??? AI ?? ????
- ???: NVIDIA? ?? ??? AI? ??? ????
