?? ?? ??(LLM)? ??? ??, ?? ?? ?? ? ?? ?? ????? ???? ? ???? ??? ?? ?? ????. ??? ?? LLM? ??? ??, ??? ??? ?? ??? ?? ???? ?? ??? ?? ?? ??? ???? ??? ??? ????.
?? ? ?? ??? LLM? ??? ?????.
??? ?? ?? ??? ??? ??? ?? ?? ?? ??? ??? ? ?? ??? ??? ?????. ??? LLM? ?? ??? ?? ?? ?? ?? ???? ???? ?? ????? ???? ???? ??? ? ????.
??? ??? ?? ??? ??? ???? ???? ???? ???? ???, ?????? ?????, ?? ??? ????? ????, ??? ??? ??? ???? ????? ???? ?? ??? ??? ? ????.
? ?????? ??? ?? ?????? ??? ?? ??? ????. NVIDIA NeMo? ?? ?? ??? ?????.
NVIDIA NeMo? ???? ??? AI ??? ??, ?????? ? ??? ? ?? ????? ???? ???? ????????. ???? ???? ? ?? ?????, ???? ??, ??? ???? ?, ?? ????? ??? ???? ?? ??? AI? ?? ?? ????? ??? ??? ? ?? ??? ?????.
LLM ??? ?? ?? ??
??? ?? ?? ?? ??? ??? ?? ? ?? ?? ??? ????? ?? ??? ?? ?? ?? ???? ???? ??? ??? ? ????.
?? 1? ??? ?? ?? ???? ?????? ??? ?????:
- ???? ?????: LLM?? ???? ????? ????? LLM? ????? ?? ???? ???? ????. ??? ? ??? ?? ??? ?????.
- ???? ??: ????? ?? ?? ???? ?? ??? ?? ??? ??? LLM? ?????. ? ????? ? ?? ???? ???? ????? ???? ??????? ? ?? ???? ?????.
- ???? ??? ?? ??(PEFT): ?? LLM ????? ?? ?? ???? ?? ???? ???? ?? ??? ???? ???? ???? ????? ? ???? ???? ?? ???? ????? ? ?? ?? ???? ???? ?????.
- ?? ??: ?? ??? ? ?? ??? ??? ?? ??? ?? ?? ??? LLM ???? ?????? ???, ???? ??? ??? ?????. ?, ?? ??? ?? ??? ?? ?? ?? ?? ?? ???? ??? ?????. ??? ?? ?? ??? ?? ?? ???? ????? ??? ???? ???? ? ????.
??? ??? ?? ?? ?? ??: ???? ????? ? P-??? ?????.
???? ?????
???? ?????? ??? ?? ??? ??? ? ??? ???? ????. LLM?? ?? ???? ? ??? ?? ??? ??? ???? ?? ? ????? ???? ??? ??? ?????. ??? ????? ???? ????.
? ? ????(Few-shot prompting): ? ?? ????? ? ?? ?? ????? ?? ?? ????? ???? LLM? ??? ?? ??? ????? ?? ??? ???? ??? ????? ?? ???. ? ?? ?? ????? ?? ??? ?? ??? ?? ????? ?? ?? ???? ???? ?? ??? ???? ??? ?? ?? ??? ?????.
?? ??(Chain-of-thought reasoning): ??? ? ??? ?? ??? ???? ?? ??? ???? ??? ????? ???? ???, ?? ??? LLM? ??? ???? ??? ???? ? ??? ?? ???? ????? ?????. ???? ??? ? ??? ??? ??? ? ???? ??? ??? ??? ?????. ? ?? ??? ???, ???, ??? ?? ??? ?????.
??? ????: ? ?? ??? ??? ????? ??? ?? ????? ???? LLM? ??? ?? ????? ????? ??? ??? ???? ????. ??? ????? ??? ???? ?? LLM? ???? ??? ??? ? ????. ??? ????? ??? ???? LLM ??? ???? ???? ? ??? ?? ? ????.
???? ??
???? ??? ?? ??? ??? ?? ???? ??? ??? ?? ?? ?? ????? ??? ?? ??? LLM? ??? ? ?? ??? ???? ??? ?? ?????. ???? p-??? ???? ????? ??? ??? ?? ? ?? ??? ????, ? ? ?? ??? ???? ???? ????? ????.
??? ??? ???? ??? ?? ?? ??? ?? ??? ????? ???? ??? LLM? ? ??? ??? ? ????. ?? ?? ????? ???? ???? ?? ??? ??? ??? ??? ?? ??? ? ?? ???? ???? ?? ??? ?????. ???? ??? LLM? ?? ?? ???? ??? ??? ??? ? ?????, ?? LLM ?? ?? ?? ?? ?? ??? ?????.
???? ?? ? p-??? ?? ?? ???? ???? ?? ??? ????? ???? ?? ?? ??? ?? ???? ? ?? ?? ???? ???? ?????. ??? ?? ?? ???? ??? ??? ???? ????, ?? ?? ?? ?? ??? ????? ?????. ?? ??? ? ?? ?? ???? ??? ??? ?? ??? 1D ?????. ?? ? ???? ?? ?? ???? ?? ??? ??? ???? ?? ??? ?? ??? ??? ?????.
???? ??: ?? ??? LLM? ??, ??? ???? ???? ????? Xhidden_size ??? 2D ??? ??????. ??? ????? ???? ???? ? ???? ??? 2D ??? ??? ???? ????. ??? ?? ?? ?? ?? ?? ??? ???? ????. NeMo ????? ???? ?? ??? ???? ??? ???? ??? ?? ???? ?? ?????.
P-??: ???? ??? ??? ? prompt_encoder ????? ???? ?????, prompt_encoder? ?? ?? ???? ???? ? ???? LSTM ?? MLP ?????. ?? ?? LLM ????? ???? ???, ? ?? ???? prompt_encoder ???? ???????. p-??? ???? prompt_encoder?? ???? ??? ?? ??? ???? ?? ???? ?? ? p-??? ??? ????? ???? prompt_table? ????, ?? ???? prompt_encoder? ?????. ??? ?? ??? p-??? ??? ????? ????? ??? ??? p-?? ?? ????-??? ??? ????? ???? ??? ?? ??? ? ????.
prompt_table? ?? ??? ?? ???? ??? ??? ?? ??? ?? ??? ?????. NeMo ?????? p-?? ??? GPT Understands, Too? ???? ???.
???? ???? ?? ??
???? ??? ?? ??(PEFT) ??? ??? ???? ???? ?? LLM ????? ? ?? ???? ?? ???? ????? ???? ???????. PEFT? ???? ?? ?? ??? ?? ?? ????? ?????. ?? ??? LLM ???? ??? ??? ????, ??? ? ??? ??? ??? ???? PEFT ?? ?????? ????? ?? ?? ????. ?? ?? ??? ???? LLM? ?? ???? ??? ? ????.
?? ??? ?? ??? ?? ???? ? ?? ???? ? ?? ???? ???? ??? ????. ???? ??? ?? ??? ??? ??? ?? ????? ???? ????. ?? ??? ??? ?? ????? ????? ?? ??? ???? ?????. ?? ?? ?? ??? ?? ?? ??? ????? ?? ? ?(10,000? ???) ???? ????? ???? ??? ??? ??? ? ????.
- ??? ??
- ?? ??? ?? ? ??? ?? ???? ???(IA3)
- ???? ??(LoRA)
??? ??: ?? ????? ????? ??? ??? ?? ?? ??? ???? ?????. ? ???(???)? ?? ????? ??? ?? ?? ?? ??? ?????. ??? ???? ????? ?? h? ??? ??? ???? ?? ?? ??? ??? ?? ??? ??? ??? Wup? ??? ?? ??? ?????. ?? ??? ??? ??? ??? ???? ?? ??? ?????:
??? ??? ????? ???? ?? ??? ?? 0? ??? ????? ??? ??? ??? ?? ?? ??? ?? ??? ?????. NeMo ????? ??? ??? NLP? ?? ???? ???? ?? ??? ???? ???.
IA3: ??? ??? ???? ????? ???? ??? ??? ??? ?????? ???? ?? ?? ?? ?? ????? ?????. ??? ???? ????? ?? ????? ??? ?? ??? ? ????. ??? ?? lk, lv, lff? ?? ?? ????? ?? ?, ??? ????? ????? ?? ???? ??? ??????. ? ??? ?? ??? ? ??? ???? ????? ???? ?? ??? ?? ??? ?? ? ?? ??? ?? ?? ??? ???? ???. NeMo ????? IA3 ??? ????? ???? ???? ?? ??? ? ????? ??? ? ?? ????? ???? ???.
LoRA: ?? ??? ?? ??? ??? ????? ???? ???? ???? ??? ????? ?????. LoRA? ?? ??? ?? ??? ?? W? ?????? ?? ?? ??? ??? ?????? ?? ??? ?? ?? ??? ???? ?? 10,000?, GPU ??? ???? 3? ????. ? ????? ?? ?? ?? ?? ???? ?? ? ? ?? ??? ????? ?????. ?? ?? ?? ?? ?? ??? ????? ???? ?? ??? ?? ??? ????? ? ?? ??? ?????, ?? ?? ?? ?? ?? ? ?? ?? ???? ??? ? ????.
NeMo ?????? LoRA ??? ?? ?? ??? ???? ??? ???? ???. LoRa ??? ?? QA ??? ???? ??? ?? ??? ??? LoRA ???? ???? ?????.
?? ??
???? ??? ???? ? ??? ?? ??, ??? ?? ??(SFT) ? ?? ???? ?? ?? ??(RLHF)? ?? ??? ?? ??? PEFT ? ??? ?????? ?? ??? ??? ?? ?????. ?? ??? ?? ??? ?? ?? ??? ?? ??? ?? ???? ??? ???? ???? ? ??? ? ? ????.
?? ?? ?? (Supervised Finetuning): SFT? ?? ???? ??? ??? ?? ??? ??? ??? ??? ????? ???? ??? ?? ? ?? ???? ?? ?? ?? ????? ?? ???? ???????. ? ??? ????? ?? ?? ?? ?? ?????. ?? ??? ??? ???? ???? ??? ?? ?? ?? ??? ??? ? ??, ?? ??? ????, ?? ?? ??? ?? ??? ?? ???? ???? ? ?? ??? ?? ? ????. SFT? ? ??? ???? ?? ??? ??? ?? ??? ?? ?? ??? ?? ???? ?? ????? ??? ????? ???.
??? ??? SFT? “?? ??? ? ???? ?????.” ?? “???? ?? ??? ?? ????? ??? ??”? ?? ??? ??? ?? NLP ??? ??? ? ??? ???? ?????. ? ??? ?? ??? ???? ????? ??? ????? ???? ?? ??? LLM ?? ? ??? ?????.
??? ?? ?????? ??? ??? ??? ??? ???? ?? ??? ?? NLP ??? ??? ???? ?? ?? ??? ??? ?? ?? ??? ???? ??? ?????. ?? ??? ??? ?? ??? ?? ?? ??? ??? ????, ? ????? ??? ?? ??? ?? ?? ? ??? ?? ????? ??? ??? ????. SFT? ?? ??? ???? ?? ??? ???? LLM ??? ???? ???? ??? ?? ?????.
??? ???? ?? ?? ??: ??? ???? ?? ?? ??(RLHF)? LLM? ??? ??? ???? ? ? ??? ? ??? ?? ??? ?????. ? ??? ?? ??? ???? ??? ??? ???? ?? ??? ??? ? ??? ???. ???? ??? ???? ?? ??? ???? 3?? ?? ?? ????? ?????. ?? ???? ??? ?? ??? ?? ?? ??? SFT ??? RLHF ??? ? ?? ??? ?????.
SFT ??? RLHF? 2???? ?? ??(RM)? ?????. ??? ??? ?? ?? ??? ??? ????? ??? ??? ??? ??? ???? ???? ?? RM? ???? ? ?????.
RM? ??? ? RLHF? 3????? ?? ?? ???(PPO) ????? ??? ?? ??? ?? RM? ?? ?? ?? ??? ?? ???? ? ??? ???. ????? ???? ? ? ??? RLHF? ?? LLM? ??? ???? ? ???? ??? ? ????? ?? ? ?? ??? ??? ? ????.
RLHF? ??? LLM? ?????, ? ??? ???? ????? ??? ??? ???? ???? ? ??? ? ??? ??? ????. NeMo? PPO Value ????? ?? (Critic) ??? ???? LLM? ??? ???? ???? ??? ?????. ?? ??????? LLM? ??? ???? ???? LLM? ??? ???? ??? ?? ?? ??? ??? ?? ?? ?? ??? ??? ???? ????.
LLM ??? ??
? ?????? ??? ?? ??? ?? ??? ? ?? ??? ??????. ??? ?? ? ??? NVIDIA NeMo?? ?????.
NeMo? 3D ?? ?? ???? ????? ?? ???? ????? ?????. ?? ?? ?????? ??? ??? ? ??? ?? GPU ? ?? ?? ??? ?? ?? ? ??? ??????? ?? ?? ?? ??? ????? ????.
?? NeMo ?????? ?????? ??? ????? ? ???? ????? ?? ??? LLM? ?????????.
