?? ????? ?? ?? ??? ? ??? ???? ??? ????. ?? ? ??? ??? ?????? ??? ?? ??? ? ?? ???? ??? ????, ?????? ??? ?? ??? ??? ????? ???? ? ??? ???. 2024? ? ? ???? Web of Science ??????? 218,650?? ?? ??? ??????, ?? ???? ??? ??? ??? ???? ?????.
???? ??? ??? ???? ?? ??? ???? ??? ???? ?? ?????. ??? ??? ?? ?? ??? ?? ??? ??? ?? ??? ???? ?? ? ???? ???, ??? ??? ?????. ??? ???? ?? ?? ??? ? ?? ??? ??? ?? ??? ??? ?? ??? ???? ??? ????. ??? ???? ?? ??? ???? ?? ? ????? ???? ???? ?? ????.
?? ??? ??? ??????? ??? ? ?? ??? ?? ??? ????? ???? ?? ?? ? ????? ????.
?? ?? ??(LLM)? ??? ??? ???? ??? ???? ???? ??? ? ?? ???? ???? ?????. ??? Generative AI Codefest Australia? ????? NVIDIA AI ????? ??? ?? ?? ?? ??? ??? ?? NVIDIA NIM ???????? ??? ? ??? ??? ?????. ?? ?? ?? ?? ????? ?? ??? LLM? ??? ????? fine-tuning? ? ?????.
?? ??? ?? LLM? ??? ???
?? ??? ??? ?? ?? ?? ?????(SAEF) ? ?? ??? ?? ??? ??? ?? ??? ??? ??? ??? ?????? ?? ?? ??? ??????.
??? ??? ??? ????? ?? ?? ??? ???? ???? ?? ???? ??? ???? ??, ????? ?? ?? ???? ???? ?? ??? ???? ??????. ? ??? ????? ????? ? ??? ??? ??? ??? ?? ???, ?? ??? ??? ?? ??? ?????.
??? LLM? ??? ???? ??? ??? ????? ??? ??? ????? ??? ???? ????? ??????. ?? ?? LlaMa 3.1 8B Instruct NIM ???????? ???? ??? Q&A ??????? ?????(?? 1), ?? ?? ?? ?????? ??? ??? ? ?????.
??? ????? ???? ? ? ?? ?????? ? ???? ?? ??? ???? ????? ???? ????? ? ?? ??????.
??? ??? ???? ???? ?? ???? ??? ???? ??????. ??? ??? ???? ??? ??? ???? ??? ?, ??? LLM? ??? ?? ?? ??? ???? ?? ?? ? ?? ??? ??????(?? 2). ???? ??? PDF ???? ???? JSON?? ????, ???, ?, ??? ????, ?? ??? ???? ?? ?? ??? ??? ?? ?????.
?? ???? ?? ??? ?? LLM? ?? ??
LLM? nv-ingest? ?? NVIDIA NIM ???????? ???, 8?? NVIDIA A100 80GB GPU? ?? ?? ??? LLM? ??? ?? ?????? ??????. ?? ???? ??? ?? ???? ???? ?? ???? ??(LoRA) ??? ??? ??? fine-tuning????.
?? ?? ??? ??? 2,000? ??? ?? ?? ??? ??? Web of Science ? Scopus ???????? ?????, Generative AI Codefest ?? ?? ???? ?? ?? ??? ???? ???? ????? ?? ??? ??? ???? ? ??????.
?? ?? ??
?? ??? ??? ??? ???? ?? ???? ??? ??? ??? ?? NVIDIA API ????? ??? ??? ?? ? ?? LLM? ???????. ? ??? ?? ??? ???? ???? ?? ???????.
????? Llama-3.1-8B-instruct? ?? ??? ?? ????? ??????.
?? ??
???? ??? ?? ?? ??? ??? ?? ?????? ???? Q&A ??? ??????.
?? ?? ??? ?? ??? ?? LLM ???? ???? ????? ?? ??? ???? KV ??? ???? ???????. ? ??, 16?? ???? ??? ? ?? ??? ?? 6??? ?? ???????.
?? ??? ??
?? PDF?? ???, ??, ?, ?? ?? ???? ???? JSON ??? ???? ?? nv-ingest? ??????. ?? ?? ??? ??? ??? ??? ??? ? ?? ??? ?? ?? ???? ??? ??? ? ?????.
?? ???? ?? PDF ?? ?? JSON ??? ???? ?? ??? 4.25?? ???? ??? ??? ??? ?????.
??
??? ?? ??? ?? ???????? ??? ???? ? ??? ??? ?? ??? ? ????, ?? ?? ?? ? 25.25?? ?? ??? ??????.
?? A100 80GB GPU 2?? 16?? ???? ???? ?? ??????? ???? ? 30?? ? ??? ????.
?? ????? ?? ? ?? ?? ???? ?? 1?? ?? ??? ?? ????, ? ???? ?????? ?? 99% ??? ??? ??? ? ?????(?? 3).
?? ??? ??? ???? ?? ??? ???? ??????. ???? ??? ? ?? ??? LoRA ???? ??? Llama-3.1-8b-Instruct? fine-tuning???? ?? ????? ????? ????? ??? ?? ?? ??? ??? ???? ? ????? ??????.
? ??, ? ??? ???? ? ????? ??? ??? ????? ???? ? 300? ??? ???? ?? ?? 2??? ??? ?????(?? 3).
?? ??
?? ?? ??? ?? ??? ?? ?????? ???? ????. ?? ??? ? ?? ??? LLM? ?? ????? ?? ????? ???? ??? ?? ??? ?????? ???? ????(?? 4).
? ?? ??? ?? ???? ?? ??? ???? ?? ??? ?? ??? ? ??? ???? PDF ??? ??? ?? NVIDIA AI Blueprint? ??? ?????.
???? ?? ??? ? ??? ?? ??? ?? ??? ???? ???(?: ???? ??? ?? ??? ??? ??)? ???? ???? ?? ??? ?? ????? ?? ??? ?? ????.
??
Generative AI Codefest??? ??? AI? ???? ?? ??? ????? ? ?? ???? ???? ??? ??? ???????. NVIDIA NIM? ???, ?? ???? ??? ???? ????? ??? ?????? ?? ???? ????? ??? ???? ? ?????.
?? ??? ?? AI? ?? ?????? ??????? ? ??? ???? ????? ??? ? ??? ??????. ?? LLM? ?? ? ??? ???, ????? ??? ???? ?? ??? ?? ????? ??? ? ??? ???? ???? ??? ????.
???? ??? ??? ??? ????? ????, ??? ??? ?? ???? ???? ???? ?? ???? ?? ??? ?? ????.
?? ???
- GTC ??: AI ??? ??? ????? ???????? ???? ?? ??
- GTC ??: LLM ?????? ?????: NVIDIA NIM? ?? ?? ??
- GTC ?? ??? ??: ????? ?? ??? AI ??????? ?? LLM ?? ?????? ??
- NGC ????: NVIDIA NIM Operator
- NGC ????: Mistral-Nemo-12B-Instruct
- ???: ????-?? ??? AI? ?? ??? ??? ??? ?? ??? ??
