NVIDIA? 1? 9?? ?? ?? ?? ???? ???? ?? ??? ?? ?? ??(LLM)? ?? ??? ?? 6? 3?? ?? ???? ??? ?? ?? ??(Common Crawl) ??? ??? Nemotron-CC? ??? ???? ?????. ??? LLM? ???? ? ?? ?? ? ??? ???? ?? ?? ??? ????, ?? Meta Llama ???? ?? ??? LLM? 15? ?? ???? ??? ??? ?? ???? ???????.
??? ? 15? ?? ??? ??? ??? ???? ??? ?? ?? ????. Nemotron-CC? ? ??? ???? ? ?? ????? ?? ??? LLM? ??? ? ??? ?? ?? ??? ???. ????? ??? ??? ???, ????? ?? ????? ???? ?? ??? ?? ? ?????. FineWeb-Edu? DCLM? ?? ??? ??? ?? ?? ??? ??? ??? ?? ?? ???? ???? ???? ?? ????? ??? ???????. ??? ?? ???? 90%? ???? ??? ????. ?? ?? Llama 3.1? 15? ??? ?? ? ?? ?? ???? ????? ????.
Nemotron-CC? ??? ??? ??? ??? ??, ?? ??? ???, ???? ??? ?? ??? ??? ?? ?? ??? ???? LLM ??? ??? ??? ??? ??? ???? ??? ?????? Llama 3.1 8B?? ? ?? LLM? ??? ? ????.
??
?? 1? 1? ?? ??? ?? 8B ???? ??? ??? ?, ?? ???? 73%? ???? ?? ?? ??? ??? ???? ?? MMLU ?????. ???? ??? ?? ?? ??? ??? ??? DCLM? ???? ?, ??? ?? ??? Nemotron-CC-HQ? MMLU? +5.6?? ??????.

?? 6? 3?? ?? ?? ?? ??? ??? MMLU? DCLM? ?????, 4? ? ?? ??? ?? ??? ???? ????. ??? ? ?? ?? ?? ???? ??? ?????. 15? ?? ??? ?? ??? 80? ?? ???? ??(? ? 7? 2?? ?? Nemotron-CC?? ??)? Llama 3.1 8B ???? ? ?????: MMLU?? +5, ARC-Challenge?? +3.1, 10?? ??? ???? ?? +0.5? ??????.
?? ????
??? ??? ???? ? ?? ?? ????? ??? ????:
- ??? ?? ?? ???? ???? ? ?? ??? ???? ?? ??? ??? ? ????.
- ???? ?? ??? ?? ???? ???? ??? ????? ??? ??? ????? ??? ?? ???? ??? ??? ???? ????? ???? ? ?? ??? ?? ? ????.
- ??? ???? ?? ??? ??? ???? ??? ?????? ???? ??? ????? ??? ?? ??? ?? ?? ? ????.
??? ???? ??
NVIDIA NeMo Curator? ???? ?? ????? ???? ???? ??? ??:
- ??? ?? ???
- ??? ?? ?? ??? ??? ?? ??? ?? ??? ??????.
- ?? ??? ?? DCLM, fineweb-edu? ?? ?? ?? ??? ??????.
- ??? ???? ? ??? ??? ???? ??? ?? ???? ??? ??????.
??, ?? ??? ?? ?????? ???? ? 2? ?? ?? ???? ??????.
?? ??? ?? ?????? ??? ?? ???? ? NVIDIA/NeMo-Curator GitHub ?????? ??? ?????. ????? ???? ?????? ?????.
??
Nemotron-CC? ??? ??? ??? ?? ?? ??? ??????, ?? ??? ? ?? ?? ???? ?? ??? LLM? ?? ??? ? ????. ???? ?? ?? ?? ?? ??? ??? ?? ??? LLM ?? ??? ?? ??? ? ?? ??? ??? ??? ?????.
- ?? ???? ??? ??? ???????.
- NeMo ????? ??? ??? ??? ??? ???????.
- ??? ?? ??? ?? ??? ??? Nemotron-CC?? ?????: ?? ???? ??? ????? ?? ?? ?????? ?????? ??? ?????.
??? ?
??? ??? ???? ?? Common Crawl Foundation? ??????. ??? ???? ? ??? ?? ??? ???? ??? ?? Pedro Ortiz Suarez? ??? ??? ????? ???? ? ??? ?? Greg Lindahl??? ??????.
?? ???
- GTC ??: ???? ?? ?? ??(LLM) ??? ???
- GTC ??: NVIDIA NeMo ? AWS? ??? LLM ?? ???
- GTC ??: ?????? LLM ?? ?? ?????
- NGC ????: Nemotron-4-340b-instruct
- NGC ????: Llama-3.1-Nemotron-70B-Instruct
- NGC ????: Nemotron-4-340B-Reward