??? ?? ???(?? ??, ?? ??, ?? ??? ??? ??? ?? ?? ?)? ?? ??, ?? ??? ???? ??? ?? ??? ??? ????? ? ?? ?????. ???? ?? ??? ?? ??? ???? ???? ??? ??? ???? ??? ??? ????.
??? AI ??? ?? ?? ???? Coxwave Align? NVIDIA NeMo Curator? ??? ???? ??? ?? ????? ???, ?? ???? ??? ??? Fine-tuning?? ????. ? ??? ??? ?? ? ?? ???? ???, ?? ??? ???? ????? ?? ???? ? ?? ??? ???????.
??? Fine-tuning? ??? ??? Coxwave? ?? ?? ??(RAG) ?????? ??? ???(retriever)? ?? ??? ???. ?????? ???? ? ??? ?? ?? ??? ????, ?? ????(reranker)? ?? ??? ? ?? ?? ??? ?????.
?? ???? ????? ??? ????? ???? ??? ??, Coxwave? ??? ?? ??? ??? ??? ??? ??? ?? ? ?????? ??? ??????. ????? ?? ?? ??? ?? ??? ?? ?? ??? 6? ??? ??? ??? ?????, ?? ??? ? ?? ??? ??? ?? ??? ?? ??? ??? ?????.
Fine-tuning?? ?? ?? ???? ??? ???? ?? ??? ??? ? ???, ??? ??? ?? ??? Coxwave? ? ?? ???? ??? ??? ? ?????. ? ??, ?? ??? ????, ???? ??? ?? ?? ???? ?? ?? ????? ???? ???? ?? ??? ? ?????.
? ???? Coxwave ?? NeMo Curator? ??? ??? ??? ?? ?????? ???? ??? ???? ????? ?????. ? ??? ?? ??? ????? ?? ? ?? ?? ???? ???? ??? ?? ??? ??? Fine-tuning? ? ??? ? ?? ????? ?????.
?? ? ?? ??(Retrieving multi-turn conversations)
Coxwave Align? ??? AI ??????? ?? ?? ?? ????, ???? ??? ??, ?? ??? ??? ? ?? ?? ?? ??, ??? ??? ?? ?? ?? ?? ?? ??? ??? ????? ?????.
??? ?? ?? ???? ??? ??? ???? ???, Coxwave? ??? ??? ?? ??? ???? ????? ?? ??, ??, ?? ??? ?? ??? ???? ???? ???. ?? ?? ??? IR ??? ?? ???? ???? ? ??? ?????.
?? ???? ?? Coxwave? ?? ??, ??, ? ?? ??? ? ? ??? ? ??? ?? ??? Fine-tuning???, ?? ????? ?? NVIDIA NeMo Curator? ??? ??? ??? ??? ??? ??? ????? ??????.
Coxwave? ?? ??? ??? ?? ?? ?? ?? ??? ???? ? ??? ??, ?? ?? ?? ?????? ?? K?? ?? ???? ????? ???? ????. ?? ?? ???? ??? ???? ??? ??? ???? ???? ??? ??? ?? ? ???? ??? ??? ??? ??? ? ????.
?? ??, ???? ?? ?? ???
“??? ?? ??? ???? ? ? ?? ???”
?? ???? ?, ???? ??? ?? ?? ??? ?, ?? ?? ??? ?? ????, ?? ?? ??? ???? ? ??? ?? ??? ??? ?????? ??? ??? ?? ????? ??? ??? ??? ? ????.
Fine-tuning? ?? ??? ??? ??
Coxwave ?? ? 2.4?? ?(9.1GB)? ???? ?? ??? ? ?? ?? ???? ???, NeMo Curator? ?? ??(?? ?? ??, ?? ?? ??, ?? ???, ?? ?? ?? ?)? ????? ???? ? 76%? ???? ????? 605,000?? ??? ???? ??????.
“NeMo Curator ??? ???? ????? ????, ?? ??? ??? ??? ??? ????? ??? ? ?????. ? ?? ???? ? 12% ?????, ?? ??? 32???? 6???? 6? ??????, ?? ??? 80% ???????.” — Sangyeop Kim, Coxwave AI ??? ? ??
?? ??? ??? ????:
?? ? ?? ?? ??
NeMo Curator? ?? ?? ??? ??? ?? ????? ???(??)?? ? ???? ??? ????. ? ? ?? ?? ??? ?? ?? ?? ??? ???? ???? ?? ?? ??? ?? ??? ????? ??? ?? ??? ???? ? ?? ????????.
?? ?? ?? ??? ? ??? ???? ??? ???? ?? ?? ? ??? ??? ???? ????, ?? ?? ?? ??? MinHash signatures? LSH(Locality Sensitive Hashing)? ??? Jaccard ???? ?? ??? ?? ?????.
Coxwave ?? ? ? ?? ?? ?? ??? ?? ?? ???? ? 5%? ????, 247? ??? 235? ??? ??????.
?? ?? ??
NeMo Curator? ?? ?? ?? ??? ???? ????? ??? ??? ??? ???? ???? ????? ??? ??? ???? ?????? ????? ??? ?????. ? ??? RAPIDS ?????? ??? ??, ??, ?? ?? ?? ??? GPU?? ?? ???? ?? ??? ?? ??? ?? ??????.
Coxwave ?? ? ?? ?? ?? ??? ?? ???? ???? ? 57%? ??? ??????.
?? ???
??? ???? ???? ?? Coxwave ?? NeMo Curator? ?? ???(Quality Classifier)? ??????. ? ??? ?? ??? ? ??? ‘??’, ‘??’, ‘??’?? ????, ? ??? ?? ???? ??? ???????. ? ??? ?? ???? 108? ??? 61? ?? ??? ??? ???????.
???? ???
????? Coxwave ?? ???? ??? ??? ??? ???, URL, ?? ??? ??? ??? ?????, ? ???? 5,000?? ???? ??? ??? ????? 60? 5? ?? ??? ??? ??????.
?? ??? ??
Coxwave ?? ? 60? 5? ?? ??? ???? ? ??? 5?? ?? ??(?? 2?, ??? ?? ?? 3?)? ??? ? 300? ?? ??-?? ?? ??????. ??? ? ??? ???? ?? ?? ??? ???? ?? ??? ????, ? ??? ?? ????? 250? ?? ??? ??-?? ??? ??? ?? ?????? ??????.
Coxwave? ??? ?????? ??? ??? ???, ??? NeMo Curator? ??? ?? ? ?? ??? ?????? ?? ??? ??? ???? ?????? ??? ? ????. ?? ???? RAG ???? ???? ???? ?? ??? ???? ???? ?? ?? ??? ???, ?? ?? NeMo Curator ?? ??? fine-tuning ??? ?? ?? ??? ?? ?????? ???? ????. ??? ??? ??? ???? ?????.
??
Coxwave ?? 1,500?? ??? 9,100?? ??? ??? ??? ??? ??? Fine-tuning? ??? ??????. ?? ???? ?? ??? ???? NDCG@10?, ?? ?? ??? ??? ?? ??????? ???? Recall@10? ??????. ?? ? ??? ?? ???? ? ?? ??? ??? ?????, ? ??? ?? ????????. Fine-tuning? ??? ?? ??? ? ?? ??? ???? ??? ?????.
Figure 3??? Fine-tuning? ??? ??? ?? ??? ?? ???? ??? ???? ??? ?? ???? ???? ???, ? ?? ???? Fine-tuning? ??? ???? ??? ?? ???? 15~16% ? ?? ??? ??????.
??? ???? ?? ????? ?? ?? ??? ?? ???????. ???? ?? ???? ??? ?? 32??? ??? ???, ??? ???? ???? ? 5???? ? 6? ???????. ?? ??? ?? ?? ????, ??? ??? ?? ??? ??? ?? ??? ????? ????? ???????.
????
?????, Coxwave ?? NeMo Curator? ??? ???? ?? ???? ???? ?? ???? ??? ??? ??????, ? ?? ???? ??? ?? ?? ?? ???? 15% ???? ??? ??????. ?? NeMo Curator? ??? ?? ??? ?? ??? ???, ?? ?? ?? ??? 6? ???????.
NeMo Curator? ??? ?? ??? ?? ??? ?????? ???? ??? ?? ? ?? ??? ?? ???? ??? ???.
- Synthetic ???? ??? RAG ????? ?? ?? ? ??
- NeMo Curator ??? ???
- NeMo Curator GitHub – ?? ?? ????? ??, ????? ????, ?? ?? ??? ?? ????
?? ??
- GTC ??: ??? ?? RAG? ?? ??? ?? Fine-tuning
- GTC ??: ?? ??? ??? ?? ?? ???
- GTC ??: ???? ??? NVIDIA GPU? ??? Codeium? RAG ???
- NGC ????: Snowflake Arctic Embed
- NGC ????: NVIDIA Retrieval QA E5 Embedding v5
- NGC ????: NVIDIA Retrieval QA Mistral 7B Embedding v2
