?? ?? ??(LLM)? ?????? ?? ???? ?? ? ?? ???? ???, ?? ??? ?? AI ??????? ???? ????. ????? ??? ??? ????? ???? ??? ??? ??? ????? ?? ??? ?????. NVIDIA NIM? ? ????? ????? ??? ?????, ????, ??????, PC ??? ????? AI ??? ??? ? ??? ?????.
????????? ??? NIM? ?? ???? ?? ???? ?? ??? ???? ?? ???????? ???? ???? ?????. ??? ???????? ?? ???? ????? ?????? ?? ??? ???? AI ?? ??? ?? ?? ??? ?? ???? ?????.
LLM? ?? ??? NVIDIA NIM
????? ??? ??? ??? ?????? ?? ??? ??? ? ?? ?? ?????. ?? ??? ??? ?? ??? ??? ? ???, ????? ??? ?? ??? ?? ?? ? AI ?????? ?????? ???? ?? ?? ??? ?? ??? ????? ??? ?????.
NVIDIA? ??????? ??? ?? ??? ???? Mistral -7B, Mixtral-8x7B, Mixtral-8x22B? ????? NIM ??? ??????. ? ????? ??? ? ???? ??? ??? ????.
Mistral 7B NIM
Mistral 7B Instruct ??? ??? ?? ? ?? ?? ???? ??? ??? ??? ?? GPU? ????? ?? ??, ??? ??, ??? ?? ??????? ??? ?????. NVIDIA H100 ????? GPU? Mistral 7B NIM? ??? ? ???? NIM ?? ??? ??? ?? ???? ???? ???? ? ?? ?? 2.3?? ???? ?? ??? ??? ? ????.
??: ?? 500?, ??: ?? 2,000?. NIM ?: FP8. ??? 5,697??/?, TTFT 0.6?, ITL: 26???. NIM ??: FP16, ??? 2,529 ??/?, TTFT: 1.4?, ITL: 1xH100?? 60???
Mixtral-8x7B ? Mixtral-8x22B NIM
Mixtral-8x7B ? Mixtral-8x22B ??? Mixture of Experts(MoE) ????? ???? ??? ?? ???? ??? ?????. ??? ??? ??, ?? ??, ?? ??? ?? ???? ??? ??? ???? ??? ??? ??? ??????? ??????.
NIM? ??? ? ?? ??? ?? ???? ??? ?????. ??? ??? ???? ?? Mixtral-8x7B NIM? 4?? H100?? ?? 4.1? ??? ???? ?????. Mixtral-8x22B NIM? ??? ?? ? ?? ?? ??? ?? 8?? H100?? ?? 2.9? ??? ???? ?????.
??: ?? 500?, ??: ?? 2,000?. ?? ?? 200?. NIM ??: FP8. ??? 9,410??/?. TTFT 740???, ITL 21???. NIM ??: FP16. ??? 2,300??/?, TTFT 1,321???, ITL 86???
??: ?? 1,000?, ??: ?? 1,000?. ?? ?? 250?. NIM ??: ??? 6,070??/?, TTFT 3?, ITL 38???. NIM ??: ??? 2,067??/?, TTFT 5?, ITL 116???.
NVIDIA NIM? ?? AI ?????? ?? ???
???? NIM? ???? ???? ??? ?? AI ??????? ???? ? ??? ??? ????, AI ?? ???? ????, ?? ??? ??? ? ????. NIM? ???? ???? AI ??? ??????? ????? ??? ?? ??? ?????.
?? ? ???
??? ???? ?? ???????? ?? ???? ?? ?? ??, ?? ???? AI ??? ???? Llama 3 70B NIM? ?? ?? 5? ?? ???? ?????. NIM? AI ?? ??? ?? ???? ???? ???? ??? ??? ???? ?? ???? ????? ??? ?????.
?? ???
?? ?????? ??? ????? ?? ??? ????? NVIDIA ?? ????? ???? ??? ?????. ????????? ??? API ? ??? ?? ???? AI ??? ???? ? ????.
?? ? ?? ???
AI ?????? ? ???? ?? ??? ?? ? ??? ?????. NIM? NVIDIA AI Enterprise? ?? ?? ????? ??? ?? ??? ??? ????, ??????? ?????, ??? ??, NVIDIA AI ????? ???? ??? ?????.
AI ??? ??: NVIDIA NIM? ? ??
NVIDIA NIM? AI ??? ??? ??? ?????. ??? ?? ???? AI ?? ??????? ???? ??? ?? ??? ??????? ????? ???? ?? ????? ????. AI? ???? ??? ????? ??????? NVIDIA NIM? ???? ?? ??? ???? ?? ???????? ?? ???? ?? ??? ? ????. ?? ?? ?? ?? ??? ??? ?? ?? ? ????.
AI ??? ?? NVIDIA NIM? ???? ?????. ?? ?AI ??????? ?? ??? ???? ?? ?? NVIDIA NIM? ???? ?? ???? ????. ? ??????? ????? ?? ???? ??? ??? ??? ? ?? ? ???? ??????? ???? ?? ?? ??? ??? ????. ???? NIM ?? ???????? ????? NVIDIA NIM? ?? ??? AI ??? ?? ??? ???? ?????.
NVIDIA? ????? ??? NIM? ???? ?????? ??????? ???? ?? ??? AI ??? ?????. API ????? ???? LLM, ??, ??, 3D, ??? ??? ??? ?? ?? NVIDIA NIM? ?????.
?? ???
- GTC ??: ??? AI ??: Mixtral of Experts ??
- GTC ??: Mistral AI: ???? AI ??
- GTC ??: ?? ?? LLM ??????? ?? GPU?? ?? ?? ????(??: NexGen)
- NGC ????: Mistral-7B-Instruct-v0.3
- NGC ????: Mixtral-8x7B-Instruct-v0.1
- NGC ????: Mixtral-8x22B-Instruct-v0.1
