????? ????????(UCL)? DARK(Dark, Acting, and Reasoning with Knowledge) ???? NVIDIA NIM ???????? ??? ??? ?? ??? ??? ???? ?? BALROG(Benchmarking Agentic LLM and VLM Reasoning On Games)? ??????. BALROG? ??? ?? ???? ???? ???? ???? ??? ?? ??? ??? ?? ??? ????? ??????.
DARK ??? ?? ???? ??? ????? ?? NVIDIA NIM? ?????, 2025? 2? ? DeepSeek-R1 NIM? ????? ???? ?? 6,710? ?? ????? ?? ?? ??? DeepSeek-R1? ?? ????? ???? ???? ?? ?? ??? ? ?? ?? ?? ? ?? ?? ??? ????? ????????.
? ?????? NVIDIA NIM? BALROG? ??? ?? AI ??? ???? ????? ???? ??? ?????. ???? ????, ?? ?? ? NIM ???????? ??? AI ????? ???? AI ??? ??? ??? ????? ???? ?? ????? ?????.
DeepSeek-R1? NVIDIA NIM
NVIDIA NIM ???????? AI ??? ???? ???? ??? ??? ???? ????. GPU? ??? ??? ??? ? ?? ? ?? ? ???, ???? ??? ???? ??? ???? ?????. NIM? NVIDIA TensorRT, NVIDIA TensorRT-LLM ?? ?? ???? ??? ??? ?? ?? ??? ?? ????? AI ?? ??? ?? ? ????? ??? ? ?? ????.
NIM? ?? ?????? ???? ??? ? ???? ????. ????, ??? ??, ?? ?????? ??? ??? ? ?? ??? ?? ??? ????? ??? ? ????. ????? ?? ?? ??? ???, ??? ???? ??? ???? ?? ??? ??? ????? ??? ? ????.
??, ???? ??? ?? ????? ??? ??? ? ??, ??? ??? ?? ???? ??????? ?????. ??? ??, ??? ??, ?? ?? ?? ??? ???? ??? ? ?? ???? ??????. ??? NIM? ?? ????? ????? ??? ? ??, ??? AI ??? ??? ???? ??? ? ?? ?? ??? ??? ???? ??? ??? ???? ??? ? ????.
? ???????? OpenAI API? LangChain ?? ?? ??????? ??? ??? API? ??? ? ?? Python ???? ?? ??? ? ????. Node.js? ???????? ??? ??? ??? ???? ??? ? ????. ??? ????? ???? ???? ????? ?? ???? ?? ?? ??(LLM)? ????? ??? ? ????.
2025? 1? DeepSeek-R1? ?????, NVIDIA? ??? DeepSeek ??? ?? ??? ? ?? NIM ???????? ?? ??????. ? ??? UCL ???? ?? ???? build.nvidia.com? ?? ?? ? ??? 6,710? ???? ??? ?? ??? ??? ? ?????. DeepSeek-R1? ??? ?? ??? ?? ??? ??? ? ?? ??? ??? BALROG ????? ?? ??? ??? ??????.
BALROG ???
LLM? ??-?? ??(VLM)? ?? ??? ?? ????? ?? ?? ??? ????, ???? ???? ????? ???? ??? AI ??? ?? ?? ? ?????. ???? ??, ?? ??, ??? ?? ???? ??? ??? ???? ??? ?? ??? ??? ?????.
?? ?????? ?? ???? ???, ?? ?????? ??? ??? ??? ?? ??? ?? ??? ??? ????? ??? ??? ?? ???? ???? ???. ?, ?? ???? ???? ?? AI? ??? ?? ??(?? ?? ???? ????)? ??? ???? ??? ??? ????. BALROG ????? ?? ?? ???? ??? ?? ??? ?? ?????, ??? ??? AI? ?? ?? ? ???? ??? ??? ??? ? ??? ???????.
BALROG? ?? ?? ???? ??? ??? ?? ?????? ???, ??? ????? ??? ?? ??? ????? (?? 1 ??).
- Crafter: ???????? ??? ?? 2D ??? ????, ??? ?? ??, ?? ??, ??? ??? ?????.
- Baba Is AI: ?? ??? ??? ??? ??? ??? ?? ????, ?? ? ????? ??? ??? ?????.
- NetHack Learning Environment (NLE): ??? ??? ???? ??? ??? ??? ??? ????? ?????.
- MiniHack: NLE ??? ????? ????, ??, ?????, ??? ??, ?? ?? ? ??? ??? ?????.
- BabyAI: ??? 2D ??? ???? ??? ??? ?? ??? ???? ?? ??????.
- TextWorld: ??? ?? ?? ?? ??? ???? ??? ????, ??? ??? ???? ??? ?????.
??? ??? ???? ???? ?? ????? ???? ?????? ???? ??, BALROG? ?? ??? ??? ??(procedural generation)? ?????. ?? ?? ?? ??? ??? ???? ???, ??? ??? ???? ??? ???? ???. BALROG? ??? ??? ???? ??? ? ??? ???? ?????? ?????. ?? ?? ???? ???? ? ??? ??? ? ?????? ????? ??? ? ????. ?????? ? ???? ???? AI ???? ??? ???? ? ??? ????.
BALROG ??
BALROG? ?? ?? ??? ??? ?????? ?? ????? ?? ??? ?????. ????? ??? ?? ??? ??? ???? ???? ??-?? ???? ?????, ?? ?? ?? ??? ???? ???? ???. DeepSeek-R1?? ??? ?? ??? ??? ??? ??? ???? ?? ????? ?? ??? ?? ? ??? ?????.
BALROG? ? ???? ??? ??? 0?? 100??? ??? ???? ?????. ??? ??? ??? ???(BabyAI, Baba Is AI, MiniHack)??? ?? ??? ?? ??? ????? ?????—??? 0?, ??? 100?. ??, ???? ?? ??? ??? ? ?? ???(TextWorld, Crafter, NetHack)??? ??? ??? ??? ??? ???? ??? ???? ??? ?????.
BALROG? ??? ???? OpenAI API? ?? DeepSeek-R1 NIM? ?????, ?? ?? ?? ???? ??? ??? ?? ?? ???? ??????. ?? ??, DeepSeek-R1? BALROG?? ?? 34.9% ± 2.1%? ???? ???? ??? ?? ??? ??????. ?? ???? 1?? ???? Claude 3.5 Sonnet? 32.6% ± 1.9%? ??? ???, ?? ?? ?? ???? ???? ??? ????. NIM? ?? API? ????? ?????, ???? DeepSeek-R1? ??? ??? ? ?????. ??? ??? ??? ?? ????? ?? ????? ???? ??? ?? ??????.
??, ??? ????? API ?? ?? ??? ??? ?? ?????, DeepSeek-R1? NVIDIA NIM? ?? ??? ?? ?? ?? ?? ??? ?? ????? ?? ???????. (?? 2 ??).
??
NVIDIA NIM ??? ?? LLM? VLM? ?? ???? ??? ?? ??????. ??? API? ???? ??? BALROG ?? ?? ???? ??? ??? ? ????. ??, NIM ???????? ?????? ?? ???? ?????, ??? ??? ??? ??? ??? ??? ?? ????. DARK ???? ???? ? ???? ?? ?? ?? ??? ??? ?? ??? ?? ??, ??? ??? ???? ?? ??? ? ??? ??? ?? ??? ? ?????.
BALROG? ?? ??? ?? ? ??? ?? ???, ICLR 2025? ??? ?? “BALROG: Benchmarking Agentic LLM and VLM Reasoning On Games”? ?????. ???? ??? NIM ???????? ???? NVIDIA Llama Nemotron Ultra? Llama 4 ??? ????? ??? ?????.
?? AI ??? ?? ?? API? ????, ????, ???? ? ?? ??? NVIDIA NIM for Developers ????? ?? ??????.
