?? NVIDIA? RTX ? Jetson ????? Gemma 3n? ?? ?????. ??? Google I/O?? Google DeepMind? ??? Gemma?, ???? ????? ??? ???? ? ?? ?? ??? ???? ????.
?? Gemma?? ?? 3.5 ???? ???? ???? ?? ??? ?? ??? ?? ??? ??? ???????. ????? Universal Speech Model, ??? MobileNet v4, ???? MatFormer ? ???? ? ??? ???? ?? ?? ??? ????? ???? ????.
?? ??? ?? ??? Per-Lay Embeddings?? ???? ??? ?????. ? ??? ?? ????? ???? ??? ???? ????? ?????. ?? ??, Gemma 3n E4B ??? 80? ?? ????? ?? ???, ?? ??? ??? 40? ???? ?? ??? ?????. ??? ????? ???? ??? ????? ?? ???? ?? ?? ??? ??? ? ????.
| ?? ?? | ???? ? | ?? ???? ?? | ?? ???? ?? | ??? ?? ?? ?? |
| E2B | 5B | 32K | 32K subtracting request input | 1.55GB |
| E4B | 8B | 32K | 32K subtracting request input | 2.82BB |
? 1: E2B ? E4B ?? ??? ???? Gemma 3n ?? ?? ??
Jetson?? ????? ?? AI ??
Gemma ???? ??? ????? ?? ?? ??????? ???? NVIDIA Jetson ?????? ??? ??? ?????. ?? ????? ??? ??? ?? ??? ?? ?? ???, ??? ??? ????? ????? ?????.
Jetson ????? ?? Kaggle?? ?? ?? Gemma 3n Impact Challenge? ??? ? ????. ? ???? ???, ??, ??, ?? ?? ???, ?? ?? ? ??? ???? ??? ??? ????? ???? ??? ????? ?? ??? ???. ?? ???? ??? Jetson ? ????? ??? ??? ??? ??? ?????? ?? $10,000? ??? ??? ??? ?? ??? ?????.
??? ?????, ?? 4? Gemma 3 Developer Day?? ??? ??? ? ??? ???, Ollama? ??? ???? Gemma? ??? ? ?? GitHub ?????? ??? ??? ????.
Windows ?? ???? AI ?? ?? ???? ?? NVIDIA RTX
NVIDIA RTX AI PC? ????, ???? Ollama? ?? Gemma 3n ??? ??? ??? ? ????. ?? ????? AnythingLLM, LM Studio? ?? ???? ???????? RTX ??? ?? Gemma 3n ??? ??? ? ????.
???? RTX? Jetson ????? Gemma 3n? ??? ??? ? ?? ?? ??? ? ????. Ollama CLI? ??? ??? ??? ????:
- Windows? Ollama? ???? ? ?????.
- ???? ?? ?? ???? ?????:
ollama pull gemma3n:e4b
ollama run gemma3n:e4b “Summarize Shakespeare’s Hamlet” NVIDIA? Ollama? ??? RTX GPU? ???? ?? ??? ????, ?? ?? Gemma 3n? ?? ?? ??? ??? ??? ? ??? ?????. ?? ??? GGML ?????? ???? ? Ollama ??? ????? ??? ?????. RTX GPU?? ??? ??? ???? ?? NVIDIA? GGML ????? ?? ??? ?? ???? ? ????.
NVIDIA NeMo Framework? ???? ?? Gemma? ?????????
???? Hugging Face? ??? Gemma 3n ??? ???? NVIDIA NeMo Framework? ?? ??? ? ????. NeMo? Llama ?? ??? ?? ??(post-training) ???? ???? ??? ???? ?? ? ??? ????, ?? ?? ??? ???? ????(fine-tuning)?? ? ??? ???? ?????? ?????. NeMo? ?????? ??? ???? ???? ????, ?? ???? ?? ??? ?? ? ??? ?????.
NeMo? ?????? ??? ?? ??? ???? ????:
- ??? ?? (NeMo Curator): Curator? ???? ?? ? ??? ???? ??, ???, ?? ??? ? ?? ??? ????, ?? ?? ?? ????? ??? ??? ????? ?????. ?? ?? ?? ?? ???? ??? ?????.
- ???? (NeMo): ??? ??? ????, NeMo? ?? Llama ??? ????? ????? ? ????. ? ????? LoRA(Low-Rank Adaptation), PEFT(Parameter-Efficient Fine-Tuning), ?? ???? ?? ? ??? ??? ??? ???? ??? ???? ??????? ? ????.
- ?? ?? (NeMo Evaluator): ???? ???? NeMo Evaluator? ??? ??? ?? ??? ? ????? ???? ?? ??? ?????.
??? ???? ?????? ?? NeMo? ???? ?? ??? ??? ??? ????? ?????.
NVIDIA? ???? ???? ??? ???? ???, ?? ?? ??? ????? ???? ????? ???????. Gemma? ?? AI? ???? ????, ???? ?????? ?? ?? ??? ?? ??? ? ?? ?? ??? ?? ??? ???? ????.
?? ?? ??????
???? ???? ???, NVIDIA API ?????? NVIDIA ?? ??? ??? Gemma 3n E4B? ?? ?????? ????.
?? ???
- DLI ??: Jetson Nano?? AI ????
- GTC ??: NVIDIA Jetson ? AWS IoT Greengrass? ?? ???? ??? AI ??????? ????
- GTC ??: RTX PC ? ??????? ?? ??? ??, ??? ???? ? ??? AI ???? ????
- GTC ??: Google AI: ??, ?? ? ??? ??
- NGC ????: DLI Jetson Nano?? AI ????
- SDK: NVIDIA Dynamo
