LLM ?? ?????: ??

Reading Time: 9 minutes

?? ?? ??(LLM)? ??? ??? ??? ???? ??? ??, ??, ??, ??, ??? ? ?? ????? ????? ???? ??? ??? AI ??? ? ?????. LLM? ??? ?? ?? ??? ???? ? ?? ???? ??? ???, ??? ??? ??? ??? ???? ?? ?? ?????.

? ?????? ?? ????, ??? ????, ??? ??, ?? ?? ?? ??? ???? ????? ????? ???? ??? LLM? ?? ??? ?????.

?? ????

?? ????? ????? ????? ??? ????, ??? ??? ??? ????? ?????. LLM? ????? ?? ???, ??? ?? ???-??? ????? ????.

?? ???? ????? ??? ????:

????	??	??? ??
?????? ?? ??? ??? ??(BERT)	??? ?? ????? ??? ??? ? ?? ??? ?? ?????.	?? ? ?? ??
?? ??? ??? ?????(GPT)	?? ??? ???? ?? ??? ??? ??? ???? ?? ??? ??? ?? ???????. ??? ????? ??? ? ????? ???? ????. GPT ?????? ??? ?? ??? ??? ?? ??? ?? ?? ??? ???? ?? ??? ???? ??? ??? ??? ??? ? ??? ?????.	??? ???, ?? ???, ?? ??.
???-??? ???(???-??? ??)	???-??? ????. ?? ?? ?? ??? ???? ?? ??? ?? ?? ??? ??? ? ??? ???? ?????. ?, ???? ???? ?? ?? ???? ???? ???? ?????. ??? ????? ???? ????? ????? ????.	??, ?? ? ??, ??
??? ??(MoE)	?? ????? ??? ? ?? ?? ???? ??. ???? ?? ????? ????? ?? ??? ?? ???? ??? ??? ??? ??? ????? ???????. MoE ??? ?? ??? ??? ??? ??? ???? ?????. ???? ?? ?? ? ??? ?? K(K>=2 ?? K=1)? ?? ????? ??????.	?? ?? ???? ?? ? ?? ???? ?? ?? ???? ? ??????.

? ?? ?? ?? ???? ??? ???, ???, ???, ???? ?? ?? ?? ?? ??? ??? ??? ???? ???? ??? ???? ????. ???? ??? ????? ????, ??? ?? ??? ???? ???? ???? ??? ?? ?? ????? ??? ?? ???? ?? ??? ?????.

??? ???? ???? CNN? ???? ?????? ?? ? ????? ?? ??? ???? ???? ? ?? ????? ?? ??? ?? ??? ?????. ?? ?????? ??? ??? ???? ?? ??? ? ????. ? ?????? ??? ??? ????? ??? ????? ???? ??? ?? ? ????? ???? ?????? ? ??? ??? ? ????.

?? ??(joint representation)? ???? ?? ?? ??? ?????. ?? ?????? ??, ?? ??, ??, ???? ???? ?? ??? ??, ???? ???? ?? ??? ?? ?? ?? ??? ??? ???? ?? ?? ???? ??? ? ????.

????? ???? ????

????? ????? ???? ??? ????? ???? ????? ?? ??? ????? ? ???? ??? ???.

?????(Tokenizers)

???? ?? ??? ? ?? ???, ???? LLM? ?? ?? ??? ?? ????? ?? ??? ???? ??? ?????. ??? ??? ??? ??? ?? ID? ???? ?? ???? ???? ? ???? ? ?? ??? ??? ???? ??? ?????. ??? ???? ??? ?? ??? ? ??? ??? ???? ??? ??????. ??? ???? LLM? ??? ??? ? ?????? ?? ??? ?? ?? ??? ??? ???? ??????.

? ????? ??? ??, ??? ? ?? ????, ?? ??, ?? ??, ?? ??, ??? ??? ?? ????? ?????. ???? ???? ?? ??? ??? ??? ??? ???? ???? ???? ????. ??? ?? ????? ??, ?? ?? ?? ?? ???? ???? ? ????.

?? ? ?? ?? ?????? ?? ???? ???, ???? ? ?? ??? ????. ?? ?? ?????? ?? ??? ?? ????? ?? ???? ??? ?? ??? ?? ??? ??? ??? ?? ?????. ?? ?? ?????? ? ???? ?? ?? ?? ??? ???? ????.

??? ?? ??? ???? ?? ??? ??? ??? ?? ????. ???? ??? ????? ??? ???? ?? n-??? ??? ???? ??? ??? ? ?? ?? ?? ????? ???? ????. ? ??? ???? ? ???? ?? ?? ??? ??? ?? ??? ?? ??? ? ???? ?? ??? ?????. ?? ?? ???? ???? ?? ??? ????? ???? ?? ??? ????? ?? ???? ???? ?? ??? ???? ?????.

?? ???? ?? ?? ??? ??????? ??? ? ???(Byte Pair Encoding/BPE), ????(WordPiece), ????(Unigram), ?????(SentencePiece) ?? ????.

BPE? ?? ??? ???? ?? ???? ?? ?? ??? ?? ??? ????? ???? ?? ???? ??? ?? ???? ?????? ??? ? ? ?? ???? ??? ??? ?????.
????(WordPiece)? ?? ??? ????? ??? BPE? ?????, ??? ??? ??? ???? ??? ?????? ?? ???? ???? ??????.
????(Unigram)? ? ??? ???? ??? ??? ???? ??? ?? ??? ??? ??? ?? ??? ?? ??? ?????.
?????(SentencePiece)? ?? ??? ??? ?? ?? ????? ?? ?? ??? ???? ???? ?? BPE ??? ????? ???? ??? ?????.

??? ????(Attention Mechanisms)

?? ???(RNN)? ?? ??? ???-2 ??? ???-??? ?? ??? ?? ???? ??? ?? ? ???? ?? ??? ?????? ??? ??????, ?? ?? ??? ??? ???????. ??? ????? ?? ???? ???? ?? ???? ???? ???? ?? ???? ?? ??? ?? ?? ???? ???? ?? ????? ?? ???? ?? ??? ??? ? ????. ? ??? ???? ?? ??? ???? ?????? ?? ??? ??? ????? ?????.

? ????? 2017? ????? ?? ????? ?? ??? ?? ??? ?????? ?? ???? RNN? ???? ?? ?????. ?? ??? ????? ??? ????? ?? ?? ?? ?? ??? ?? ?? ???? ??? ?????. ?? ????? ?????? ???? ??? ?? ??? ????? ?? ??? ????? ????? ?????? ??? ??? ???.

*?? 2. ?? ??? ????(??:* ?? ?? ??? ?? ??? ????? ???? ???? ????)

?? ???? ???? ?? ?? ??? ???? ?? ??? ???? ?? ???? ???(scaled-dot product attention)??? ????. ?? ???? ? ??? ??? ??? ????? ???? ??(Q), ?(K), ?(V) ???? ??? ???? ? ?????. ??? ?? ?? ?? ??? ????? ?? ? ?? ??? ??? ??? ??? ???? ????. ?? ??? ????? V ??? ?? ??? ?? ?? ? ?? ???? ?? Q ? K ??? ???? ???? ???? ?? ??? ?? ?-? ?? ??? ? ? ?? ??(Q)? ??? ??? ????.

?? ???? ?? ?? ???? ?? ??????. ?? ??? ? ?? ??(Q, K, V)? ?? ???? ? ? ????. ?? ?? ?? ???? ??? ??? ?? ? ???? ?????. ??? ??? CNN? ?? ???? ???? ???? ?? ??? ??? ???? ?? ????? ?? ???? ??? ???.

*?? 3. ?? ?? ?? ???(??:* ?? ?? ??? ?? ??? ????? ???? ???? ????)

?????, ?? ???? ???? ?? ?? ??? ?? ? ?? ?? ?? ?? ???? ???? ?? ?????? ??? ??????. ????? ?? ??????? ???? ?? ???? ????? ???? ?? ???? ????.

??? ???(FlashAttention)

??? ? ????? ??? ??? ??? ?? ???? ??? ??? ?? ??, ??? ???? ??? ??? ??? ?????. ??? ???? ??? ??? ?? ??? ??? ??? ???? ??? ?? ?? GPU ???? ???(HBM)?? ???? ?? ? ??? ?? ?? ??? ???? ???? ??? ??????.

??? ???? ???? ??? ??? ???? ??, ?, ? ??? GPU HBM(?? ???)?? SRAM(?? ??)?? ???? ??? ??? ??? ?? ??? ?? HBM? ???. ?? ??? ???? ??? ??? ??? ???? ?? ??????? ??? ??? ?? ???? ???? ??? ???? ?????. ??? ???? ?? ??????? ? ???? ?? ??? ?? ??(2~4?)? ?????.

*?? 4. IO ??? ?? ??? ??? ??? ??? ??????(??: https://github.com/Dao-AILab/flash-attention)*

?? ??? ??????-2? ??? ?? ??, ?? ???? ??, ????? FLOP ?? ? ???? ???? ?? ???????? 2? ? ????. ? ?? ??? ?? ?? ???? ??? ???? ?? ?? ???? ?????.

?? ?? ???(MQA)

?? ?? ??? ??? ? ? ? ?? ??? ??? ???? ??? ?????. ??? ?? KV ?? ??? ???? ???? ??? ??? ???? ?????. ?? ??? ?? ?? ?? ??? ?????? ?? ??? ???? ?? ?? ? ?? ?? ?? ???? ?????.

?? ?? ???(GQA)

*?? 5. ?? ?? ??? ????(??: https://github.com/fkodom/grouped-query-attention-pytorch)*

?? ?? ???(GQA)? ?? ? ?? ??? ????? ?? ?? ??? ???? ?? MQA? ??? ????. ?? ?? ?? ???? ???? ??? ??? ???? ?? ??? ??? ????. ?? ?? ???? 5%? ???? ?? ?? ?????? ????????? ?? ?? GQA? ??? ? ????. ??, ?? ??(?? ??, ?? ?? ??? ??) ?? ?-? ??? ???? MQA? ??????. GQA? MQA? ??? ??? ?? ?? ?? ???? ??? ??? ?????.

??? ??

???? ??? ???? ??? ?????. ? ??? 2D ?? ??? ??? ? ?? ??? ?? ??? ???? ?? ???? ???? LLM? ??????. ??? ? ?? ?? ??? ??? ???? ???? ??? ?????. ?? ?? ??? ???? ??? ????? ??? ?? ???? ??? ? ???, ??? ??? ??? ???? ? ????.

?? ????? ????? ?? ?? ???? ?? ?? ??? ??? ?? ???? ?????. ??? ? ?? ??? ?? ??? ?? ? ? ? ????? ??? ???? ????. ??? ?? ???? ? ??? ??????. ? ????? ??? ? ??? ?? ??? ??? ?? ?? ???? ?? ??? ? ??? ??? ???? ?? ??? ?? ??? ?????.

RoPE

*?? 6. ??? ?? ??? ??(??: RoFormer: ??? ?? ??? ??? ?? ??? ???)*

??? ?? ???(RoPE)? ?? ?? ???? ?? ?? ???? ??? ??? ????. ?? ??? ?? ????? ???? ??????. ??? ?? ???? ?? ??? ??? ???? ?? ??? ?? ???? ?????. ? ??? ?????? ??? ?? ???? ??? ??? ?? ???? ??? ????? ?? ?? ???? ??? ?? ???? ?????. ?? ??? ??? ???? ?? ?? ? ???? ???? ?? ??? ? ? ???? ??? ? ????.

AliBi

????? ?? LLM? ???? ?? ?? ???? ?? ???? ?? ???? ?? ? ? ???? ? ???? ????. ?? ?? ????? ????? ??? ?? ?? ?? ??? ?? ?? ? ??? ? ????? ???? ????. ?? ?? LLM? ??? ? ?? ?? ?? ??? ?????. ?? ???? ?? ?? ??? ?? ???(Attention with Linear Biases/ALiBi)? ???????. ? ??? ?? ???? ?? ???? ???? ??, ?? ?? ? ??? ??? ??? ???? ???? ???? ???? ?????.

?? ??? ?? ? ???? ?? ???? ??? ???? ?? ?? ALiBi? ?? ?? ?? ??? ??? ???? ????? ???? ???? ???? ???? ??? ??? ??????. ? ??? ???(sinusoidal) ??? ?? ????? ????? ??? ??? ??? ??? ??? ??? ? ?? ??? ?????(0~0.7%). ??? ???? ?? ALiBi? ??? ?? ??? ?? ?? ?? ?? ??? ????? ?????. ? ??? ?? ? ? ???? ????? ?? ????? ?????? ???? ??? ?? ? ????.

????? ???? ??

LLM? ???? ?? ???? ???? ?? ???? ??? ??? ??? ????? ? ?? ??? ????. ??? ?? ????? ?? ?? ???? ?? AI ??? ????? ??? ??? ??? ?????.

??? ?? ??? ???? ?? ?? ?? ?? ? ??? ???? ?? ? ?? ??? ?? ?????. ?? ?? ??? ?? ????? ????? ??? ?? GPU? ???? ? GPU? ?? ????? ?? ??? ????? ???. ?? ?? ?? ?? ??? ????? ?? ??? ?????.

?? ?? ??? ??-?? ??? ?? ?? ??? ??? ????? ? ??? ? ??? ??? ?? ????? ?? ??? ?? GPU? ?? ?????. ? ??? ??? ???? ???? ?? ???? ??? ?????.
????? ?? ??? ?? ???? ?? GPU? ???? ???, ??? ? ?? ????? ?? ??? ???? ???? ???? ? ??? ???. ? ????? ?? ???? ?? ???? ?? ???? ?? ??? ?????. ?? ?? ?? ????? ??? ???? ?? ????? ???? ?? ??? ???? ?? ???? ??? ? ????.
??? ?? ??? ??? ?? ???? ??? ??? ??? ?? ???? ????? ???? ??? ???? ?? ?? ?? ?? ??? ?????. ??? ???? ??? ??? ?? ???? ?? ?? ?? ??? ?? ??? ??? ?? ??? ????? ??? ???? ??? ? ????. ???? ???? ??? ?? ??? ????? ??? ??? ?? ? ?? ???? ??? ? ????.
??? ??? ???? ??? ?? ??? ?? ?????. ?? ??? ???? ?? ????? ???? ??? ?? ??? ???? ?? ???? ??? ?? ??? ????? ?? ??? ?????. ?? ????? ???? ??????? ????? ?? ???? ?? ????? ????? ? ?? ??? ?? ?? ?? ? ????? ???? ??? ??????? ???? ? ????.

?? ??? ?? ?? ?? ????? ?????. ??? ?? ??? ???? ??? ?? ?? ??? ?? ??? ??? ???? ?? ???? LLM ??? ?? ??????.

??? ?? ????? ??? ??? ?? ?? ??? ???? ? ??? ??? ?????. ?? ?? ??? ?? ?? ????? ????? ?? ????. ? ????? ?? ???? ?? ??? ???? ??? ??? ?? ??? ?? ?????. ??? ??? ??? ???? ?? ???? ?? ????? ?? ????? ??? ??? ??? ? ????.

?? ?? ?? ??? ?? ??(fully sharded data parallelism/FSDP) ????? ???. ? ??? ?? ????? ?? ???? ??? ?? ?? ?? ???? ????, ? ???? ?? ???? ?? ??? ? GPU ??? ??? ??????.

FSDP? ???? ???? ???? ?? ????? ??? ?? ?? ????? ?? ??? ??? ? ?? ?? ??? ?? ??? ?????. ?? ?? ??? ? ???? ????? ?? ??? ??? ????? ???? ??? ???? ? ????. ?????, FSDP? ????? ??? ????? ???? ?? ?? ???? ??? ???? ??????. ??? ???? ?? FSDP? TFLOPS ???? ?? ??? ??? ????? ?? ? ? ??? ??? ?????.

??? ?? ??

???? ??? ??? ?? ???(?? ???) ?? ?? ??? ?? ?? ??? ??? ???? ???? ???????. ? ??? ???? ??? ??? ?????? ??? ??? ???? ?? ??? ???, ???? ????, ??? ??? ? ????.

??? ?? ??(QAT)? ?? ???? ???? ??? ???? ?????. ??? ?? ???? ??? ????? ???? ??? ?? ???? ?????. ??? ???? ??? ? ???? ??? ???? ?? ? ???? ?? ???? ?????. ??? ??? ???? ???? ??? ???? ??????. ??? ??? ??? ???? ???? ???? ???? ?????. ?? ?? ??? ??? ???? ??? ??? ??? ?? ????? ??? ? ????. ? ?? ???? ??? ??? ?????? ?? ? ???? ? ?? ??? ??? ?? ? ????.

?? ?? LLM ????

? ?????? ??? ?? ?? ??? ? ?? ??? ??????. LLM ?? ?????: ??????? ?? ???? ???? LLM ?????? ?? ?? ??? ?? ?????.

???? ?? ??? 3D ?? ?? ???? ??? ? ?? ???? ?????? ???? NVIDIA NeMo?? ?????. ?? ?? ?? ?????? ??? ??? ? ????. ?? GPU ? ?? ?? ??? ?? ?? ? ??? ????? ?? ?? ??? ??? ??? ????? ????. ?? NeMo ?????? ?????? ??? ????? ? ???? ????? LLM? ?????.