Architecture des modèles

Les sept notes qui posent les fondations conceptuelles d’un LLM frontier. À lire en séquence pour construire le mental model du modèle lui-même, avant de passer à son serving (Inference) ou à son intégration applicative (Applied).

Notes

1. 01-transformer-architecture — Self-attention, MHA/MQA/GQA, FFN, normalisations
2. 02-position-encodings — RoPE, ALiBi, YaRN, sliding window
3. 03-flash-attention — Tiling, online softmax, hiérarchie mémoire GPU
4. 04-tokenization — BPE, SentencePiece, Tiktoken, multilingue
5. 05-mixture-of-experts — Routing, expert capacity, auxiliary-loss-free balancing
6. 06-distributed-training — DP, ZeRO, FSDP, TP, PP, mixed precision
7. 07-post-training-alignment — SFT, RLHF, DPO, Constitutional AI