系列简介#

大语言模型（Large Language Model）的发展历程，是一部波澜壮阔的技术创新史。从 2017 年 Google 发表《Attention Is All You Need》Transformer 论文，到 2026 年 Kimi 发布 Attention Residuals 架构创新，LLM 领域发生了翻天覆地的变化。

本系列按照时间线，系统梳理 LLM 发展的关键论文，帮助读者理解每项技术的起源、演进和影响。

学习路径#

1
第一阶段：架构基础
2
├── 01 Transformer 架构革命
3
├── 02 GPT 系列
4
├── 03 BERT 与双向预训练
5
├── 04 PaLM 与 Scaling Law
6
├── 19 RoPE 旋转位置编码
7
├── 20 Chinchilla 与训练法则
8
├── 21 LLaMA 2 与开源突破
9
├── 27 PaLM 2 技术报告
10
└── 35 Transformer-XL 超长上下文
11

12
第二阶段：能力增强
13
├── 05 Chain of Thought 推理增强
14
├── 06 RLHF 人类反馈强化学习
15
├── 07 Claude 与对齐技术
16
├── 16 DPO 直接偏好优化
17
├── 23 Claude 系列发展史
18
├── 41 Verify Step by Step 过程监督
19
└── 44 RLAIF 人工智能反馈
20

21
第三阶段：开源生态
22
├── 08 LLaMA 与开源生态
23
├── 09 Mixtral 与 MoE 架构
24
├── 21 LLaMA 2 与开源突破
25
├── 26 Qwen 与 InternLM 开源模型
26
├── 28 AlphaCode 编程竞赛
27
├── 29 Mistral 7B 小而美
28
└── 38 Codex 编程能力
29

30
第四阶段：效率优化
31
├── 14 Flash Attention 高效注意力
32
├── 15 LoRA 与 PEFT 高效微调
33
├── 17 LLM 量化技术
34
├── 18 MQA 与 GQA 注意力
35
├── 24 Speculative Decoding 推理加速
36
├── 30 Grok 与 LLaMA 3 新星
37
└── 39 GLaM 混合专家
38

39
第五阶段：Agent 与推理
40
├── 10 ReAct 与 Agent 架构
41
├── 11 OpenAI o 系列推理模型
42
├── 12 DeepSeek R1 与 GRPO
43
├── 13 Kimi AttnRes 与架构创新
44
├── 25 T5 与 FLAN 指令微调
45
├── 32 o1/o3 推理时代
46
├── 40 WebGPT 网页搜索
47
└── 42 Toolformer 工具调用
48

49
第六阶段：多模态与展望
50
├── 22 Gemini 多模态模型
51
├── 31 RAG 与 Long Context
52
├── 34 Prompt Engineering 与最佳实践
53
├── 36 ERNIE 知识图谱增强
54
├── 37 AutoPrompt 自动提示
55
├── 43 Phi-1 高质量数据
56
├── 45 Superalignment 弱到强泛化
57
└── 46 GraphRAG 知识图谱检索
58

59
第七阶段：新架构与基础技术
60
├── 47 Mamba 与 SSM 状态空间模型
61
├── 48 InstructGPT 与 ChatGPT 前身
62
├── 49 PagedAttention 与 vLLM 推理
63
├── 50 CLIP 视觉语言对比学习
64
├── 51 Tree of Thoughts 树状搜索推理
65
└── 52 LLaVA 开源多模态对话
66

67
第八阶段：前沿技术与基础设施
68
├── 53 DeepSeek-V2/V3 与 MLA 创新
69
├── 54 Sentence-BERT 语义表示
70
├── 55 GPT-4 技术报告解读
71
├── 56 BPE 与 SentencePiece 分词器
72
├── 57 RWKV 线性注意力
73
├── 58 DistilBERT 知识蒸馏
74
├── 59 Megatron-LM 张量并行
75
└── 60 ChatBot Arena 模型评估

系列文章#

前置知识#

• Python 基础
• 深度学习基础概念（神经网络、梯度下降、反向传播）
• 线性代数基础（矩阵运算、向量空间）

相关系列#

本系列是机器学习学习路线的核心理论部分，推荐结合以下系列阅读：

阅读建议：

• 先学 从零理解大语言模型 建立 LLM 基础认知
• 本系列按时间线深入论文细节，适合想深入理解原理的读者
• 论文中的 Agent 相关内容（ReAct、o 系列、R1）可结合 AI Agent 实战指南 实践

发展时间线#

核心技术点#

参考资源#

必读论文

• Attention Is All You Need - (Vaswani et al., 2017)
• GPT-1 - (Radford et al., 2018)
• BERT - (Devlin et al., 2018)
• GPT-2 - (Radford et al., 2019)
• Transformer-XL - (Dai et al., 2019)
• ERNIE - (Zhang et al., 2019)
• GPT-3 - (Brown et al., 2020)
• AutoPrompt - (Shin et al., 2020)
• InstructGPT - (Ouyang et al., 2022)
• Chain of Thought - (Wei et al., 2022)
• PaLM - (Chowdhery et al., 2022)
• Codex - (Chen et al., 2021)
• WebGPT - (Nakano et al., 2021)
• GLaM - (Du et al., 2021)
• Verify Step by Step - (Lightman et al., 2023)
• Toolformer - (Schick et al., 2023)
• LLaMA - (Touvron et al., 2023)
• Phi-1 - (Li et al., 2023)
• GPT-4 - (OpenAI, 2023)
• RLAIF - (Lee et al., 2023)
• Mixtral - (Jiang et al., 2024)
• Superalignment - (Burns et al., 2023)
• GraphRAG - (Edge et al., 2024)
• DeepSeek R1 - (DeepSeek Team, 2025)
• Attention Residuals - (Kimi Team, 2026)
• Mamba - (Gu & Dao, 2023)
• DeepSeek-V2 - (DeepSeek-AI, 2024)
• DeepSeek-V3 - (DeepSeek-AI, 2024)
• Sentence-BERT - (Reimers & Gurevych, 2019)
• GPT-4 Technical Report - (OpenAI, 2023)
• BPE - (Sennrich et al., 2016)
• SentencePiece - (Kudo & Richardson, 2018)
• RWKV - (Peng et al., 2023)
• DistilBERT - (Sanh et al., 2019)
• Megatron-LM - (Shoeybi et al., 2019)
• ChatBot Arena - (Chiang et al., 2024)
• CLIP - (Radford et al., 2021)
• PagedAttention/vLLM - (Kwon et al., 2023)
• Tree of Thoughts - (Yao et al., 2023)
• LLaVA - (Liu et al., 2023)

可视化资源

• Jay Alammar: The Illustrated Transformer - Jay Alammar: The Illustrated Transformer 相关文档
• Jay Alammar: The Illustrated GPT-2 - Jay Alammar: The Illustrated GPT-2 相关文档
• Lil’Log: Attention? Attention! - Lil’Log: Attention? Attention! 相关文档

学习路径推荐

• 入门：从 Transformer 论文开始，理解注意力机制
• 理解 GPT/BERT：掌握预训练+微调范式
• 理解 RLHF/CoT：掌握能力增强方法
• 理解 Agent：掌握 ReAct 等架构
• 理解工具使用：掌握 Toolformer、WebGPT 等工具调用
• 理解最新进展：阅读 o1/R1/AttnRes 论文

补充说明#