跳到正文
构
LLM Anatomy Atlas
开源大语言模型的结构解剖
简体中文
English
简体中文
繁體中文
日本語
한국어
Français
Deutsch
Italiano
العربية
模型索引
架构演进
算子拆解
时间线
流派谱系
结构相似度
论文溯源
多模态
对比
全景图
模型墙
配置溯源
架构测验
关于
首页
›
流派谱系
实验室谱系
各实验室的发布序列按时间排列,并标注每一代的结构签名。纵向阅读即是一条设计谱系:什么保持不变(归一化、位置编码、注意力家族),什么发生了变化(上下文、稀疏化、训练精度)。
DeepSeek
· 13
2023-11
DeepSeek-Coder 6.7B · 2023-11 · 6.7B
DeepSeek-Coder 6.7B
6.7B
DeepSeek LLM 7B · 2023-11 · 5.9B
DeepSeek LLM 7B
5.9B
DeepSeekMoE 16B · 2024-01 · 16.2B
DeepSeekMoE 16B
16.2B · MoE
DeepSeek-V2 · 2024-05 · 236B
DeepSeek-V2
236B · MoE
DeepSeek-V2 Lite · 2024-05 · 15.6B
DeepSeek-V2 Lite
15.6B · MoE
DeepSeek-V3 · 2024-12 · 671B
DeepSeek-V3
671B · MoE
DeepSeek-V3 Base · 2024-12 · 671B
DeepSeek-V3 Base
671B · MoE
DeepSeek-R1 · 2025-01 · 671B
DeepSeek-R1
671B · MoE
DeepSeek-V3.1 · 2025-08 · 671B
DeepSeek-V3.1
671B · MoE
DeepSeek-V3.2 · 2025-09 · 671B
DeepSeek-V3.2
671B · MoE
DeepSeek-V4-Flash · 2026-04 · 284B
DeepSeek-V4-Flash
284B · MoE
DeepSeek-V4-Flash Base · 2026-04 · 284B
DeepSeek-V4-Flash Base
284B · MoE
DeepSeek-V4-Pro · 2026-04 · 1606.6B
DeepSeek-V4-Pro
1606.6B · MoE
2026-04
模型
发布时间
总参数
激活参数
注意力
MoE
DeepSeek-Coder 6.7B
2023-11
6.7
6.7
MHA
稠密
DeepSeek LLM 7B
2023-11
5.9
5.9
MHA
稠密
DeepSeekMoE 16B
2024-01
16.2
2.6
MHA
64e top6 +2shared
DeepSeek-V2
2024-05
236
21
MLA
160e top6 +2shared
DeepSeek-V2 Lite
2024-05
15.6
2.5
MLA
64e top6 +2shared
DeepSeek-V3
2024-12
671
37
MLA
256e top8 +1shared
DeepSeek-V3 Base
2024-12
671
37
MLA
256e top8 +1shared
DeepSeek-R1
2025-01
671
37
MLA
256e top8 +1shared
DeepSeek-V3.1
2025-08
671
37
MLA
256e top8 +1shared
DeepSeek-V3.2
2025-09
671
37
MLA
256e top8 +1shared
DeepSeek-V4-Flash
2026-04
284
13
MQA
256e top6 +1shared
DeepSeek-V4-Flash Base
2026-04
284
13
MQA
256e top6 +1shared
DeepSeek-V4-Pro
2026-04
1606.6
49
MQA
384e top6 +1shared
GLM
· 11
2023-10
ChatGLM3 6B · 2023-10 · 6.2B
ChatGLM3 6B
6.2B
GLM-4 9B · 2024-06 · 9.4B
GLM-4 9B
9.4B
GLM-4.5 · 2025-07 · 360.4B
GLM-4.5
360.4B · MoE
GLM-4.5-Air · 2025-07 · 107.7B
GLM-4.5-Air
107.7B · MoE
GLM-4.6 · 2025-10 · 360.4B
GLM-4.6
360.4B · MoE
GLM-4.7-Flash · 2026-01 · 29.4B
GLM-4.7-Flash
29.4B · MoE
GLM-5 · 2026-02 · 744B
GLM-5
744B · MoE
GLM-5.1 · 2026-04 · 744B
GLM-5.1
744B · MoE
GLM-5.2 · 2026-06 · 767.4B
GLM-5.2
767.4B · MoE
GLM-5.3 · 2026-08 · 767.4B
GLM-5.3
767.4B · MoE
GLM-5.3-Flash · 2026-08 · 328.9B
GLM-5.3-Flash
328.9B · MoE
2026-08
模型
发布时间
总参数
激活参数
注意力
MoE
ChatGLM3 6B
2023-10
6.2
6.2
GQA
稠密
GLM-4 9B
2024-06
9.4
9.4
GQA
稠密
GLM-4.5
2025-07
360.4
32.7
GQA
160e top8 +1shared
GLM-4.5-Air
2025-07
107.7
13
GQA
128e top8 +1shared
GLM-4.6
2025-10
360.4
32.7
GQA
160e top8 +1shared
GLM-4.7-Flash
2026-01
29.4
3.2
MLA
64e top4 +1shared
GLM-5
2026-02
744
40
MLA
256e top8 +1shared
GLM-5.1
2026-04
744
40
MLA
256e top8 +1shared
GLM-5.2
2026-06
767.4
40.2
MLA
256e top8 +1shared
GLM-5.3
2026-08
767.4
40.2
MLA
256e top8 +1shared
GLM-5.3-Flash
2026-08
328.9
13
MLA
288e top8 +1shared
Hunyuan
· 7
2025-08
Hunyuan 7B · 2025-08 · 7.8B
Hunyuan 7B
7.8B
Hunyuan 3 Preview · 2026-04 · 296.3B
Hunyuan 3 Preview
296.3B · MoE
Hunyuan 3 Preview Base · 2026-04 · 296.3B
Hunyuan 3 Preview Base
296.3B · MoE
Hunyuan-TurboS 30B A3B · 2026-05 · 30.3B
Hunyuan-TurboS 30B A3B
30.3B · MoE
Hunyuan-TurboS 7B · 2026-05 · 7.8B
Hunyuan-TurboS 7B
7.8B
Hunyuan 3 · 2026-07 · 296.3B
Hunyuan 3
296.3B · MoE
Hunyuan 4 Preview · 2026-08 · 770B
Hunyuan 4 Preview
770B · MoE
2026-08
模型
发布时间
总参数
激活参数
注意力
MoE
Hunyuan 7B
2025-08
7.8
7.8
GQA
稠密
Hunyuan 3 Preview
2026-04
296.3
19.9
GQA
192e top8 +1shared
Hunyuan 3 Preview Base
2026-04
296.3
19.9
GQA
192e top8 +1shared
Hunyuan-TurboS 30B A3B
2026-05
30.3
3.3
GQA
128e top8 +1shared
Hunyuan-TurboS 7B
2026-05
7.8
7.8
GQA
稠密
Hunyuan 3
2026-07
296.3
19.9
GQA
192e top8 +1shared
Hunyuan 4 Preview
2026-08
770
49
MLA
256e top8 +1shared
Kimi
· 7
2025-02
Moonlight 16B · 2025-02 · 15.8B
Moonlight 16B
15.8B · MoE
Kimi K2 Base · 2025-07 · 1040.2B
Kimi K2 Base
1040.2B · MoE
Kimi K2 0905 · 2025-09 · 1040.2B
Kimi K2 0905
1040.2B · MoE
Kimi Linear 48B A3B · 2025-10 · 50B
Kimi Linear 48B A3B
50B · MoE
Kimi K2.5 · 2026-02 · 1040.2B
Kimi K2.5
1040.2B · MoE
Kimi K2.6 · 2026-04 · 1040.2B
Kimi K2.6
1040.2B · MoE
Kimi K3 · 2026-07 · 2780B
Kimi K3
2780B · MoE
2026-07
模型
发布时间
总参数
激活参数
注意力
MoE
Moonlight 16B
2025-02
15.8
2.8
MLA
64e top6 +2shared
Kimi K2 Base
2025-07
1040.2
32.8
MLA
384e top8 +1shared
Kimi K2 0905
2025-09
1040.2
32.8
MLA
384e top8 +1shared
Kimi Linear 48B A3B
2025-10
50
2.8
MLA
256e top8 +1shared
Kimi K2.5
2026-02
1040.2
32.8
MLA
384e top8 +1shared
Kimi K2.6
2026-04
1040.2
32.8
MLA
384e top8 +1shared
Kimi K3
2026-07
2780
103
MLA
896e top16 +2shared
Meta
· 4
2023-02
LLaMA 1 7B · 2023-02 · 6.74B
LLaMA 1 7B
6.74B
Llama 2 70B · 2023-07 · 68.98B
Llama 2 70B
68.98B
Llama 3.1 70B · 2024-07 · 70.55B
Llama 3.1 70B
70.55B
Llama 3.1 8B · 2024-07 · 8.03B
Llama 3.1 8B
8.03B
2024-07
模型
发布时间
总参数
激活参数
注意力
MoE
LLaMA 1 7B
2023-02
6.74
6.74
MHA
稠密
Llama 2 70B
2023-07
68.98
68.98
GQA
稠密
Llama 3.1 70B
2024-07
70.55
70.55
GQA
稠密
Llama 3.1 8B
2024-07
8.03
8.03
GQA
稠密
MiniMax
· 7
2025-01
MiniMax-Text-01 · 2025-01 · 456B
MiniMax-Text-01
456B · MoE
MiniMax-M1 · 2025-06 · 456B
MiniMax-M1
456B · MoE
MiniMax-M2 · 2025-10 · 228.3B
MiniMax-M2
228.3B · MoE
MiniMax-M2.5 · 2026-02 · 228.3B
MiniMax-M2.5
228.3B · MoE
MiniMax-M2.7 · 2026-04 · 228.3B
MiniMax-M2.7
228.3B · MoE
MiniMax-M3 · 2026-06 · 443.4B
MiniMax-M3
443.4B · MoE
MiniMax-M3 MXFP8 · 2026-06 · 443.4B
MiniMax-M3 MXFP8
443.4B · MoE
2026-06
模型
发布时间
总参数
激活参数
注意力
MoE
MiniMax-Text-01
2025-01
456
45.9
GQA
32e top2
MiniMax-M1
2025-06
456
45.9
GQA
32e top2
MiniMax-M2
2025-10
228.3
10.6
GQA
256e top8
MiniMax-M2.5
2026-02
228.3
10.6
GQA
256e top8
MiniMax-M2.7
2026-04
228.3
10.6
GQA
256e top8
MiniMax-M3
2026-06
443.4
25.5
GQA
128e top4 +1shared
MiniMax-M3 MXFP8
2026-06
443.4
25.5
GQA
128e top4 +1shared
Mistral
· 2
2023-09
Mistral 7B · 2023-09 · 7.24B
Mistral 7B
7.24B
Mixtral 8x22B · 2024-04 · 140.6B
Mixtral 8x22B
140.6B · MoE
2024-04
模型
发布时间
总参数
激活参数
注意力
MoE
Mistral 7B
2023-09
7.24
7.24
GQA
稠密
Mixtral 8x22B
2024-04
140.6
39.1
GQA
8e top2
OpenAI
· 4
2019-02
GPT-2 · 2019-02 · 1.24B
GPT-2
1.24B
GPT-3 175B (paper) · 2020-05 · 175B
GPT-3 175B (paper)
175B
GPT-OSS 120B · 2025-08 · 116.8B
GPT-OSS 120B
116.8B · MoE
GPT-OSS 20B · 2025-08 · 20.9B
GPT-OSS 20B
20.9B · MoE
2025-08
模型
发布时间
总参数
激活参数
注意力
MoE
GPT-2
2019-02
1.24
1.24
MHA
稠密
GPT-3 175B (paper)
2020-05
175
175
MHA
稠密
GPT-OSS 120B
2025-08
116.8
5.1
GQA
128e top4
GPT-OSS 20B
2025-08
20.9
3.6
GQA
32e top4
Qwen
· 22
2024-02
Qwen1.5 7B · 2024-02 · 6.6B
Qwen1.5 7B
6.6B
Qwen2 72B · 2024-06 · 71.4B
Qwen2 72B
71.4B
Qwen2.5 72B · 2024-09 · 71.4B
Qwen2.5 72B
71.4B
Qwen2.5 7B · 2024-09 · 7.6B
Qwen2.5 7B
7.6B
Qwen3 0.6B · 2025-04 · 0.6B
Qwen3 0.6B
0.6B
Qwen3 235B A22B · 2025-04 · 234.6B
Qwen3 235B A22B
234.6B · MoE
Qwen3 30B A3B · 2025-04 · 30.4B
Qwen3 30B A3B
30.4B · MoE
Qwen3 32B · 2025-04 · 32.1B
Qwen3 32B
32.1B
Qwen3 8B · 2025-04 · 7.9B
Qwen3 8B
7.9B
Qwen3-Next 80B A3B · 2025-09 · 78.7B
Qwen3-Next 80B A3B
78.7B · MoE
Qwen3-Coder-Next · 2026-01 · 78.7B
Qwen3-Coder-Next
78.7B · MoE
Qwen3.5 122B A10B · 2026-02 · 119.9B
Qwen3.5 122B A10B
119.9B · MoE
Qwen3.5 27B · 2026-02 · 23.7B
Qwen3.5 27B
23.7B
Qwen3.5 35B A3B · 2026-02 · 33.9B
Qwen3.5 35B A3B
33.9B · MoE
Qwen3.5 397B A17B · 2026-02 · 392.6B
Qwen3.5 397B A17B
392.6B · MoE
Qwen3.5 9B · 2026-02 · 7.9B
Qwen3.5 9B
7.9B
Qwen3.5 9B Base · 2026-02 · 7.9B
Qwen3.5 9B Base
7.9B
Qwen3.6 27B · 2026-04 · 23.7B
Qwen3.6 27B
23.7B
Qwen3.6 35B A3B · 2026-04 · 33.9B
Qwen3.6 35B A3B
33.9B · MoE
Qwen3.8 2.4T A95B · 2026-08 · 2399.6B
Qwen3.8 2.4T A95B
2399.6B · MoE
Qwen3.8 27B · 2026-08 · 23.7B
Qwen3.8 27B
23.7B
Qwen3.8-Flash-Next · 2026-08 · 123.6B
Qwen3.8-Flash-Next
123.6B · MoE
2026-08
模型
发布时间
总参数
激活参数
注意力
MoE
Qwen1.5 7B
2024-02
6.6
6.6
MHA
稠密
Qwen2 72B
2024-06
71.4
71.4
GQA
稠密
Qwen2.5 72B
2024-09
71.4
71.4
GQA
稠密
Qwen2.5 7B
2024-09
7.6
7.6
GQA
稠密
Qwen3 0.6B
2025-04
0.6
0.6
GQA
稠密
Qwen3 235B A22B
2025-04
234.6
21.7
GQA
128e top8
Qwen3 30B A3B
2025-04
30.4
3.2
GQA
128e top8
Qwen3 32B
2025-04
32.1
32.1
GQA
稠密
Qwen3 8B
2025-04
7.9
7.9
GQA
稠密
Qwen3-Next 80B A3B
2025-09
78.7
2.9
GQA
512e top10 +1shared
Qwen3-Coder-Next
2026-01
78.7
2.9
GQA
512e top10 +1shared
Qwen3.5 122B A10B
2026-02
119.9
7.6
GQA
256e top8 +1shared
Qwen3.5 27B
2026-02
23.7
23.7
GQA
稠密
Qwen3.5 35B A3B
2026-02
33.9
2.7
GQA
256e top8 +1shared
Qwen3.5 397B A17B
2026-02
392.6
13.6
GQA
512e top10 +1shared
Qwen3.5 9B
2026-02
7.9
7.9
GQA
稠密
Qwen3.5 9B Base
2026-02
7.9
7.9
GQA
稠密
Qwen3.6 27B
2026-04
23.7
23.7
GQA
稠密
Qwen3.6 35B A3B
2026-04
33.9
2.7
GQA
256e top8 +1shared
Qwen3.8 2.4T A95B
2026-08
2399.6
95
GQA
512e top10 +1shared
Qwen3.8 27B
2026-08
23.7
23.7
GQA
稠密
Qwen3.8-Flash-Next
2026-08
123.6
5.1
GQA
512e top10 +1shared
StepFun
· 3
2025-07
Step-3 · 2025-07 · 321B
Step-3
321B · MoE
Step-3.5-Flash · 2026-03 · 196B
Step-3.5-Flash
196B · MoE
Step-3.7-Flash · 2026-05 · 198B
Step-3.7-Flash
198B · MoE
2026-05
模型
发布时间
总参数
激活参数
注意力
MoE
Step-3
2025-07
321
38
MHA
48e top3 +1shared
Step-3.5-Flash
2026-03
196
11
MHA
288e top8 +1shared
Step-3.7-Flash
2026-05
198
11
MHA
288e top8 +1shared