發布時間線
語料中的每一次開源發布，按發布日期（橫軸）與總參數量（縱軸，對數刻度）繪製。2024–2026 區間清楚地顯示整個產業轉向稀疏混合專家：總參數量成長幾個數量級，而每個 token 的激活參數保持很小。
- GPT-2 OpenAI · 1.24 B · MHA
- GPT-3 175B (paper) OpenAI · 175 B · MHA
- LLaMA 1 7B Meta · 6.74 B · MHA
- Llama 2 70B Meta · 68.98 B · GQA
- Mistral 7B Mistral · 7.24 B · GQA
- ChatGLM3 6B GLM · 6.2 B · GQA
- DeepSeek-Coder 6.7B DeepSeek · 6.7 B · MHA
- DeepSeek LLM 7B DeepSeek · 5.9 B · MHA
- DeepSeekMoE 16B DeepSeek · 16.2 B · MHA · MoE
- Qwen1.5 7B Qwen · 6.6 B · MHA
- Mixtral 8x22B Mistral · 140.6 B · GQA · MoE
- DeepSeek-V2 DeepSeek · 236 B · MLA · MoE
- DeepSeek-V2 Lite DeepSeek · 15.6 B · MLA · MoE
- GLM-4 9B GLM · 9.4 B · GQA
- Qwen2 72B Qwen · 71.4 B · GQA
- Llama 3.1 70B Meta · 70.55 B · GQA
- Llama 3.1 8B Meta · 8.03 B · GQA
- Qwen2.5 72B Qwen · 71.4 B · GQA
- Qwen2.5 7B Qwen · 7.6 B · GQA
- DeepSeek-V3 DeepSeek · 671 B · MLA · MoE
- DeepSeek-V3 Base DeepSeek · 671 B · MLA · MoE
- DeepSeek-R1 DeepSeek · 671 B · MLA · MoE
- MiniMax-Text-01 MiniMax · 456 B · GQA · MoE
- Moonlight 16B Kimi · 15.8 B · MLA · MoE
- Qwen3 0.6B Qwen · 0.6 B · GQA
- Qwen3 235B A22B Qwen · 234.6 B · GQA · MoE
- Qwen3 30B A3B Qwen · 30.4 B · GQA · MoE
- Qwen3 32B Qwen · 32.1 B · GQA
- Qwen3 8B Qwen · 7.9 B · GQA
- MiniMax-M1 MiniMax · 456 B · GQA · MoE
- GLM-4.5 GLM · 360.4 B · GQA · MoE
- GLM-4.5-Air GLM · 107.7 B · GQA · MoE
- Kimi K2 Base Kimi · 1040.2 B · MLA · MoE
- Step-3 StepFun · 321 B · MHA · MoE
- DeepSeek-V3.1 DeepSeek · 671 B · MLA · MoE
- Hunyuan 7B Hunyuan · 7.8 B · GQA
- GPT-OSS 120B OpenAI · 116.8 B · GQA · MoE
- GPT-OSS 20B OpenAI · 20.9 B · GQA · MoE
- DeepSeek-V3.2 DeepSeek · 671 B · MLA · MoE
- Kimi K2 0905 Kimi · 1040.2 B · MLA · MoE
- Qwen3-Next 80B A3B Qwen · 78.7 B · GQA · MoE
- GLM-4.6 GLM · 360.4 B · GQA · MoE
- Kimi Linear 48B A3B Kimi · 50 B · MLA · MoE
- MiniMax-M2 MiniMax · 228.3 B · GQA · MoE
- GLM-4.7-Flash GLM · 29.4 B · MLA · MoE
- Qwen3-Coder-Next Qwen · 78.7 B · GQA · MoE
- GLM-5 GLM · 744 B · MLA · MoE
- Kimi K2.5 Kimi · 1040.2 B · MLA · MoE
- MiniMax-M2.5 MiniMax · 228.3 B · GQA · MoE
- Qwen3.5 122B A10B Qwen · 119.9 B · GQA · MoE
- Qwen3.5 27B Qwen · 23.7 B · GQA
- Qwen3.5 35B A3B Qwen · 33.9 B · GQA · MoE
- Qwen3.5 397B A17B Qwen · 392.6 B · GQA · MoE
- Qwen3.5 9B Qwen · 7.9 B · GQA
- Qwen3.5 9B Base Qwen · 7.9 B · GQA
- Step-3.5-Flash StepFun · 196 B · MHA · MoE
- DeepSeek-V4-Flash DeepSeek · 284 B · MQA · MoE
- DeepSeek-V4-Flash Base DeepSeek · 284 B · MQA · MoE
- DeepSeek-V4-Pro DeepSeek · 1606.6 B · MQA · MoE
- GLM-5.1 GLM · 744 B · MLA · MoE
- Hunyuan 3 Preview Hunyuan · 296.3 B · GQA · MoE
- Hunyuan 3 Preview Base Hunyuan · 296.3 B · GQA · MoE
- Kimi K2.6 Kimi · 1040.2 B · MLA · MoE
- MiniMax-M2.7 MiniMax · 228.3 B · GQA · MoE
- Qwen3.6 27B Qwen · 23.7 B · GQA
- Qwen3.6 35B A3B Qwen · 33.9 B · GQA · MoE
- Hunyuan-TurboS 30B A3B Hunyuan · 30.3 B · GQA · MoE
- Hunyuan-TurboS 7B Hunyuan · 7.8 B · GQA
- Step-3.7-Flash StepFun · 198 B · MHA · MoE
- GLM-5.2 GLM · 767.4 B · MLA · MoE
- MiniMax-M3 MiniMax · 443.4 B · GQA · MoE
- MiniMax-M3 MXFP8 MiniMax · 443.4 B · GQA · MoE
- Hunyuan 3 Hunyuan · 296.3 B · GQA · MoE
- Kimi K3 Kimi · 2780 B · MLA · MoE
- GLM-5.3 GLM · 767.4 B · MLA · MoE
- GLM-5.3-Flash GLM · 328.9 B · MLA · MoE
- Hunyuan 4 Preview Hunyuan · 770 B · MLA · MoE
- Qwen3.8 2.4T A95B Qwen · 2399.6 B · GQA · MoE
- Qwen3.8 27B Qwen · 23.7 B · GQA
- Qwen3.8-Flash-Next Qwen · 123.6 B · GQA · MoE