LLM Anatomy Atlas Die strukturelle Anatomie offener Sprachmodelle

Modellwand

Der gesamte Korpus als Kartenwand — Labor, Veröffentlichungsdatum, Skalierung, Attention-Klasse und MoE-Layout für jede der 80 Architekturen, in Veröffentlichungsreihenfolge.

OpenAI GPT-2 · 1.24 Mrd. MHA OpenAI GPT-3 175B (paper) · 175 Mrd. MHA Meta LLaMA 1 7B · 6.74 Mrd. MHA Meta Llama 2 70B · 68.98 Mrd. GQA Mistral Mistral 7B · 7.24 Mrd. GQA GLM ChatGLM3 6B · 6.2 Mrd. GQA DeepSeek DeepSeek-Coder 6.7B · 6.7 Mrd. MHA DeepSeek DeepSeek LLM 7B · 5.9 Mrd. MHA DeepSeek DeepSeekMoE 16B · 16.2 Mrd. · 64e top6 +2shared MHA Qwen Qwen1.5 7B · 6.6 Mrd. MHA Mistral Mixtral 8x22B · 140.6 Mrd. · 8e top2 GQA DeepSeek DeepSeek-V2 · 236 Mrd. · 160e top6 +2shared MLA DeepSeek DeepSeek-V2 Lite · 15.6 Mrd. · 64e top6 +2shared MLA GLM GLM-4 9B · 9.4 Mrd. GQA Qwen Qwen2 72B · 71.4 Mrd. GQA Meta Llama 3.1 70B · 70.55 Mrd. GQA Meta Llama 3.1 8B · 8.03 Mrd. GQA Qwen Qwen2.5 72B · 71.4 Mrd. GQA Qwen Qwen2.5 7B · 7.6 Mrd. GQA DeepSeek DeepSeek-V3 · 671 Mrd. · 256e top8 +1shared MLA DeepSeek DeepSeek-V3 Base · 671 Mrd. · 256e top8 +1shared MLA DeepSeek DeepSeek-R1 · 671 Mrd. · 256e top8 +1shared MLA MiniMax MiniMax-Text-01 · 456 Mrd. · 32e top2 GQA Kimi Moonlight 16B · 15.8 Mrd. · 64e top6 +2shared MLA Qwen Qwen3 0.6B · 0.6 Mrd. GQA Qwen Qwen3 235B A22B · 234.6 Mrd. · 128e top8 GQA Qwen Qwen3 30B A3B · 30.4 Mrd. · 128e top8 GQA Qwen Qwen3 32B · 32.1 Mrd. GQA Qwen Qwen3 8B · 7.9 Mrd. GQA MiniMax MiniMax-M1 · 456 Mrd. · 32e top2 GQA GLM GLM-4.5 · 360.4 Mrd. · 160e top8 +1shared GQA GLM GLM-4.5-Air · 107.7 Mrd. · 128e top8 +1shared GQA Kimi Kimi K2 Base · 1040.2 Mrd. · 384e top8 +1shared MLA StepFun Step-3 · 321 Mrd. · 48e top3 +1shared MHA DeepSeek DeepSeek-V3.1 · 671 Mrd. · 256e top8 +1shared MLA Hunyuan Hunyuan 7B · 7.8 Mrd. GQA OpenAI GPT-OSS 120B · 116.8 Mrd. · 128e top4 GQA OpenAI GPT-OSS 20B · 20.9 Mrd. · 32e top4 GQA DeepSeek DeepSeek-V3.2 · 671 Mrd. · 256e top8 +1shared MLA Kimi Kimi K2 0905 · 1040.2 Mrd. · 384e top8 +1shared MLA Qwen Qwen3-Next 80B A3B · 78.7 Mrd. · 512e top10 +1shared GQA GLM GLM-4.6 · 360.4 Mrd. · 160e top8 +1shared GQA Kimi Kimi Linear 48B A3B · 50 Mrd. · 256e top8 +1shared MLA MiniMax MiniMax-M2 · 228.3 Mrd. · 256e top8 GQA GLM GLM-4.7-Flash · 29.4 Mrd. · 64e top4 +1shared MLA Qwen Qwen3-Coder-Next · 78.7 Mrd. · 512e top10 +1shared GQA GLM GLM-5 · 744 Mrd. · 256e top8 +1shared MLA Kimi Kimi K2.5 · 1040.2 Mrd. · 384e top8 +1shared MLA MiniMax MiniMax-M2.5 · 228.3 Mrd. · 256e top8 GQA Qwen Qwen3.5 122B A10B · 119.9 Mrd. · 256e top8 +1shared GQA Qwen Qwen3.5 27B · 23.7 Mrd. GQA Qwen Qwen3.5 35B A3B · 33.9 Mrd. · 256e top8 +1shared GQA Qwen Qwen3.5 397B A17B · 392.6 Mrd. · 512e top10 +1shared GQA Qwen Qwen3.5 9B · 7.9 Mrd. GQA Qwen Qwen3.5 9B Base · 7.9 Mrd. GQA StepFun Step-3.5-Flash · 196 Mrd. · 288e top8 +1shared MHA DeepSeek DeepSeek-V4-Flash · 284 Mrd. · 256e top6 +1shared MQA DeepSeek DeepSeek-V4-Flash Base · 284 Mrd. · 256e top6 +1shared MQA DeepSeek DeepSeek-V4-Pro · 1606.6 Mrd. · 384e top6 +1shared MQA GLM GLM-5.1 · 744 Mrd. · 256e top8 +1shared MLA Hunyuan Hunyuan 3 Preview · 296.3 Mrd. · 192e top8 +1shared GQA Hunyuan Hunyuan 3 Preview Base · 296.3 Mrd. · 192e top8 +1shared GQA Kimi Kimi K2.6 · 1040.2 Mrd. · 384e top8 +1shared MLA MiniMax MiniMax-M2.7 · 228.3 Mrd. · 256e top8 GQA Qwen Qwen3.6 27B · 23.7 Mrd. GQA Qwen Qwen3.6 35B A3B · 33.9 Mrd. · 256e top8 +1shared GQA Hunyuan Hunyuan-TurboS 30B A3B · 30.3 Mrd. · 128e top8 +1shared GQA Hunyuan Hunyuan-TurboS 7B · 7.8 Mrd. GQA StepFun Step-3.7-Flash · 198 Mrd. · 288e top8 +1shared MHA GLM GLM-5.2 · 767.4 Mrd. · 256e top8 +1shared MLA MiniMax MiniMax-M3 · 443.4 Mrd. · 128e top4 +1shared GQA MiniMax MiniMax-M3 MXFP8 · 443.4 Mrd. · 128e top4 +1shared GQA Hunyuan Hunyuan 3 · 296.3 Mrd. · 192e top8 +1shared GQA Kimi Kimi K3 · 2780 Mrd. · 896e top16 +2shared MLA GLM GLM-5.3 · 767.4 Mrd. · 256e top8 +1shared MLA GLM GLM-5.3-Flash · 328.9 Mrd. · 288e top8 +1shared MLA Hunyuan Hunyuan 4 Preview · 770 Mrd. · 256e top8 +1shared MLA Qwen Qwen3.8 2.4T A95B · 2399.6 Mrd. · 512e top10 +1shared GQA Qwen Qwen3.8 27B · 23.7 Mrd. GQA Qwen Qwen3.8-Flash-Next · 123.6 Mrd. · 512e top10 +1shared GQA