LLM Anatomy Atlas التشريح البنيوي للنماذج اللغوية ذات الأوزان المفتوحة

جدار النماذج

المجموعة الكاملة كجدار بطاقات — المعمل وتاريخ الإصدار والحجم وفئة الانتباه وتخطيط MoE لكل من المعماريات الثمانين، بترتيب الإصدار.

OpenAI GPT-2 · 1.24 مليار MHA OpenAI GPT-3 175B (paper) · 175 مليار MHA Meta LLaMA 1 7B · 6.74 مليار MHA Meta Llama 2 70B · 68.98 مليار GQA Mistral Mistral 7B · 7.24 مليار GQA GLM ChatGLM3 6B · 6.2 مليار GQA DeepSeek DeepSeek-Coder 6.7B · 6.7 مليار MHA DeepSeek DeepSeek LLM 7B · 5.9 مليار MHA DeepSeek DeepSeekMoE 16B · 16.2 مليار · 64e top6 +2shared MHA Qwen Qwen1.5 7B · 6.6 مليار MHA Mistral Mixtral 8x22B · 140.6 مليار · 8e top2 GQA DeepSeek DeepSeek-V2 · 236 مليار · 160e top6 +2shared MLA DeepSeek DeepSeek-V2 Lite · 15.6 مليار · 64e top6 +2shared MLA GLM GLM-4 9B · 9.4 مليار GQA Qwen Qwen2 72B · 71.4 مليار GQA Meta Llama 3.1 70B · 70.55 مليار GQA Meta Llama 3.1 8B · 8.03 مليار GQA Qwen Qwen2.5 72B · 71.4 مليار GQA Qwen Qwen2.5 7B · 7.6 مليار GQA DeepSeek DeepSeek-V3 · 671 مليار · 256e top8 +1shared MLA DeepSeek DeepSeek-V3 Base · 671 مليار · 256e top8 +1shared MLA DeepSeek DeepSeek-R1 · 671 مليار · 256e top8 +1shared MLA MiniMax MiniMax-Text-01 · 456 مليار · 32e top2 GQA Kimi Moonlight 16B · 15.8 مليار · 64e top6 +2shared MLA Qwen Qwen3 0.6B · 0.6 مليار GQA Qwen Qwen3 235B A22B · 234.6 مليار · 128e top8 GQA Qwen Qwen3 30B A3B · 30.4 مليار · 128e top8 GQA Qwen Qwen3 32B · 32.1 مليار GQA Qwen Qwen3 8B · 7.9 مليار GQA MiniMax MiniMax-M1 · 456 مليار · 32e top2 GQA GLM GLM-4.5 · 360.4 مليار · 160e top8 +1shared GQA GLM GLM-4.5-Air · 107.7 مليار · 128e top8 +1shared GQA Kimi Kimi K2 Base · 1040.2 مليار · 384e top8 +1shared MLA StepFun Step-3 · 321 مليار · 48e top3 +1shared MHA DeepSeek DeepSeek-V3.1 · 671 مليار · 256e top8 +1shared MLA Hunyuan Hunyuan 7B · 7.8 مليار GQA OpenAI GPT-OSS 120B · 116.8 مليار · 128e top4 GQA OpenAI GPT-OSS 20B · 20.9 مليار · 32e top4 GQA DeepSeek DeepSeek-V3.2 · 671 مليار · 256e top8 +1shared MLA Kimi Kimi K2 0905 · 1040.2 مليار · 384e top8 +1shared MLA Qwen Qwen3-Next 80B A3B · 78.7 مليار · 512e top10 +1shared GQA GLM GLM-4.6 · 360.4 مليار · 160e top8 +1shared GQA Kimi Kimi Linear 48B A3B · 50 مليار · 256e top8 +1shared MLA MiniMax MiniMax-M2 · 228.3 مليار · 256e top8 GQA GLM GLM-4.7-Flash · 29.4 مليار · 64e top4 +1shared MLA Qwen Qwen3-Coder-Next · 78.7 مليار · 512e top10 +1shared GQA GLM GLM-5 · 744 مليار · 256e top8 +1shared MLA Kimi Kimi K2.5 · 1040.2 مليار · 384e top8 +1shared MLA MiniMax MiniMax-M2.5 · 228.3 مليار · 256e top8 GQA Qwen Qwen3.5 122B A10B · 119.9 مليار · 256e top8 +1shared GQA Qwen Qwen3.5 27B · 23.7 مليار GQA Qwen Qwen3.5 35B A3B · 33.9 مليار · 256e top8 +1shared GQA Qwen Qwen3.5 397B A17B · 392.6 مليار · 512e top10 +1shared GQA Qwen Qwen3.5 9B · 7.9 مليار GQA Qwen Qwen3.5 9B Base · 7.9 مليار GQA StepFun Step-3.5-Flash · 196 مليار · 288e top8 +1shared MHA DeepSeek DeepSeek-V4-Flash · 284 مليار · 256e top6 +1shared MQA DeepSeek DeepSeek-V4-Flash Base · 284 مليار · 256e top6 +1shared MQA DeepSeek DeepSeek-V4-Pro · 1606.6 مليار · 384e top6 +1shared MQA GLM GLM-5.1 · 744 مليار · 256e top8 +1shared MLA Hunyuan Hunyuan 3 Preview · 296.3 مليار · 192e top8 +1shared GQA Hunyuan Hunyuan 3 Preview Base · 296.3 مليار · 192e top8 +1shared GQA Kimi Kimi K2.6 · 1040.2 مليار · 384e top8 +1shared MLA MiniMax MiniMax-M2.7 · 228.3 مليار · 256e top8 GQA Qwen Qwen3.6 27B · 23.7 مليار GQA Qwen Qwen3.6 35B A3B · 33.9 مليار · 256e top8 +1shared GQA Hunyuan Hunyuan-TurboS 30B A3B · 30.3 مليار · 128e top8 +1shared GQA Hunyuan Hunyuan-TurboS 7B · 7.8 مليار GQA StepFun Step-3.7-Flash · 198 مليار · 288e top8 +1shared MHA GLM GLM-5.2 · 767.4 مليار · 256e top8 +1shared MLA MiniMax MiniMax-M3 · 443.4 مليار · 128e top4 +1shared GQA MiniMax MiniMax-M3 MXFP8 · 443.4 مليار · 128e top4 +1shared GQA Hunyuan Hunyuan 3 · 296.3 مليار · 192e top8 +1shared GQA Kimi Kimi K3 · 2780 مليار · 896e top16 +2shared MLA GLM GLM-5.3 · 767.4 مليار · 256e top8 +1shared MLA GLM GLM-5.3-Flash · 328.9 مليار · 288e top8 +1shared MLA Hunyuan Hunyuan 4 Preview · 770 مليار · 256e top8 +1shared MLA Qwen Qwen3.8 2.4T A95B · 2399.6 مليار · 512e top10 +1shared GQA Qwen Qwen3.8 27B · 23.7 مليار GQA Qwen Qwen3.8-Flash-Next · 123.6 مليار · 512e top10 +1shared GQA