LLM Anatomy Atlas L'anatomia strutturale dei modelli linguistici a pesi aperti

Muro dei modelli

L'intero corpus come muro di schede — laboratorio, data di rilascio, scala, classe di attention e schema MoE per ognuna delle 80 architetture, in ordine di rilascio.

OpenAI GPT-2 · 1.24 mld MHA OpenAI GPT-3 175B (paper) · 175 mld MHA Meta LLaMA 1 7B · 6.74 mld MHA Meta Llama 2 70B · 68.98 mld GQA Mistral Mistral 7B · 7.24 mld GQA GLM ChatGLM3 6B · 6.2 mld GQA DeepSeek DeepSeek-Coder 6.7B · 6.7 mld MHA DeepSeek DeepSeek LLM 7B · 5.9 mld MHA DeepSeek DeepSeekMoE 16B · 16.2 mld · 64e top6 +2shared MHA Qwen Qwen1.5 7B · 6.6 mld MHA Mistral Mixtral 8x22B · 140.6 mld · 8e top2 GQA DeepSeek DeepSeek-V2 · 236 mld · 160e top6 +2shared MLA DeepSeek DeepSeek-V2 Lite · 15.6 mld · 64e top6 +2shared MLA GLM GLM-4 9B · 9.4 mld GQA Qwen Qwen2 72B · 71.4 mld GQA Meta Llama 3.1 70B · 70.55 mld GQA Meta Llama 3.1 8B · 8.03 mld GQA Qwen Qwen2.5 72B · 71.4 mld GQA Qwen Qwen2.5 7B · 7.6 mld GQA DeepSeek DeepSeek-V3 · 671 mld · 256e top8 +1shared MLA DeepSeek DeepSeek-V3 Base · 671 mld · 256e top8 +1shared MLA DeepSeek DeepSeek-R1 · 671 mld · 256e top8 +1shared MLA MiniMax MiniMax-Text-01 · 456 mld · 32e top2 GQA Kimi Moonlight 16B · 15.8 mld · 64e top6 +2shared MLA Qwen Qwen3 0.6B · 0.6 mld GQA Qwen Qwen3 235B A22B · 234.6 mld · 128e top8 GQA Qwen Qwen3 30B A3B · 30.4 mld · 128e top8 GQA Qwen Qwen3 32B · 32.1 mld GQA Qwen Qwen3 8B · 7.9 mld GQA MiniMax MiniMax-M1 · 456 mld · 32e top2 GQA GLM GLM-4.5 · 360.4 mld · 160e top8 +1shared GQA GLM GLM-4.5-Air · 107.7 mld · 128e top8 +1shared GQA Kimi Kimi K2 Base · 1040.2 mld · 384e top8 +1shared MLA StepFun Step-3 · 321 mld · 48e top3 +1shared MHA DeepSeek DeepSeek-V3.1 · 671 mld · 256e top8 +1shared MLA Hunyuan Hunyuan 7B · 7.8 mld GQA OpenAI GPT-OSS 120B · 116.8 mld · 128e top4 GQA OpenAI GPT-OSS 20B · 20.9 mld · 32e top4 GQA DeepSeek DeepSeek-V3.2 · 671 mld · 256e top8 +1shared MLA Kimi Kimi K2 0905 · 1040.2 mld · 384e top8 +1shared MLA Qwen Qwen3-Next 80B A3B · 78.7 mld · 512e top10 +1shared GQA GLM GLM-4.6 · 360.4 mld · 160e top8 +1shared GQA Kimi Kimi Linear 48B A3B · 50 mld · 256e top8 +1shared MLA MiniMax MiniMax-M2 · 228.3 mld · 256e top8 GQA GLM GLM-4.7-Flash · 29.4 mld · 64e top4 +1shared MLA Qwen Qwen3-Coder-Next · 78.7 mld · 512e top10 +1shared GQA GLM GLM-5 · 744 mld · 256e top8 +1shared MLA Kimi Kimi K2.5 · 1040.2 mld · 384e top8 +1shared MLA MiniMax MiniMax-M2.5 · 228.3 mld · 256e top8 GQA Qwen Qwen3.5 122B A10B · 119.9 mld · 256e top8 +1shared GQA Qwen Qwen3.5 27B · 23.7 mld GQA Qwen Qwen3.5 35B A3B · 33.9 mld · 256e top8 +1shared GQA Qwen Qwen3.5 397B A17B · 392.6 mld · 512e top10 +1shared GQA Qwen Qwen3.5 9B · 7.9 mld GQA Qwen Qwen3.5 9B Base · 7.9 mld GQA StepFun Step-3.5-Flash · 196 mld · 288e top8 +1shared MHA DeepSeek DeepSeek-V4-Flash · 284 mld · 256e top6 +1shared MQA DeepSeek DeepSeek-V4-Flash Base · 284 mld · 256e top6 +1shared MQA DeepSeek DeepSeek-V4-Pro · 1606.6 mld · 384e top6 +1shared MQA GLM GLM-5.1 · 744 mld · 256e top8 +1shared MLA Hunyuan Hunyuan 3 Preview · 296.3 mld · 192e top8 +1shared GQA Hunyuan Hunyuan 3 Preview Base · 296.3 mld · 192e top8 +1shared GQA Kimi Kimi K2.6 · 1040.2 mld · 384e top8 +1shared MLA MiniMax MiniMax-M2.7 · 228.3 mld · 256e top8 GQA Qwen Qwen3.6 27B · 23.7 mld GQA Qwen Qwen3.6 35B A3B · 33.9 mld · 256e top8 +1shared GQA Hunyuan Hunyuan-TurboS 30B A3B · 30.3 mld · 128e top8 +1shared GQA Hunyuan Hunyuan-TurboS 7B · 7.8 mld GQA StepFun Step-3.7-Flash · 198 mld · 288e top8 +1shared MHA GLM GLM-5.2 · 767.4 mld · 256e top8 +1shared MLA MiniMax MiniMax-M3 · 443.4 mld · 128e top4 +1shared GQA MiniMax MiniMax-M3 MXFP8 · 443.4 mld · 128e top4 +1shared GQA Hunyuan Hunyuan 3 · 296.3 mld · 192e top8 +1shared GQA Kimi Kimi K3 · 2780 mld · 896e top16 +2shared MLA GLM GLM-5.3 · 767.4 mld · 256e top8 +1shared MLA GLM GLM-5.3-Flash · 328.9 mld · 288e top8 +1shared MLA Hunyuan Hunyuan 4 Preview · 770 mld · 256e top8 +1shared MLA Qwen Qwen3.8 2.4T A95B · 2399.6 mld · 512e top10 +1shared GQA Qwen Qwen3.8 27B · 23.7 mld GQA Qwen Qwen3.8-Flash-Next · 123.6 mld · 512e top10 +1shared GQA