Mistral · 2024-04 · MoE متناثر

Mixtral 8x22B

Mixtral 8x22B هو محول انتباه الاستعلامات المجمّعة (GQA) أصدره Mistral في 2024-04، ويضم 56 طبقة وبعداً مخفياً قدره 6144 ونافذة سياق تبلغ 65,536 رمزاً.

كومة الطبقات

الانتباه ×56 · الطبقات 56

مرسوم من config.json المرفق · 56 طبقة / العرض 6,144 / السياق 65,536. رسم أصلي من هذا الأطلس.

انتباه الاستعلامات المجمّعة (GQA) — 48 q-heads / 8 kv-heads. RoPE θ=1,000,000.

هو مزيج خبراء متناثر يضم 8 خبيراً موجهاً بتوجيه top-2؛ ونحو 39.1 مليار معامل نشطة لكل رمز.

المقارنة مع النموذج السابق في المعمل نفسه؛ وإن لم يوجد فمع النموذج الأقرب بنيوياً. عمود النسبة = هذا النموذج ÷ نموذج المقارنة.

مقارنة كاملة بالسابق Mistral 7B

النموذج	Mixtral 8x22B	Mistral 7B	النسبة
model_type	`mixtral`	`mistral`	≠
architectures	`MixtralForCausalLM`	`MistralForCausalLM`	≠
hidden_size	`6144`	`4096`	×1.50
num_hidden_layers	`56`	`32`	×1.75
num_attention_heads	`48`	`32`	×1.50
num_key_value_heads	`8`	`8`	≈1
intermediate_size	`16384`	`14336`	×1.14
hidden_act	`silu`	`silu`	＝
num_experts_per_tok	`2`	`—`
rope_theta	`1000000`	`10000`	×100.00
max_position_embeddings	`65536`	`32768`	×2.00
sliding_window	`—`	`4096`
rms_norm_eps	`0.00001`	`0.00001`	≈1
vocab_size	`32000`	`32000`	≈1
torch_dtype	`bfloat16`	`bfloat16`	＝
attention_dropout	`0`	`—`
bos_token_id	`1`	`1`	≈1
eos_token_id	`2`	`2`	≈1
initializer_range	`0.02`	`0.02`	≈1
num_local_experts	`8`	`—`
output_router_logits	`false`	`—`
router_aux_loss_coef	`0.001`	`—`
tie_word_embeddings	`false`	`false`	＝
transformers_version	`4.38.0`	`4.34.0.dev0`	≠
use_cache	`true`	`true`	＝

MiniMax-Text-01 (MiniMax, 2025-01) 0.988
MiniMax-M1 (MiniMax, 2025-06) 0.988
GLM-4.5-Air (GLM, 2025-07) 0.986
GPT-OSS 20B (OpenAI, 2025-08) 0.984
GPT-OSS 120B (OpenAI, 2025-08) 0.982
Qwen3 235B A22B (Qwen, 2025-04) 0.981

تتراوح درجات التشابه من 0 (لا سمات فئوية مشتركة) إلى 1 (ملفات بنيوية متطابقة).

24 حقل