GLM · 2026-08 · MoE متناثر · متعدد الوسائط

GLM-5.3-Flash

GLM-5.3-Flash هو محول انتباه كامن متعدد الرؤوس (MLA) أصدره GLM في 2026-08، ويضم 45 طبقة وبعداً مخفياً قدره 4096 ونافذة سياق تبلغ 1,048,576 رمزاً.

كومة الطبقات

خطي ×34 sparse ×11 · الطبقات 45

المعمل	GLM
تاريخ الإصدار	2026-08
المعاملات	328.9 مليار
النشطة	13 مليار
السياق	1,048,576 tokens
الانتباه	MLA · kv_lora_rank 512
الطبقات	45
بعد الطبقة المخفية	4,096
رؤوس الانتباه	64
حجم المفردات	154,880
ترميز الموضع	learned/absolute
التطبيع	RMSNorm
دالة التنشيط	silu
الدقة	fp8
فئة المعمارية	Glm5NextForConditionalGeneration

مرسوم من config.json المرفق · 45 طبقة / العرض 4,096 / السياق 1,048,576. رسم أصلي من هذا الأطلس.

انتباه كامن متعدد الرؤوس (MLA). kv_lora_rank=512.

هو مزيج خبراء متناثر يضم 288 خبيراً موجهاً بتوجيه top-8؛ ونحو 13 مليار معامل نشطة لكل رمز.

يتضمن الإعداد 1 طبقات إضافية للتنبؤ متعدد الرموز (MTP) تُستخدم لتسريع فك الترميز.

المقارنة مع النموذج السابق في المعمل نفسه؛ وإن لم يوجد فمع النموذج الأقرب بنيوياً. عمود النسبة = هذا النموذج ÷ نموذج المقارنة.

مقارنة كاملة بالسابق GLM-5.3

النموذج	GLM-5.3-Flash	GLM-5.3	النسبة
model_type	`glm5_next`	`glm_moe_dsa`	≠
architectures	`Glm5NextForConditionalGeneration`	`GlmMoeDsaForCausalLM`	≠
hidden_size	`4096`	`6144`	×0.667
num_hidden_layers	`45`	`78`	×0.577
num_attention_heads	`64`	`64`	≈1
num_key_value_heads	`64`	`64`	≈1
head_dim	`0`	`192`	×0.000
intermediate_size	`12288`	`12288`	≈1
hidden_act	`silu`	`silu`	＝
n_routed_experts	`288`	`256`	×1.13
num_experts_per_tok	`8`	`8`	≈1
n_shared_experts	`1`	`1`	≈1
moe_intermediate_size	`2048`	`2048`	≈1
kv_lora_rank	`512`	`512`	≈1
qk_rope_head_dim	`0`	`64`	×0.000
q_lora_rank	`1536`	`2048`	×0.750
max_position_embeddings	`1048576`	`1048576`	≈1
rms_norm_eps	`0.00001`	`0.00001`	≈1
vocab_size	`154880`	`154880`	≈1
num_nextn_predict_layers	`1`	`1`	≈1
image_token_id	`154854`	`—`
video_token_id	`154855`	`—`
image_start_token_id	`154830`	`—`
image_end_token_id	`154831`	`—`
video_start_token_id	`154832`	`—`
video_end_token_id	`154833`	`—`

GLM-5.2 (GLM, 2026-06) 0.994
GLM-5.3 (GLM, 2026-08) 0.994
Hunyuan 4 Preview (Hunyuan, 2026-08) 0.994
GLM-5 (GLM, 2026-02) 0.992
GLM-5.1 (GLM, 2026-04) 0.992
Kimi K2 0905 (Kimi, 2025-09) 0.935

تتراوح درجات التشابه من 0 (لا سمات فئوية مشتركة) إلى 1 (ملفات بنيوية متطابقة).

65 حقل

architectures	`Glm5NextForConditionalGeneration`
image_token_id	`154854`
video_token_id	`154855`
image_start_token_id	`154830`
image_end_token_id	`154831`
video_start_token_id	`154832`
video_end_token_id	`154833`
tie_word_embeddings	`false`
model_type	`glm5_next`
transformers_version	`5.16.0`
attention_bias	`false`
attention_dropout	`0`
dtype	`bfloat16`
eos_token_id	`154820×1 + 154827×1 + 154829×1`
first_k_dense_replace	`3`
hc_eps	`0.000001`
hc_mult	`4`
hc_sinkhorn_iters	`20`
head_dim	`0`
hidden_act	`silu`
hidden_size	`4096`
index_head_dim	`128`
index_kpool	`4`
index_kpool_always_select_tail	`true`
index_kpool_compress	`true`
index_n_heads	`32`
index_topk	`2048`
index_share_for_mtp_iteration	`true`
indexer_rope_interleave	`true`
indexer_types	`full×45`
initializer_range	`0.02`
intermediate_size	`12288`
kv_lora_rank	`512`
layer_types	`linear_attention×34 + deepseek_sparse_attention×11`
max_position_embeddings	`1048576`
mhc	`true`
mla_use_nope	`true`
mlp_layer_types	`dense×3 + sparse×42`
moe_intermediate_size	`2048`
moe_router_dtype	`float32`
n_group	`1`
n_routed_experts	`288`
n_shared_experts	`1`
norm_topk_prob	`true`
num_attention_heads	`64`
num_experts_per_tok	`8`
num_hidden_layers	`45`
num_key_value_heads	`64`
num_nextn_predict_layers	`1`
output_router_logits	`false`
pad_token_id	`154820`
q_lora_rank	`1536`
qk_head_dim	`256`
qk_nope_head_dim	`256`
qk_rope_head_dim	`0`
rms_norm_eps	`0.00001`
routed_scaling_factor	`2.5`
router_aux_loss_coef	`0.001`
scoring_func	`sigmoid`
swiglu_limit	`10`
topk_group	`1`
topk_method	`noaux_tc`
use_cache	`true`
v_head_dim	`256`
vocab_size	`154880`