Qwen · 2026-08 · MoE متناثر · متعدد الوسائط

Qwen3.8-Flash-Next

Qwen3.8-Flash-Next هو محول انتباه الاستعلامات المجمّعة (GQA) أصدره Qwen في 2026-08، ويضم 48 طبقة وبعداً مخفياً قدره 2560 ونافذة سياق تبلغ 262,144 رمزاً.

HF ↗ ModelScope ↗

كومة الطبقات

خطي ×36 الانتباه ×12 · الطبقات 48

حقائق رئيسية

المعمل	Qwen
تاريخ الإصدار	2026-08
المعاملات	123.6 مليار
النشطة	5.1 مليار
السياق	262,144 tokens
الانتباه	GQA (24:2)
الطبقات	48
بعد الطبقة المخفية	2,560
رؤوس الانتباه	24
حجم المفردات	248,320
ترميز الموضع	RoPE
التطبيع	RMSNorm
دالة التنشيط	silu
الدقة	bf16
فئة المعمارية	Qwen4ExpForConditionalGeneration

نظرة عامة على المعمارية

مرسوم من config.json المرفق · 48 طبقة / العرض 2,560 / السياق 262,144. رسم أصلي من هذا الأطلس.

الانتباه

انتباه الاستعلامات المجمّعة (GQA) — 24 q-heads / 2 kv-heads.

الشبكة التغذية / MoE

هو مزيج خبراء متناثر يضم 512 خبيراً موجهاً بتوجيه top-10؛ ونحو 5.1 مليار معامل نشطة لكل رمز.

يتضمن الإعداد 1 طبقات إضافية للتنبؤ متعدد الرموز (MTP) تُستخدم لتسريع فك الترميز.

مقارنة حقل بحقل

المقارنة مع النموذج السابق في المعمل نفسه؛ وإن لم يوجد فمع النموذج الأقرب بنيوياً. عمود النسبة = هذا النموذج ÷ نموذج المقارنة.

مقارنة كاملة بالسابق Qwen3.8 27B

النموذج	Qwen3.8-Flash-Next	Qwen3.8 27B	النسبة
model_type	`qwen4_exp`	`qwen3_5`	≠
architectures	`Qwen4ExpForConditionalGeneration`	`Qwen3_5ForConditionalGeneration`	≠
hidden_size	`2560`	`5120`	×0.500
num_hidden_layers	`48`	`64`	×0.750
num_attention_heads	`24`	`24`	≈1
num_key_value_heads	`2`	`4`	×0.500
head_dim	`256`	`256`	≈1
intermediate_size	`—`	`17408`
hidden_act	`silu`	`silu`	＝
num_experts_per_tok	`10`	`—`
moe_intermediate_size	`640`	`—`
max_position_embeddings	`262144`	`262144`	≈1
rms_norm_eps	`0.000001`	`0.000001`	≈1
vocab_size	`248320`	`248320`	≈1
image_token_id	`248056`	`248056`	≈1
language_model_only	`false`	`false`	＝
tie_word_embeddings	`false`	`false`	＝
transformers_version	`5.8.0.dev0`	`5.8.0.dev0`	＝
video_token_id	`248057`	`248057`	≈1
vision_end_token_id	`248054`	`248054`	≈1
vision_start_token_id	`248053`	`248053`	≈1
attention_bias	`false`	`false`	＝
attention_dropout	`0`	`0`	＝
bos_token_id	`248044`	`248044`	≈1
dtype	`bfloat16`	`bfloat16`	＝
eos_token_id	`248044`	`248044`	≈1

أكثر المعماريات تشابهاً

Qwen3-Next 80B A3B (Qwen, 2025-09) 1.000
Qwen3-Coder-Next (Qwen, 2026-01) 1.000
Qwen3.6 35B A3B (Qwen, 2026-04) 0.998
GPT-OSS 120B (OpenAI, 2025-08) 0.997
GLM-4.5-Air (GLM, 2025-07) 0.997
Qwen3 30B A3B (Qwen, 2025-04) 0.996

تتراوح درجات التشابه من 0 (لا سمات فئوية مشتركة) إلى 1 (ملفات بنيوية متطابقة).

حقول config.json الخام

58 حقل

architectures	`Qwen4ExpForConditionalGeneration`
image_token_id	`248056`
language_model_only	`false`
model_type	`qwen4_exp`
tie_word_embeddings	`false`
transformers_version	`5.8.0.dev0`
video_token_id	`248057`
vision_end_token_id	`248054`
vision_start_token_id	`248053`
attention_bias	`false`
attention_dropout	`0`
bos_token_id	`248044`
dtype	`bfloat16`
eos_token_id	`248044`
full_attention_interval	`4`
hc_count	`4`
hc_lowrank	`320`
head_dim	`256`
heads_per_ngram	`8`
hidden_act	`silu`
hidden_size	`2560`
indexer_budget	`2048`
indexer_compress_ratio	`4`
indexer_head_dim	`128`
indexer_kv_heads	`1`
indexer_n_heads	`4`
initializer_range	`0.02`
layer_types	`linear_attention×36 + full_attention×12`
linear_conv_kernel_dim	`4`
linear_key_head_dim	`128`
linear_num_key_heads	`16`
linear_num_value_heads	`48`
linear_value_head_dim	`128`
make_ngram_vocab_size_divisible_by	`128`
mamba_ssm_dtype	`float32`
max_position_embeddings	`262144`
moe_intermediate_size	`640`
mtp_num_hidden_layers	`1`
mtp_use_dedicated_embeddings	`false`
ngram_size	`3`
ngram_vocab_size_base	`20000000`
num_attention_heads	`24`
num_experts	`512`
num_experts_per_tok	`10`
num_hidden_layers	`48`
num_key_value_heads	`2`
output_gate_type	`sigmoid`
output_router_logits	`false`
partial_rotary_factor	`0.25`
ple_conv_kernel_size	`4`
ple_embed_dim	`2560`
ple_layer_ids	`2×1`
rms_norm_eps	`0.000001`
router_aux_loss_coef	`0.001`
shared_expert_intermediate_size	`640`
split_ngram_parts	`128`
use_cache	`true`
vocab_size	`248320`