StepFun · 2026-03 · MoE متناثر

Step-3.5-Flash

Step-3.5-Flash هو محول انتباه متعدد الرؤوس (MHA) أصدره StepFun في 2026-03، ويضم 45 طبقة وبعداً مخفياً قدره 4096 ونافذة سياق تبلغ 262,144 رمزاً.

كومة الطبقات

الانتباه ×12 نافذة منزلقة ×33 · الطبقات 45

مرسوم من config.json المرفق · 45 طبقة / العرض 4,096 / السياق 262,144. رسم أصلي من هذا الأطلس.

انتباه متعدد الرؤوس (MHA) — 64 q-heads / 64 kv-heads. RoPE θ=NaN.

هو مزيج خبراء متناثر يضم 288 خبيراً موجهاً بتوجيه top-8؛ ونحو 11 مليار معامل نشطة لكل رمز.

يتضمن الإعداد 3 طبقات إضافية للتنبؤ متعدد الرموز (MTP) تُستخدم لتسريع فك الترميز.

المقارنة مع النموذج السابق في المعمل نفسه؛ وإن لم يوجد فمع النموذج الأقرب بنيوياً. عمود النسبة = هذا النموذج ÷ نموذج المقارنة.

مقارنة كاملة بالسابق Step-3

النموذج	Step-3.5-Flash	Step-3	النسبة
model_type	`step3p5`	`step3_vl`	≠
architectures	`Step3p5ForCausalLM`	`Step3VLForConditionalGeneration`	≠
hidden_size	`4096`	`7168`	×0.571
num_hidden_layers	`45`	`61`	×0.738
num_attention_heads	`64`	`64`	≈1
head_dim	`128`	`256`	×0.500
intermediate_size	`11264`	`18432`	×0.611
moe_intermediate_size	`1280`	`5120`	×0.250
rope_theta	`5000000.0×12 + 10000.0×36`	`500000`	≠
max_position_embeddings	`262144`	`—`
sliding_window	`512`	`—`
vocab_size	`128896`	`128815`	≈1
torch_dtype	`bfloat16`	`bfloat16`	＝
num_nextn_predict_layers	`3`	`—`
yarn_only_types	`full_attention×1`	`—`
max_seq_len	`262144`	`65536`	×4.00
use_qk_norm	`true`	`—`
moe_layers_enum	`3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44`	`4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59`	≠
num_attention_groups	`8`	`1`	×8.00
use_moe	`true`	`—`
moe_num_experts	`288`	`48`	×6.00
moe_top_k	`8`	`3`	×2.67
share_expert_dim	`1280`	`5120`	×0.250
moe_layer_offset	`0`	`—`
moe_every_n_layer	`1`	`—`
norm_expert_weight	`true`	`false`	≠

Step-3.7-Flash (StepFun, 2026-05) 1.000
Step-3 (StepFun, 2025-07) 0.987
DeepSeekMoE 16B (DeepSeek, 2024-01) 0.796
MiniMax-M3 (MiniMax, 2026-06) 0.735
MiniMax-M3 MXFP8 (MiniMax, 2026-06) 0.735
DeepSeek-V4-Pro (DeepSeek, 2026-04) 0.697

تتراوح درجات التشابه من 0 (لا سمات فئوية مشتركة) إلى 1 (ملفات بنيوية متطابقة).

41 حقل

architectures	`Step3p5ForCausalLM`
model_type	`step3p5`
yarn_only_types	`full_attention×1`
hidden_size	`4096`
intermediate_size	`11264`
num_hidden_layers	`45`
max_seq_len	`262144`
vocab_size	`128896`
torch_dtype	`bfloat16`
use_qk_norm	`true`
moe_layers_enum	`3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44`
num_attention_heads	`64`
num_attention_groups	`8`
head_dim	`128`
use_moe	`true`
moe_num_experts	`288`
moe_top_k	`8`
moe_intermediate_size	`1280`
share_expert_dim	`1280`
moe_layer_offset	`0`
moe_every_n_layer	`1`
norm_expert_weight	`true`
moe_router_activation	`sigmoid`
moe_router_scaling_factor	`3`
att_impl_type	`GQA`
tie_word_embeddings	`false`
rope_theta	`5000000.0×12 + 10000.0×36`
use_head_wise_attn_gate	`true`
sliding_window	`512`
use_moe_router_bias	`true`
need_fp32_gate	`true`
sink	`false`
layer_types	`full_attention×12 + sliding_attention×36`
num_nextn_predict_layers	`3`
partial_rotary_factors	`0.5×12 + 1.0×36`
eos_token_id	`1×1 + 2×1 + 128007×1`
bos_token_id	`0`
swiglu_limits	`0.0×46 + 7×2`
swiglu_limits_shared	`0.0×47 + 16×1`
zero_centered	`true`
max_position_embeddings	`262144`