StepFun · 2026-05 · MoE متناثر · متعدد الوسائط

Step-3.7-Flash

Step-3.7-Flash هو محول انتباه متعدد الرؤوس (MHA) أصدره StepFun في 2026-05، ويضم 45 طبقة وبعداً مخفياً قدره 4096 ونافذة سياق تبلغ 262,144 رمزاً.

كومة الطبقات

الانتباه ×12 نافذة منزلقة ×33 · الطبقات 45

المعمل	StepFun
تاريخ الإصدار	2026-05
المعاملات	198 مليار
النشطة	11 مليار
السياق	262,144 tokens
الانتباه	MHA
الطبقات	45
بعد الطبقة المخفية	4,096
رؤوس الانتباه	64
حجم المفردات	128,896
ترميز الموضع	RoPE
التطبيع	—
دالة التنشيط	—
الدقة	bf16
فئة المعمارية	Step3p7ForConditionalGeneration

مرسوم من config.json المرفق · 45 طبقة / العرض 4,096 / السياق 262,144. رسم أصلي من هذا الأطلس.

انتباه متعدد الرؤوس (MHA). RoPE θ=NaN.

هو مزيج خبراء متناثر يضم 288 خبيراً موجهاً بتوجيه top-8؛ ونحو 11 مليار معامل نشطة لكل رمز.

يتضمن الإعداد 3 طبقات إضافية للتنبؤ متعدد الرموز (MTP) تُستخدم لتسريع فك الترميز.

المقارنة مع النموذج السابق في المعمل نفسه؛ وإن لم يوجد فمع النموذج الأقرب بنيوياً. عمود النسبة = هذا النموذج ÷ نموذج المقارنة.

مقارنة كاملة بالسابق Step-3.5-Flash

النموذج	Step-3.7-Flash	Step-3.5-Flash	النسبة
model_type	`step3p7`	`step3p5`	≠
architectures	`Step3p7ForConditionalGeneration`	`Step3p5ForCausalLM`	≠
hidden_size	`4096`	`4096`	≈1
num_hidden_layers	`45`	`45`	≈1
num_attention_heads	`64`	`64`	≈1
head_dim	`128`	`128`	≈1
intermediate_size	`11264`	`11264`	≈1
moe_intermediate_size	`1280`	`1280`	≈1
rope_theta	`5000000.0×12 + 10000.0×36`	`5000000.0×12 + 10000.0×36`	＝
max_position_embeddings	`262144`	`262144`	≈1
sliding_window	`512`	`512`	≈1
vocab_size	`128896`	`128896`	≈1
torch_dtype	`bfloat16`	`bfloat16`	＝
num_nextn_predict_layers	`3`	`3`	≈1
im_end_token	`<im_end>`	`—`
im_patch_token	`<im_patch>`	`—`
im_start_token	`<im_start>`	`—`
image_token_len	`169`	`—`
patch_token_len	`81`	`—`
image_token_id	`128001`	`—`
understand_projector_stride	`2`	`—`
use_im_start_end	`true`	`—`
vision_select_layer	`-1`	`—`
projector_bias	`false`	`—`
yarn_only_types	`full_attention×1`	`full_attention×1`	＝
max_seq_len	`262144`	`262144`	≈1

Step-3.5-Flash (StepFun, 2026-03) 1.000
Step-3 (StepFun, 2025-07) 0.987
DeepSeekMoE 16B (DeepSeek, 2024-01) 0.796
MiniMax-M3 (MiniMax, 2026-06) 0.735
MiniMax-M3 MXFP8 (MiniMax, 2026-06) 0.735
DeepSeek-V4-Pro (DeepSeek, 2026-04) 0.697

تتراوح درجات التشابه من 0 (لا سمات فئوية مشتركة) إلى 1 (ملفات بنيوية متطابقة).

49 حقل

architectures	`Step3p7ForConditionalGeneration`
model_type	`step3p7`
im_end_token	`<im_end>`
im_patch_token	`<im_patch>`
im_start_token	`<im_start>`
image_token_len	`169`
patch_token_len	`81`
image_token_id	`128001`
understand_projector_stride	`2`
use_im_start_end	`true`
vision_select_layer	`-1`
projector_bias	`false`
yarn_only_types	`full_attention×1`
hidden_size	`4096`
intermediate_size	`11264`
num_hidden_layers	`45`
max_seq_len	`262144`
max_position_embeddings	`262144`
vocab_size	`128896`
torch_dtype	`bfloat16`
moe_layers_enum	`3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44`
use_mfa	`false`
num_attention_heads	`64`
num_attention_groups	`8`
head_dim	`128`
use_moe	`true`
moe_num_experts	`288`
moe_top_k	`8`
moe_intermediate_size	`1280`
share_expert_dim	`1280`
moe_layer_offset	`0`
moe_every_n_layer	`1`
norm_expert_weight	`true`
moe_router_activation	`sigmoid`
moe_router_scaling_factor	`3`
att_impl_type	`GQA`
num_nextn_predict_layers	`3`
rope_theta	`5000000.0×12 + 10000.0×36`
use_head_wise_attn_gate	`true`
sliding_window	`512`
use_moe_router_bias	`true`
need_fp32_gate	`true`
sink	`false`
layer_types	`full_attention×12 + sliding_attention×36`
partial_rotary_factors	`0.5×12 + 1.0×36`
eos_token_id	`1×1 + 2×1 + 128007×1`
bos_token_id	`0`
swiglu_limits	`0.0×46 + 7×2`
swiglu_limits_shared	`0.0×46 + 16×2`