Kimi · 2025-09 · MoE متناثر

Kimi K2 0905

Kimi K2 0905 هو محول انتباه كامن متعدد الرؤوس (MLA) أصدره Kimi في 2025-09، ويضم 61 طبقة وبعداً مخفياً قدره 7168 ونافذة سياق تبلغ 262,144 رمزاً.

HF ↗ ModelScope ↗

كومة الطبقات

الانتباه ×61 · الطبقات 61

حقائق رئيسية

المعمل	Kimi
تاريخ الإصدار	2025-09
المعاملات	1,040.2 مليار
النشطة	32.8 مليار
السياق	262,144 tokens
الانتباه	MLA · kv_lora_rank 512
الطبقات	61
بعد الطبقة المخفية	7,168
رؤوس الانتباه	64
حجم المفردات	163,840
ترميز الموضع	RoPE
التطبيع	RMSNorm
دالة التنشيط	silu
الدقة	fp8
فئة المعمارية	DeepseekV3ForCausalLM

نظرة عامة على المعمارية

مرسوم من config.json المرفق · 61 طبقة / العرض 7,168 / السياق 262,144. رسم أصلي من هذا الأطلس.

الانتباه

انتباه كامن متعدد الرؤوس (MLA). kv_lora_rank=512. RoPE θ=50,000.

الشبكة التغذية / MoE

هو مزيج خبراء متناثر يضم 384 خبيراً موجهاً بتوجيه top-8؛ ونحو 32.8 مليار معامل نشطة لكل رمز.

مقارنة حقل بحقل

المقارنة مع النموذج السابق في المعمل نفسه؛ وإن لم يوجد فمع النموذج الأقرب بنيوياً. عمود النسبة = هذا النموذج ÷ نموذج المقارنة.

مقارنة كاملة بالسابق Kimi K2 Base

النموذج	Kimi K2 0905	Kimi K2 Base	النسبة
model_type	`kimi_k2`	`kimi_k2`	＝
architectures	`DeepseekV3ForCausalLM`	`DeepseekV3ForCausalLM`	＝
hidden_size	`7168`	`7168`	≈1
num_hidden_layers	`61`	`61`	≈1
num_attention_heads	`64`	`64`	≈1
num_key_value_heads	`64`	`64`	≈1
intermediate_size	`18432`	`18432`	≈1
hidden_act	`silu`	`silu`	＝
n_routed_experts	`384`	`384`	≈1
num_experts_per_tok	`8`	`8`	≈1
n_shared_experts	`1`	`1`	≈1
moe_intermediate_size	`2048`	`2048`	≈1
kv_lora_rank	`512`	`512`	≈1
qk_rope_head_dim	`64`	`64`	≈1
q_lora_rank	`1536`	`1536`	≈1
rope_theta	`50000`	`50000`	≈1
max_position_embeddings	`262144`	`131072`	×2.00
rms_norm_eps	`0.00001`	`0.000001`	×10.00
vocab_size	`163840`	`163840`	≈1
torch_dtype	`bfloat16`	`bfloat16`	＝
num_nextn_predict_layers	`0`	`0`	＝
_attn_implementation_autoset	`false`	`—`
_name_or_path		`—`
add_cross_attention	`false`	`—`
attention_bias	`false`	`false`	＝
attention_dropout	`0`	`0`	＝

أكثر المعماريات تشابهاً

Kimi K2.5 (Kimi, 2026-02) 1.000
Kimi K2.6 (Kimi, 2026-04) 1.000
Kimi K2 Base (Kimi, 2025-07) 1.000
DeepSeek-V3 (DeepSeek, 2024-12) 1.000
DeepSeek-V3 Base (DeepSeek, 2024-12) 1.000
DeepSeek-R1 (DeepSeek, 2025-01) 1.000

تتراوح درجات التشابه من 0 (لا سمات فئوية مشتركة) إلى 1 (ملفات بنيوية متطابقة).

حقول config.json الخام

76 حقل

_attn_implementation_autoset	`false`
_name_or_path
add_cross_attention	`false`
architectures	`DeepseekV3ForCausalLM`
attention_bias	`false`
attention_dropout	`0`
aux_loss_alpha	`0.001`
bos_token_id	`163584`
chunk_size_feed_forward	`0`
diversity_penalty	`0`
do_sample	`false`
early_stopping	`false`
encoder_no_repeat_ngram_size	`0`
eos_token_id	`163585`
ep_size	`1`
first_k_dense_replace	`1`
hidden_act	`silu`
hidden_size	`7168`
initializer_range	`0.02`
intermediate_size	`18432`
is_decoder	`false`
is_encoder_decoder	`false`
kv_lora_rank	`512`
length_penalty	`1`
max_length	`20`
max_position_embeddings	`262144`
min_length	`0`
model_type	`kimi_k2`
moe_intermediate_size	`2048`
moe_layer_freq	`1`
n_group	`1`
n_routed_experts	`384`
n_shared_experts	`1`
no_repeat_ngram_size	`0`
norm_topk_prob	`true`
num_attention_heads	`64`
num_beam_groups	`1`
num_beams	`1`
num_experts_per_tok	`8`
num_hidden_layers	`61`
num_key_value_heads	`64`
num_nextn_predict_layers	`0`
num_return_sequences	`1`
output_attentions	`false`
output_hidden_states	`false`
output_scores	`false`
pad_token_id	`163839`
pretraining_tp	`1`
q_lora_rank	`1536`
qk_nope_head_dim	`128`
qk_rope_head_dim	`64`
remove_invalid_values	`false`
repetition_penalty	`1`
return_dict	`true`
return_dict_in_generate	`false`
rms_norm_eps	`0.00001`
rope_theta	`50000`
routed_scaling_factor	`2.827`
scoring_func	`sigmoid`
seq_aux	`true`
temperature	`1`
tf_legacy_loss	`false`
tie_encoder_decoder	`false`
tie_word_embeddings	`false`
top_k	`50`
top_p	`1`
topk_group	`1`
topk_method	`noaux_tc`
torch_dtype	`bfloat16`
torchscript	`false`
transformers_version	`4.51.3`
typical_p	`1`
use_bfloat16	`false`
use_cache	`true`
v_head_dim	`128`
vocab_size	`163840`