GLM · 2023-10 · مكثّف

ChatGLM3 6B

ChatGLM3 6B هو محول انتباه الاستعلامات المجمّعة (GQA) أصدره GLM في 2023-10، ويضم 28 طبقة وبعداً مخفياً قدره 4096 ونافذة سياق تبلغ 8,192 رمزاً.

كومة الطبقات

الانتباه ×28 · الطبقات 28

مرسوم من config.json المرفق · 28 طبقة / العرض 4,096 / السياق 8,192. رسم أصلي من هذا الأطلس.

انتباه الاستعلامات المجمّعة (GQA) — 32 q-heads / 2 kv-heads.

هو نموذج مكثف: تشارك كامل المعاملات البالغة 6.2 مليار في حساب كل رمز.

المقارنة مع النموذج السابق في المعمل نفسه؛ وإن لم يوجد فمع النموذج الأقرب بنيوياً. عمود النسبة = هذا النموذج ÷ نموذج المقارنة.

مقارنة كاملة بالأقرب GLM-4 9B

النموذج	ChatGLM3 6B	GLM-4 9B	النسبة
model_type	`chatglm`	`chatglm`	＝
architectures	`ChatGLMModel`	`ChatGLMModel`	＝
hidden_size	`4096`	`4096`	≈1
num_attention_heads	`32`	`32`	≈1
torch_dtype	`float16`	`bfloat16`	≠
_name_or_path	`THUDM/chatglm3-6b`	`THUDM/glm-4-9b`	≠
add_bias_linear	`false`	`false`	＝
add_qkv_bias	`true`	`true`	＝
apply_query_key_layer_scaling	`true`	`true`	＝
apply_residual_connection_post_layernorm	`false`	`false`	＝
attention_dropout	`0`	`0`	＝
attention_softmax_in_fp32	`true`	`true`	＝
bias_dropout_fusion	`true`	`true`	＝
ffn_hidden_size	`13696`	`13696`	≈1
fp32_residual_connection	`false`	`false`	＝
hidden_dropout	`0`	`0`	＝
kv_channels	`128`	`128`	≈1
layernorm_epsilon	`0.00001`	`1.5625e-7`	×64.00
multi_query_attention	`true`	`true`	＝
multi_query_group_num	`2`	`2`	≈1
num_layers	`28`	`40`	×0.700
original_rope	`true`	`true`	＝
padded_vocab_size	`65024`	`151552`	×0.429
post_layer_norm	`true`	`true`	＝
rmsnorm	`true`	`true`	＝
seq_length	`8192`	`8192`	≈1

GLM-4 9B (GLM, 2024-06) 0.997
Qwen3.5 27B (Qwen, 2026-02) 0.712
Qwen3.5 9B (Qwen, 2026-02) 0.699
Qwen3.5 9B Base (Qwen, 2026-02) 0.699
Llama 2 70B (Meta, 2023-07) 0.679
Llama 3.1 70B (Meta, 2024-07) 0.646

تتراوح درجات التشابه من 0 (لا سمات فئوية مشتركة) إلى 1 (ملفات بنيوية متطابقة).

31 حقل

_name_or_path	`THUDM/chatglm3-6b`
model_type	`chatglm`
architectures	`ChatGLMModel`
add_bias_linear	`false`
add_qkv_bias	`true`
apply_query_key_layer_scaling	`true`
apply_residual_connection_post_layernorm	`false`
attention_dropout	`0`
attention_softmax_in_fp32	`true`
bias_dropout_fusion	`true`
ffn_hidden_size	`13696`
fp32_residual_connection	`false`
hidden_dropout	`0`
hidden_size	`4096`
kv_channels	`128`
layernorm_epsilon	`0.00001`
multi_query_attention	`true`
multi_query_group_num	`2`
num_attention_heads	`32`
num_layers	`28`
original_rope	`true`
padded_vocab_size	`65024`
post_layer_norm	`true`
rmsnorm	`true`
seq_length	`8192`
use_cache	`true`
torch_dtype	`float16`
transformers_version	`4.30.2`
tie_word_embeddings	`false`
eos_token_id	`2`
pad_token_id	`0`