GLM · 2026-08 · 스파스 MoE · 멀티모달

GLM-5.3-Flash

GLM-5.3-Flash은(는) GLM가 2026-08에 공개한 멀티헤드 잠재 어텐션(MLA) Transformer로, 45개 층, 은닉 차원 4096, 컨텍스트 길이 1,048,576 토큰을 갖습니다.

레이어 스택

선형 ×34 sparse ×11 · 레이어 수 45

연구소	GLM
공개일	2026-08
총 파라미터	328.9 B
활성 파라미터	13 B
컨텍스트	1,048,576 tokens
어텐션	MLA · kv_lora_rank 512
레이어 수	45
은닉 차원	4,096
어텐션 헤드	64
어휘 크기	154,880
위치 인코딩	learned/absolute
정규화	RMSNorm
활성화 함수	silu
학습 정밀도	fp8
아키텍처 클래스	Glm5NextForConditionalGeneration

동봉된 config.json을 바탕으로 작도 · 45층 / 은닉 4,096 / 컨텍스트 1,048,576. 도식은 본 사이트의 오리지널입니다.

멀티헤드 잠재 어텐션(MLA). kv_lora_rank=512.

스파스 Mixture-of-Experts 모델로, 288개 라우팅 전문가와 top-8 라우팅을 사용하며 토큰당 약 13B 파라미터가 활성화됩니다.

설정에는 디코딩 가속을 위한 멀티 토큰 예측(MTP) 층이 1개 포함되어 있습니다.

같은 연구소의 이전 세대 모델과 비교합니다. 없으면 구조가 가장 유사한 모델과 비교. 배수 열 = 본 모델 ÷ 비교 대상.

이전 세대 GLM-5.3과의 전 필드 비교

모델	GLM-5.3-Flash	GLM-5.3	배수
model_type	`glm5_next`	`glm_moe_dsa`	≠
architectures	`Glm5NextForConditionalGeneration`	`GlmMoeDsaForCausalLM`	≠
hidden_size	`4096`	`6144`	×0.667
num_hidden_layers	`45`	`78`	×0.577
num_attention_heads	`64`	`64`	≈1
num_key_value_heads	`64`	`64`	≈1
head_dim	`0`	`192`	×0.000
intermediate_size	`12288`	`12288`	≈1
hidden_act	`silu`	`silu`	＝
n_routed_experts	`288`	`256`	×1.13
num_experts_per_tok	`8`	`8`	≈1
n_shared_experts	`1`	`1`	≈1
moe_intermediate_size	`2048`	`2048`	≈1
kv_lora_rank	`512`	`512`	≈1
qk_rope_head_dim	`0`	`64`	×0.000
q_lora_rank	`1536`	`2048`	×0.750
max_position_embeddings	`1048576`	`1048576`	≈1
rms_norm_eps	`0.00001`	`0.00001`	≈1
vocab_size	`154880`	`154880`	≈1
num_nextn_predict_layers	`1`	`1`	≈1
image_token_id	`154854`	`—`
video_token_id	`154855`	`—`
image_start_token_id	`154830`	`—`
image_end_token_id	`154831`	`—`
video_start_token_id	`154832`	`—`
video_end_token_id	`154833`	`—`

GLM-5.2 (GLM, 2026-06) 0.994
GLM-5.3 (GLM, 2026-08) 0.994
Hunyuan 4 Preview (Hunyuan, 2026-08) 0.994
GLM-5 (GLM, 2026-02) 0.992
GLM-5.1 (GLM, 2026-04) 0.992
Kimi K2 0905 (Kimi, 2025-09) 0.935

유사도는 0(공통 범주 특징 없음)에서 1(구조 프로파일 완전 일치) 사이의 값입니다.

65 개 필드

architectures	`Glm5NextForConditionalGeneration`
image_token_id	`154854`
video_token_id	`154855`
image_start_token_id	`154830`
image_end_token_id	`154831`
video_start_token_id	`154832`
video_end_token_id	`154833`
tie_word_embeddings	`false`
model_type	`glm5_next`
transformers_version	`5.16.0`
attention_bias	`false`
attention_dropout	`0`
dtype	`bfloat16`
eos_token_id	`154820×1 + 154827×1 + 154829×1`
first_k_dense_replace	`3`
hc_eps	`0.000001`
hc_mult	`4`
hc_sinkhorn_iters	`20`
head_dim	`0`
hidden_act	`silu`
hidden_size	`4096`
index_head_dim	`128`
index_kpool	`4`
index_kpool_always_select_tail	`true`
index_kpool_compress	`true`
index_n_heads	`32`
index_topk	`2048`
index_share_for_mtp_iteration	`true`
indexer_rope_interleave	`true`
indexer_types	`full×45`
initializer_range	`0.02`
intermediate_size	`12288`
kv_lora_rank	`512`
layer_types	`linear_attention×34 + deepseek_sparse_attention×11`
max_position_embeddings	`1048576`
mhc	`true`
mla_use_nope	`true`
mlp_layer_types	`dense×3 + sparse×42`
moe_intermediate_size	`2048`
moe_router_dtype	`float32`
n_group	`1`
n_routed_experts	`288`
n_shared_experts	`1`
norm_topk_prob	`true`
num_attention_heads	`64`
num_experts_per_tok	`8`
num_hidden_layers	`45`
num_key_value_heads	`64`
num_nextn_predict_layers	`1`
output_router_logits	`false`
pad_token_id	`154820`
q_lora_rank	`1536`
qk_head_dim	`256`
qk_nope_head_dim	`256`
qk_rope_head_dim	`0`
rms_norm_eps	`0.00001`
routed_scaling_factor	`2.5`
router_aux_loss_coef	`0.001`
scoring_func	`sigmoid`
swiglu_limit	`10`
topk_group	`1`
topk_method	`noaux_tc`
use_cache	`true`
v_head_dim	`256`
vocab_size	`154880`