Qwen · 2026-08 · 스파스 MoE · 멀티모달

Qwen3.8-Flash-Next

Qwen3.8-Flash-Next은(는) Qwen가 2026-08에 공개한 그룹화 쿼리 어텐션(GQA) Transformer로, 48개 층, 은닉 차원 2560, 컨텍스트 길이 262,144 토큰을 갖습니다.

레이어 스택

선형 ×36 어텐션 ×12 · 레이어 수 48

연구소	Qwen
공개일	2026-08
총 파라미터	123.6 B
활성 파라미터	5.1 B
컨텍스트	262,144 tokens
어텐션	GQA (24:2)
레이어 수	48
은닉 차원	2,560
어텐션 헤드	24
어휘 크기	248,320
위치 인코딩	RoPE
정규화	RMSNorm
활성화 함수	silu
학습 정밀도	bf16
아키텍처 클래스	Qwen4ExpForConditionalGeneration

동봉된 config.json을 바탕으로 작도 · 48층 / 은닉 2,560 / 컨텍스트 262,144. 도식은 본 사이트의 오리지널입니다.

그룹화 쿼리 어텐션(GQA) — 24 q-heads / 2 kv-heads.

스파스 Mixture-of-Experts 모델로, 512개 라우팅 전문가와 top-10 라우팅을 사용하며 토큰당 약 5.1B 파라미터가 활성화됩니다.

설정에는 디코딩 가속을 위한 멀티 토큰 예측(MTP) 층이 1개 포함되어 있습니다.

같은 연구소의 이전 세대 모델과 비교합니다. 없으면 구조가 가장 유사한 모델과 비교. 배수 열 = 본 모델 ÷ 비교 대상.

이전 세대 Qwen3.8 27B과의 전 필드 비교

모델	Qwen3.8-Flash-Next	Qwen3.8 27B	배수
model_type	`qwen4_exp`	`qwen3_5`	≠
architectures	`Qwen4ExpForConditionalGeneration`	`Qwen3_5ForConditionalGeneration`	≠
hidden_size	`2560`	`5120`	×0.500
num_hidden_layers	`48`	`64`	×0.750
num_attention_heads	`24`	`24`	≈1
num_key_value_heads	`2`	`4`	×0.500
head_dim	`256`	`256`	≈1
intermediate_size	`—`	`17408`
hidden_act	`silu`	`silu`	＝
num_experts_per_tok	`10`	`—`
moe_intermediate_size	`640`	`—`
max_position_embeddings	`262144`	`262144`	≈1
rms_norm_eps	`0.000001`	`0.000001`	≈1
vocab_size	`248320`	`248320`	≈1
image_token_id	`248056`	`248056`	≈1
language_model_only	`false`	`false`	＝
tie_word_embeddings	`false`	`false`	＝
transformers_version	`5.8.0.dev0`	`5.8.0.dev0`	＝
video_token_id	`248057`	`248057`	≈1
vision_end_token_id	`248054`	`248054`	≈1
vision_start_token_id	`248053`	`248053`	≈1
attention_bias	`false`	`false`	＝
attention_dropout	`0`	`0`	＝
bos_token_id	`248044`	`248044`	≈1
dtype	`bfloat16`	`bfloat16`	＝
eos_token_id	`248044`	`248044`	≈1

Qwen3-Next 80B A3B (Qwen, 2025-09) 1.000
Qwen3-Coder-Next (Qwen, 2026-01) 1.000
Qwen3.6 35B A3B (Qwen, 2026-04) 0.998
GPT-OSS 120B (OpenAI, 2025-08) 0.997
GLM-4.5-Air (GLM, 2025-07) 0.997
Qwen3 30B A3B (Qwen, 2025-04) 0.996

유사도는 0(공통 범주 특징 없음)에서 1(구조 프로파일 완전 일치) 사이의 값입니다.

58 개 필드

architectures	`Qwen4ExpForConditionalGeneration`
image_token_id	`248056`
language_model_only	`false`
model_type	`qwen4_exp`
tie_word_embeddings	`false`
transformers_version	`5.8.0.dev0`
video_token_id	`248057`
vision_end_token_id	`248054`
vision_start_token_id	`248053`
attention_bias	`false`
attention_dropout	`0`
bos_token_id	`248044`
dtype	`bfloat16`
eos_token_id	`248044`
full_attention_interval	`4`
hc_count	`4`
hc_lowrank	`320`
head_dim	`256`
heads_per_ngram	`8`
hidden_act	`silu`
hidden_size	`2560`
indexer_budget	`2048`
indexer_compress_ratio	`4`
indexer_head_dim	`128`
indexer_kv_heads	`1`
indexer_n_heads	`4`
initializer_range	`0.02`
layer_types	`linear_attention×36 + full_attention×12`
linear_conv_kernel_dim	`4`
linear_key_head_dim	`128`
linear_num_key_heads	`16`
linear_num_value_heads	`48`
linear_value_head_dim	`128`
make_ngram_vocab_size_divisible_by	`128`
mamba_ssm_dtype	`float32`
max_position_embeddings	`262144`
moe_intermediate_size	`640`
mtp_num_hidden_layers	`1`
mtp_use_dedicated_embeddings	`false`
ngram_size	`3`
ngram_vocab_size_base	`20000000`
num_attention_heads	`24`
num_experts	`512`
num_experts_per_tok	`10`
num_hidden_layers	`48`
num_key_value_heads	`2`
output_gate_type	`sigmoid`
output_router_logits	`false`
partial_rotary_factor	`0.25`
ple_conv_kernel_size	`4`
ple_embed_dim	`2560`
ple_layer_ids	`2×1`
rms_norm_eps	`0.000001`
router_aux_loss_coef	`0.001`
shared_expert_intermediate_size	`640`
split_ngram_parts	`128`
use_cache	`true`
vocab_size	`248320`