DeepSeek · 2024-01 · 스파스 MoE

DeepSeekMoE 16B

DeepSeekMoE 16B은(는) DeepSeek가 2024-01에 공개한 멀티헤드 어텐션(MHA) Transformer로, 28개 층, 은닉 차원 2048, 컨텍스트 길이 4,096 토큰을 갖습니다.

레이어 스택

어텐션 ×28 · 레이어 수 28

동봉된 config.json을 바탕으로 작도 · 28층 / 은닉 2,048 / 컨텍스트 4,096. 도식은 본 사이트의 오리지널입니다.

멀티헤드 어텐션(MHA) — 16 q-heads / 16 kv-heads. RoPE θ=10,000.

스파스 Mixture-of-Experts 모델로, 64개 라우팅 전문가와 top-6 라우팅을 사용하며 토큰당 약 2.6B 파라미터가 활성화됩니다.

같은 연구소의 이전 세대 모델과 비교합니다. 없으면 구조가 가장 유사한 모델과 비교. 배수 열 = 본 모델 ÷ 비교 대상.

이전 세대 DeepSeek LLM 7B과의 전 필드 비교

모델	DeepSeekMoE 16B	DeepSeek LLM 7B	배수
model_type	`deepseek`	`llama`	≠
architectures	`DeepseekForCausalLM`	`LlamaForCausalLM`	≠
hidden_size	`2048`	`4096`	×0.500
num_hidden_layers	`28`	`30`	×0.933
num_attention_heads	`16`	`32`	×0.500
num_key_value_heads	`16`	`32`	×0.500
intermediate_size	`10944`	`11008`	×0.994
hidden_act	`silu`	`silu`	＝
n_routed_experts	`64`	`—`
num_experts_per_tok	`6`	`—`
n_shared_experts	`2`	`—`
moe_intermediate_size	`1408`	`—`
rope_theta	`10000`	`10000`	≈1
max_position_embeddings	`4096`	`4096`	≈1
rms_norm_eps	`0.000001`	`0.000001`	≈1
vocab_size	`102400`	`102400`	≈1
torch_dtype	`bfloat16`	`bfloat16`	＝
attention_bias	`false`	`—`
attention_dropout	`0`	`—`
bos_token_id	`100000`	`1`	×100000.00
eos_token_id	`100001`	`2`	×50000.50
first_k_dense_replace	`1`	`—`
initializer_range	`0.02`	`0.02`	≈1
moe_layer_freq	`1`	`—`
norm_topk_prob	`false`	`—`
pretraining_tp	`1`	`1`	≈1

DeepSeek LLM 7B (DeepSeek, 2023-11) 0.874
DeepSeek-Coder 6.7B (DeepSeek, 2023-11) 0.873
Qwen1.5 7B (Qwen, 2024-02) 0.872
Qwen3.6 35B A3B (Qwen, 2026-04) 0.832
Kimi Linear 48B A3B (Kimi, 2025-10) 0.831
GPT-OSS 120B (OpenAI, 2025-08) 0.831

유사도는 0(공통 범주 특징 없음)에서 1(구조 프로파일 완전 일치) 사이의 값입니다.

30 개 필드