Mistral · 2023-09 · 덴스

Mistral 7B

Mistral 7B은(는) Mistral가 2023-09에 공개한 그룹화 쿼리 어텐션(GQA) Transformer로, 32개 층, 은닉 차원 4096, 컨텍스트 길이 32,768 토큰을 갖습니다.

레이어 스택

어텐션 ×32 · 레이어 수 32

동봉된 config.json을 바탕으로 작도 · 32층 / 은닉 4,096 / 컨텍스트 32,768. 도식은 본 사이트의 오리지널입니다.

그룹화 쿼리 어텐션(GQA) — 32 q-heads / 8 kv-heads. RoPE θ=10,000.

덴스 모델로, 전체 7.24B 파라미터가 모든 토큰 계산에 참여합니다.

같은 연구소의 이전 세대 모델과 비교합니다. 없으면 구조가 가장 유사한 모델과 비교. 배수 열 = 본 모델 ÷ 비교 대상.

가장 유사한 Hunyuan 7B과의 전 필드 비교

모델	Mistral 7B	Hunyuan 7B	배수
model_type	`mistral`	`hunyuan_v1_dense`	≠
architectures	`MistralForCausalLM`	`HunYuanDenseV1ForCausalLM`	≠
hidden_size	`4096`	`4096`	≈1
num_hidden_layers	`32`	`32`	≈1
num_attention_heads	`32`	`32`	≈1
num_key_value_heads	`8`	`8`	≈1
head_dim	`—`	`128`
intermediate_size	`14336`	`14336`	≈1
hidden_act	`silu`	`silu`	＝
rope_theta	`10000`	`10000`	≈1
max_position_embeddings	`32768`	`32768`	≈1
sliding_window	`4096`	`—`
rms_norm_eps	`0.00001`	`0.00001`	≈1
vocab_size	`32000`	`128167`	×0.250
torch_dtype	`bfloat16`	`bfloat16`	＝
bos_token_id	`1`	`1`	≈1
eos_token_id	`2`	`127960`	×0.000
initializer_range	`0.02`	`0.02`	≈1
tie_word_embeddings	`false`	`true`	≠
transformers_version	`4.34.0.dev0`	`4.41.2`	≠
use_cache	`true`	`true`	＝

Hunyuan 7B (Hunyuan, 2025-08) 1.000
Qwen3 8B (Qwen, 2025-04) 1.000
Qwen2.5 7B (Qwen, 2024-09) 1.000
Llama 3.1 8B (Meta, 2024-07) 0.999
Hunyuan-TurboS 7B (Hunyuan, 2026-05) 0.998
Qwen3 32B (Qwen, 2025-04) 0.990

유사도는 0(공통 범주 특징 없음)에서 1(구조 프로파일 완전 일치) 사이의 값입니다.

20 개 필드