Meta · 2023-07 · مكثّف

Llama 2 70B

Llama 2 70B هو محول انتباه الاستعلامات المجمّعة (GQA) أصدره Meta في 2023-07، ويضم 80 طبقة وبعداً مخفياً قدره 8192 ونافذة سياق تبلغ 4,096 رمزاً.

كومة الطبقات

الانتباه ×80 · الطبقات 80

مرسوم من config.json المرفق · 80 طبقة / العرض 8,192 / السياق 4,096. رسم أصلي من هذا الأطلس.

انتباه الاستعلامات المجمّعة (GQA) — 64 q-heads / 8 kv-heads.

هو نموذج مكثف: تشارك كامل المعاملات البالغة 68.98 مليار في حساب كل رمز.

المقارنة مع النموذج السابق في المعمل نفسه؛ وإن لم يوجد فمع النموذج الأقرب بنيوياً. عمود النسبة = هذا النموذج ÷ نموذج المقارنة.

مقارنة كاملة بالسابق LLaMA 1 7B

النموذج	Llama 2 70B	LLaMA 1 7B	النسبة
model_type	`llama`	`llama`	＝
architectures	`LlamaForCausalLM`	`LlamaForCausalLM`	＝
hidden_size	`8192`	`4096`	×2.00
num_hidden_layers	`80`	`32`	×2.50
num_attention_heads	`64`	`32`	×2.00
num_key_value_heads	`8`	`—`
intermediate_size	`28672`	`11008`	×2.60
hidden_act	`silu`	`silu`	＝
max_position_embeddings	`4096`	`2048`	×2.00
rms_norm_eps	`0.00001`	`0.000001`	×10.00
vocab_size	`32000`	`32000`	≈1
torch_dtype	`float16`	`float16`	＝
bos_token_id	`1`	`1`	≈1
eos_token_id	`2`	`2`	≈1
initializer_range	`0.02`	`0.02`	≈1
pad_token_id	`0`	`0`	＝
tie_word_embeddings	`false`	`false`	＝
transformers_version	`4.31.0.dev0`	`4.28.0.dev0`	≠
use_cache	`true`	`true`	＝

Qwen3.5 27B (Qwen, 2026-02) 0.982
Qwen3.5 9B (Qwen, 2026-02) 0.956
Qwen3.5 9B Base (Qwen, 2026-02) 0.956
Qwen2 72B (Qwen, 2024-06) 0.902
Qwen2.5 72B (Qwen, 2024-09) 0.902
Llama 3.1 70B (Meta, 2024-07) 0.901

تتراوح درجات التشابه من 0 (لا سمات فئوية مشتركة) إلى 1 (ملفات بنيوية متطابقة).

19 حقل