演算子レベルの分解
このページではコーパスを演算子ごとに分解します。各演算子の仕組み、採用しているモデル数、オープンウェイトで最初に採用したモデル、そして証拠——正確な config.json のフィールド名と、存在すれば原論文——を示します。
注意機構の演算子
| 演算子 | 仕組みと意味 | モデル | 最初のオープンウェイト採用 | 証拠 |
|---|---|---|---|---|
| MHA | 各クエリヘッドが専用の key/value ヘッドを持ちます。表現力は最大で、KV キャッシュも最大です。 | 10 | GPT-2 (2019-02) | num_attention_heads = num_key_value_heads · arXiv:1706.03762 |
| GQA | クエリヘッドが小グループで KV ヘッドを共有。MHA の品質をほぼ保ちながらキャッシュを大幅削減します。 | 46 | Llama 2 70B (2023-07) | num_key_value_heads < num_attention_heads · arXiv:2305.13245 |
| MQA | 全クエリヘッドが単一の KV ヘッドを共有。キャッシュは最小、品質はやや低下します。 | 3 | DeepSeek-V4-Flash (2026-04) | num_key_value_heads = 1 · arXiv:1911.02150 |
| MLA | key/value を低ランク潜在ベクトルに射影し、小さな分離 RoPE キーを併用。キャッシュが桁違いに縮みます。 | 21 | DeepSeek-V2 (2024-05) | kv_lora_rank · arXiv:2405.04434 |
| SWA | 各トークンは直近のスライディングウィンドウ内のみに注意。キャッシュと計算量はコンテキストに比例して増加します。 | 12 | Mistral 7B (2023-09) | sliding_window · arXiv:2310.06825 |
| Linear attention (hybrid) | ほぼ一定メモリの再帰型線形注意層に、少数の全注意層を挟み込んだ構成です。 | 0 | — | linear_attn_config / layer types |
FFN と MoE
| 演算子 | 仕組みと意味 | モデル | 最初のオープンウェイト採用 | 証拠 |
|---|---|---|---|---|
| MoE | FFN を多数のエキスパートネットワークに置き換え、ルーターがトークンごとに top-k を活性化。容量と計算量を分離します。 | 55 | DeepSeekMoE 16B (2024-01) | n_routed_experts · num_experts_per_tok · arXiv:2401.06066 |
| SwiGLU / SiLU | SiLU ゲート付き GLU。単純な GELU/ReLU FFN より単位パラメータあたりの品質が高い。 | 70 | LLaMA 1 7B (2023-02) | hidden_act = silu · arXiv:2002.05202 |
正規化と位置
| 演算子 | 仕組みと意味 | モデル | 最初のオープンウェイト採用 | 証拠 |
|---|---|---|---|---|
| RMSNorm | 平均を中心化せず二乗平均のみで正規化。安価で大規模でも安定します。 | 73 | LLaMA 1 7B (2023-02) | rms_norm_eps · arXiv:1910.07467 |
| RoPE | Q/K ペアの回転で相対位置を符号化。コンテキストに応じて自然に外挿します。 | 58 | Mistral 7B (2023-09) | rope_theta · arXiv:2104.09864 |
| YaRN long-context | RoPE の周波数スペクトルを再スケーリングし、事前学習長を大きく超えるコンテキストを扱えるようにします。 | 0 | — | rope_scaling.rope_type = yarn · arXiv:2309.00071 |
推論と精度
| 演算子 | 仕組みと意味 | モデル | 最初のオープンウェイト採用 | 証拠 |
|---|---|---|---|---|
| Multi-Token Prediction | 軽量な追加ヘッドが 1 回の順伝播で複数の先のトークンを予測し、デコードを高速化します。 | 39 | DeepSeek-V3 (2024-12) | num_nextn_predict_layers · arXiv:2412.19437 |
| FP8 training | 重みと活性化を 8 ビット浮動小数に。メモリ約半分、最前線スケールの行列積を高速化します。 | 18 | DeepSeek-V3 (2024-12) | torch_dtype / quantization_config |
方法に関する注記
採用の判定は公開された config.json から機械的に行います（証拠欄に正確なフィールド名を記載）。「最初の採用モデル」は本コーパスで最も早いオープンウェイト版です。より早い非公開の先例は論文ページを参照してください。