このアトラスについて

LLM構造アトラスは、オープンウェイト言語モデルの構造設計を記録する独立した非商用リファレンスです。ベンチマークスコアではなくアーキテクチャを意図的に記録します。注意機構の変種、スパース性、正規化、位置エンコーディング、そして出典です。

方法論

構造データはすべて、Hugging Faceで公開されたモデルのオープンウェイトリリースに同梱のconfig.jsonから採取しています。重みが公開されていない場合は原論文のアーキテクチャ表を採用します。派生的分類(MHA/GQA/MLA/ハイブリッド線形、デンス/MoE)は分野の標準定義に従います。推定は行いません。検証できない値は空白のままにします。

出典

一次出典はHugging Faceの公開モデルリポジトリ(config.json)、論文ページに列挙したarXiv論文、各モデルの技術レポートです。注意機構、RoPE、RMSNorm、SwiGLU、MoEなどの技術は元論文を引用しています。

データの鮮度

コーパスは上流のリリースと定期的に同期されます。スナップショット日は各ページのフットナーをご確認ください。

範囲と免責事項

本サイトは独立した研究者が維持する教育リファレンスであり、いかなるモデル開発元にも所属せず、推奨もされていません。モデル名は各所有者の商標です。データは各ページのフットナーに示すスナップショット日時時点のもので、以後の改訂では異なる場合があります。