關於本圖譜
大模型結構圖譜是一份獨立、非商業的參考資料，記錄開源語言模型的結構設計。它刻意記錄結構而非跑分：注意力變體、稀疏度、正規化、位置編碼與資料來源。
方法
全部結構資料取自模型在 Hugging Face 開源發布時隨附的 config.json；未發布權重者取自原始論文的架構表。衍生分類（MHA/GQA/MLA/混合線性、稠密/MoE）遵循領域通用定義。不做任何估計：無法核實的數值一律留空。
來源
一手來源為 Hugging Face 上的公開模型倉庫（config.json）、論文頁列出的 arXiv 論文，以及各模型的技術報告。注意力、RoPE、RMSNorm、SwiGLU 與 MoE 等技術均引用其原始文獻。
資料新鮮度
語料會定期與上游發布同步；快照日期見每頁頁脚。
範圍與免責聲明
本站是由獨立研究者維護的教學參考資料，與任何模型實驗室無隸屬或背書關係。模型名稱為其所有者的商標。資料以頁脚所示的快照日期為準，較新的版本可能有所不同。