关于本图谱
大模型结构图谱是一份独立、非商业的参考资料，记录开源语言模型的结构设计。它刻意记录结构而非跑分：注意力变体、稀疏度、归一化、位置编码与数据来源。
方法
全部结构数据取自模型在 Hugging Face 开源发布时随附的 config.json；未发布权重者取自原始论文的架构表。派生分类（MHA/GQA/MLA/混合线性、稠密/MoE）遵循领域通用定义。不做任何估计：无法核实的数值一律留空。
来源
一手来源为 Hugging Face 上的公开模型仓库（config.json）、论文页列出的 arXiv 论文，以及各模型的技术报告。注意力、RoPE、RMSNorm、SwiGLU 与 MoE 等技术均引用其原始文献。
数据新鲜度
语料会定期与上游发布同步；快照日期见每页页脚。
范围与免责声明
本站是由独立研究者维护的教学参考资料，与任何模型实验室无隶属或背书关系。模型名称为其所有者的商标。数据以页脚所示的快照日期为准，较新的版本可能有所不同。