结构相似度
每个模型被编码为一个特征向量——注意力类别、MoE 布局、归一化、位置编码、激活函数、训练精度,加上对数尺度的规模与上下文长度。向量之间的余弦相似度可以找出“结构上的兄弟”:在不同规模上做出相同结构押注的模型。
计算方法
特征向量由类别选择(注意力类别、归一化、位置编码、激活函数、精度)的 one-hot 编码,加上归一化的对数尺度特征(总参数、上下文长度、层数、隐藏维度)构成。相似度为余弦值,衡量的是结构相似而非能力相近。
相似度热力图
01
行列均为模型并按实验室分组;颜色越深越相似。悬浮可查看精确数值。
相似度取值范围 0(无共同类别特征)到 1(结构画像完全一致)。
相似度 > 0.93
相似度取值范围 0(无共同类别特征)到 1(结构画像完全一致)。