结构相似度

每个模型被编码为一个特征向量——注意力类别、MoE 布局、归一化、位置编码、激活函数、训练精度,加上对数尺度的规模与上下文长度。向量之间的余弦相似度可以找出“结构上的兄弟”:在不同规模上做出相同结构押注的模型。

计算方法

特征向量由类别选择(注意力类别、归一化、位置编码、激活函数、精度)的 one-hot 编码,加上归一化的对数尺度特征(总参数、上下文长度、层数、隐藏维度)构成。相似度为余弦值,衡量的是结构相似而非能力相近。

相似度热力图

01 行列均为模型并按实验室分组;颜色越深越相似。悬浮可查看精确数值。

相似度取值范围 0(无共同类别特征)到 1(结构画像完全一致)。

相似度 > 0.93

模型 A模型 B相似度
DeepSeek-V3DeepSeekDeepSeek-V3 BaseDeepSeek1.000
DeepSeek-V3DeepSeekDeepSeek-R1DeepSeek1.000
DeepSeek-V3DeepSeekDeepSeek-V3.1DeepSeek1.000
DeepSeek-V3DeepSeekDeepSeek-V3.2DeepSeek1.000
DeepSeek-V3 BaseDeepSeekDeepSeek-R1DeepSeek1.000
DeepSeek-V3 BaseDeepSeekDeepSeek-V3.1DeepSeek1.000
DeepSeek-V3 BaseDeepSeekDeepSeek-V3.2DeepSeek1.000
DeepSeek-R1DeepSeekDeepSeek-V3.1DeepSeek1.000
DeepSeek-R1DeepSeekDeepSeek-V3.2DeepSeek1.000
DeepSeek-V3.1DeepSeekDeepSeek-V3.2DeepSeek1.000
GLM-5GLMGLM-5.1GLM1.000
DeepSeek-V4-FlashDeepSeekDeepSeek-V4-Flash BaseDeepSeek1.000
Hunyuan 3 PreviewHunyuanHunyuan 3 Preview BaseHunyuan1.000
Hunyuan 3 PreviewHunyuanHunyuan 3Hunyuan1.000
Hunyuan 3 Preview BaseHunyuanHunyuan 3Hunyuan1.000
MiniMax-M3MiniMaxMiniMax-M3 MXFP8MiniMax1.000
Qwen2 72BQwenQwen2.5 72BQwen1.000
Kimi K2 0905KimiKimi K2.5Kimi1.000
Kimi K2 0905KimiKimi K2.6Kimi1.000
Qwen3-Next 80B A3BQwenQwen3-Coder-NextQwen1.000
Kimi K2.5KimiKimi K2.6Kimi1.000
Qwen3.5 9BQwenQwen3.5 9B BaseQwen1.000
Qwen3.6 27BQwenQwen3.8 27BQwen1.000
MiniMax-Text-01MiniMaxMiniMax-M1MiniMax1.000
GLM-5.2GLMGLM-5.3GLM1.000
MiniMax-M2MiniMaxMiniMax-M2.5MiniMax1.000
GLM-5.2GLMHunyuan 4 PreviewHunyuan1.000
GLM-5.3GLMHunyuan 4 PreviewHunyuan1.000
Qwen3 30B A3BQwenHunyuan-TurboS 30B A3BHunyuan1.000
Step-3.5-FlashStepFunStep-3.7-FlashStepFun1.000
MiniMax-M2MiniMaxMiniMax-M2.7MiniMax1.000
MiniMax-M2.5MiniMaxMiniMax-M2.7MiniMax1.000
Mistral 7BMistralHunyuan 7BHunyuan1.000
GLM-4.5GLMGLM-4.6GLM1.000
Qwen3 8BQwenHunyuan 7BHunyuan1.000
Kimi K2 BaseKimiKimi K2 0905Kimi1.000
Kimi K2 BaseKimiKimi K2.5Kimi1.000
Kimi K2 BaseKimiKimi K2.6Kimi1.000
Mistral 7BMistralQwen3 8BQwen1.000
Qwen2.5 7BQwenHunyuan 7BHunyuan1.000

相似度取值范围 0(无共同类别特征)到 1(结构画像完全一致)。