Similarité structurelle

Chaque modèle est encodé sous forme de vecteur de caractéristiques — classe d'attention, agencement MoE, normalisation, encodage positionnel, activation, précision, plus l'échelle et le contexte à l'échelle logarithmique. La similarité cosinus entre ces vecteurs fait émerger les frères structurels : des modèles qui ont fait les mêmes paris structurels à des échelles différentes.

Méthode

Les vecteurs combinent un codage one-hot des choix catégoriels (classe d'attention, normalisation, encodage positionnel, activation, précision) et des caractéristiques logarithmiques normalisées (paramètres totaux, longueur de contexte, couches, dimension cachée). La similarité est cosinus ; elle mesure la ressemblance structurelle, pas la capacité.

Carte de similarité

01 Lignes et colonnes sont des modèles, groupés par laboratoire ; plus c’est sombre, plus c’est similaire. Survolez pour les valeurs exactes.

La similarité varie de 0 (aucune caractéristique catégorielle commune) à 1 (profils identiques).

similarité > 0.93

Modèle A		Modèle B		similarité
DeepSeek-V3	DeepSeek	DeepSeek-V3 Base	DeepSeek	1.000
DeepSeek-V3	DeepSeek	DeepSeek-R1	DeepSeek	1.000
DeepSeek-V3	DeepSeek	DeepSeek-V3.1	DeepSeek	1.000
DeepSeek-V3	DeepSeek	DeepSeek-V3.2	DeepSeek	1.000
DeepSeek-V3 Base	DeepSeek	DeepSeek-R1	DeepSeek	1.000
DeepSeek-V3 Base	DeepSeek	DeepSeek-V3.1	DeepSeek	1.000
DeepSeek-V3 Base	DeepSeek	DeepSeek-V3.2	DeepSeek	1.000
DeepSeek-R1	DeepSeek	DeepSeek-V3.1	DeepSeek	1.000
DeepSeek-R1	DeepSeek	DeepSeek-V3.2	DeepSeek	1.000
DeepSeek-V3.1	DeepSeek	DeepSeek-V3.2	DeepSeek	1.000
GLM-5	GLM	GLM-5.1	GLM	1.000
DeepSeek-V4-Flash	DeepSeek	DeepSeek-V4-Flash Base	DeepSeek	1.000
Hunyuan 3 Preview	Hunyuan	Hunyuan 3 Preview Base	Hunyuan	1.000
Hunyuan 3 Preview	Hunyuan	Hunyuan 3	Hunyuan	1.000
Hunyuan 3 Preview Base	Hunyuan	Hunyuan 3	Hunyuan	1.000
MiniMax-M3	MiniMax	MiniMax-M3 MXFP8	MiniMax	1.000
Qwen2 72B	Qwen	Qwen2.5 72B	Qwen	1.000
Kimi K2 0905	Kimi	Kimi K2.5	Kimi	1.000
Kimi K2 0905	Kimi	Kimi K2.6	Kimi	1.000
Qwen3-Next 80B A3B	Qwen	Qwen3-Coder-Next	Qwen	1.000
Kimi K2.5	Kimi	Kimi K2.6	Kimi	1.000
Qwen3.5 9B	Qwen	Qwen3.5 9B Base	Qwen	1.000
Qwen3.6 27B	Qwen	Qwen3.8 27B	Qwen	1.000
MiniMax-Text-01	MiniMax	MiniMax-M1	MiniMax	1.000
GLM-5.2	GLM	GLM-5.3	GLM	1.000
MiniMax-M2	MiniMax	MiniMax-M2.5	MiniMax	1.000
GLM-5.2	GLM	Hunyuan 4 Preview	Hunyuan	1.000
GLM-5.3	GLM	Hunyuan 4 Preview	Hunyuan	1.000
Qwen3 30B A3B	Qwen	Hunyuan-TurboS 30B A3B	Hunyuan	1.000
Step-3.5-Flash	StepFun	Step-3.7-Flash	StepFun	1.000
MiniMax-M2	MiniMax	MiniMax-M2.7	MiniMax	1.000
MiniMax-M2.5	MiniMax	MiniMax-M2.7	MiniMax	1.000
Mistral 7B	Mistral	Hunyuan 7B	Hunyuan	1.000
GLM-4.5	GLM	GLM-4.6	GLM	1.000
Qwen3 8B	Qwen	Hunyuan 7B	Hunyuan	1.000
Kimi K2 Base	Kimi	Kimi K2 0905	Kimi	1.000
Kimi K2 Base	Kimi	Kimi K2.5	Kimi	1.000
Kimi K2 Base	Kimi	Kimi K2.6	Kimi	1.000
Mistral 7B	Mistral	Qwen3 8B	Qwen	1.000
Qwen2.5 7B	Qwen	Hunyuan 7B	Hunyuan	1.000

La similarité varie de 0 (aucune caractéristique catégorielle commune) à 1 (profils identiques).