Similarità strutturale

Ogni modello è codificato come vettore di caratteristiche — classe di attention, schema MoE, normalizzazione, codifica posizionale, attivazione, precisione, più scala e contesto in scala logaritmica. La similarità coseno tra questi vettori mette in luce i fratelli strutturali: modelli che hanno fatto le stesse scelte architetturali a scale diverse.

Metodo

I vettori combinano la codifica one-hot delle scelte categoriali (classe di attention, normalizzazione, codifica posizionale, attivazione, precisione) con caratteristiche logaritmiche normalizzate (parametri totali, lunghezza del contesto, strati, dimensione nascosta). La similarità è coseno: misura la somiglianza strutturale, non la capacità.

Mappa di similarità

01 Righe e colonne sono modelli, raggruppati per laboratorio; più scuro significa più simile. Passa il mouse per i valori esatti.

I valori di similarità vanno da 0 (nessuna caratteristica categoriale condivisa) a 1 (profili identici).

similarità > 0.93

Modello A		Modello B		similarità
DeepSeek-V3	DeepSeek	DeepSeek-V3 Base	DeepSeek	1.000
DeepSeek-V3	DeepSeek	DeepSeek-R1	DeepSeek	1.000
DeepSeek-V3	DeepSeek	DeepSeek-V3.1	DeepSeek	1.000
DeepSeek-V3	DeepSeek	DeepSeek-V3.2	DeepSeek	1.000
DeepSeek-V3 Base	DeepSeek	DeepSeek-R1	DeepSeek	1.000
DeepSeek-V3 Base	DeepSeek	DeepSeek-V3.1	DeepSeek	1.000
DeepSeek-V3 Base	DeepSeek	DeepSeek-V3.2	DeepSeek	1.000
DeepSeek-R1	DeepSeek	DeepSeek-V3.1	DeepSeek	1.000
DeepSeek-R1	DeepSeek	DeepSeek-V3.2	DeepSeek	1.000
DeepSeek-V3.1	DeepSeek	DeepSeek-V3.2	DeepSeek	1.000
GLM-5	GLM	GLM-5.1	GLM	1.000
DeepSeek-V4-Flash	DeepSeek	DeepSeek-V4-Flash Base	DeepSeek	1.000
Hunyuan 3 Preview	Hunyuan	Hunyuan 3 Preview Base	Hunyuan	1.000
Hunyuan 3 Preview	Hunyuan	Hunyuan 3	Hunyuan	1.000
Hunyuan 3 Preview Base	Hunyuan	Hunyuan 3	Hunyuan	1.000
MiniMax-M3	MiniMax	MiniMax-M3 MXFP8	MiniMax	1.000
Qwen2 72B	Qwen	Qwen2.5 72B	Qwen	1.000
Kimi K2 0905	Kimi	Kimi K2.5	Kimi	1.000
Kimi K2 0905	Kimi	Kimi K2.6	Kimi	1.000
Qwen3-Next 80B A3B	Qwen	Qwen3-Coder-Next	Qwen	1.000
Kimi K2.5	Kimi	Kimi K2.6	Kimi	1.000
Qwen3.5 9B	Qwen	Qwen3.5 9B Base	Qwen	1.000
Qwen3.6 27B	Qwen	Qwen3.8 27B	Qwen	1.000
MiniMax-Text-01	MiniMax	MiniMax-M1	MiniMax	1.000
GLM-5.2	GLM	GLM-5.3	GLM	1.000
MiniMax-M2	MiniMax	MiniMax-M2.5	MiniMax	1.000
GLM-5.2	GLM	Hunyuan 4 Preview	Hunyuan	1.000
GLM-5.3	GLM	Hunyuan 4 Preview	Hunyuan	1.000
Qwen3 30B A3B	Qwen	Hunyuan-TurboS 30B A3B	Hunyuan	1.000
Step-3.5-Flash	StepFun	Step-3.7-Flash	StepFun	1.000
MiniMax-M2	MiniMax	MiniMax-M2.7	MiniMax	1.000
MiniMax-M2.5	MiniMax	MiniMax-M2.7	MiniMax	1.000
Mistral 7B	Mistral	Hunyuan 7B	Hunyuan	1.000
GLM-4.5	GLM	GLM-4.6	GLM	1.000
Qwen3 8B	Qwen	Hunyuan 7B	Hunyuan	1.000
Kimi K2 Base	Kimi	Kimi K2 0905	Kimi	1.000
Kimi K2 Base	Kimi	Kimi K2.5	Kimi	1.000
Kimi K2 Base	Kimi	Kimi K2.6	Kimi	1.000
Mistral 7B	Mistral	Qwen3 8B	Qwen	1.000
Qwen2.5 7B	Qwen	Hunyuan 7B	Hunyuan	1.000

I valori di similarità vanno da 0 (nessuna caratteristica categoriale condivisa) a 1 (profili identici).