Strukturelle Ähnlichkeit
Jedes Modell wird als Merkmalvektor codiert — Attention-Klasse, MoE-Layout, Normierung, Positionscodierung, Aktivierung, Präzision, dazu logarithmierte Größe und Kontext. Die Kosinusähnlichkeit zwischen diesen Vektoren zeigt strukturelle Geschwister: Modelle, die bei unterschiedlicher Skalierung dieselben strukturellen Wetten eingingen.
Methode
Die Vektoren kombinieren One-Hot-Codierung kategorialer Entscheidungen (Attention-Klasse, Normierung, Positionscodierung, Aktivierung, Präzision) mit normalisierten logarithmischen Merkmalen (Gesamtparameter, Kontextlänge, Schichten, Hidden-Größe). Die Ähnlichkeit ist die Kosinusähnlichkeit; sie misst strukturelle, nicht leistungsmäßige Verwandtschaft.
Ähnlichkeits-Heatmap
Ähnlichkeitswerte reichen von 0 (keine gemeinsamen kategorialen Merkmale) bis 1 (identische Profile).
Ähnlichkeit > 0.93
Ähnlichkeitswerte reichen von 0 (keine gemeinsamen kategorialen Merkmale) bis 1 (identische Profile).