構造類似度
各モデルを特徴ベクトルとして符号化します。注意機構クラス、MoE構成、正規化、位置エンコーディング、活性化関数、学習精度に加え、対数スケールの規模とコンテキスト長です。ベクトル間のコサイン類似度により、「構造的な兄弟」——異なる規模で同じ構造的選択をしたモデル——が浮かび上がります。
計算方法
特徴ベクトルは、カテゴリ的選択(注意機構クラス、正規化、位置エンコーディング、活性化関数、精度)のone-hot符号化と、正規化した対数スケール特徴(総パラメータ、コンテキスト長、層数、隠れ次元)で構成します。類似度はコサイン値であり、能力ではなく構造的類似を測ります。
類似度ヒートマップ
01
行列ともモデルで、開発元ごとにグループ化。色が濃いほど類似しています。ホバーで正確な値を表示。
類似度は 0(共通のカテゴリ特徴なし)から 1(構造プロファイルが完全に一致)の範囲です。
類似度 > 0.93
類似度は 0(共通のカテゴリ特徴なし)から 1(構造プロファイルが完全に一致)の範囲です。