구조 유사도
각 모델을 특징 벡터로 인코딩합니다. 어텐션 클래스, MoE 구성, 정규화, 위치 인코딩, 활성화 함수, 학습 정밀도에 로그 스케일의 규모와 컨텍스트 길이를 더합니다. 벡터 간 코사인 유사도는 '구조적 형제'—서로 다른 규모에서 같은 구조적 선택을 한 모델—을 드러냅니다.
계산 방법
특징 벡터는 범주적 선택(어텐션 클래스, 정규화, 위치 인코딩, 활성화 함수, 정밀도)의 원-핫 인코딩과 정규화된 로그 스케일 특징(총 파라미터, 컨텍스트 길이, 레이어 수, 은닉 차원)으로 구성됩니다. 유사도는 코사인 값으로, 성능이 아닌 구조적 유사성을 측정합니다.
유사도 히트맵
01
행과 열은 모델이며 연구소별로 묶였습니다. 색이 진할수록 유사합니다. 마우스를 올리면 정확한 값이 보입니다.
유사도는 0(공통 범주 특징 없음)에서 1(구조 프로파일 완전 일치) 사이의 값입니다.
유사도 > 0.93
유사도는 0(공통 범주 특징 없음)에서 1(구조 프로파일 완전 일치) 사이의 값입니다.