아키텍처 지도

코퍼스 전체를 한 장의 지도로 담았습니다. 가로축은 공개일, 세로축은 로그 스케일 총 파라미터, 모델당 한 점을 연구소별로 색칠합니다. 오른쪽 아래로 향하는 이동—시기가 최신일수록 활성이 스파스해짐—이 Mixture-of-Experts로의 업계 전체의 궤적입니다.