이 아틀라스에 대하여
LLM 구조 아틀라스는 오픈웨이트 언어 모델의 구조 설계를 기록하는 독립적 비영리 참고 자료입니다. 벤치마크 점수 대신 아키텍처를 기록하는 것을 원칙으로 합니다. 어텐션 변형, 희소성, 정규화, 위치 인코딩, 그리고 출처입니다.
방법론
모든 구조 수치는 Hugging Face에서 공개된 모델의 오픈웨이트 릴리스에 포함된 config.json에서 취합니다. 가중치가 공개되지 않은 경우 원 논문의 아키텍처 표를 사용합니다. 파생 분류(MHA/GQA/MLA/하이브리드 선형, 덴스/MoE)는 분야의 표준 정의를 따릅니다. 추정은 하지 않습니다. 검증할 수 없는 값은 비워 둡니다.
출처
1차 출처는 Hugging Face의 공개 모델 저장소(config.json), 논문 페이지에 나열된 arXiv 논문, 각 모델의 기술 보고서입니다. 어텐션, RoPE, RMSNorm, SwiGLU, MoE 기술은 원 논문을 인용합니다.
데이터 신선도
코퍼스는 상류 릴리스와 정기적으로 동기화됩니다. 스냅샷 날짜는 각 페이지 바닥글을 확인하세요.
범위 및 면책 조항
본 사이트는 독립 연구자가 유지하는 교육 참고 자료로, 어떤 모델 연구소에도 소속되지 않았으며 추천받지도 않았습니다. 모델명은 각 소유자의 상표입니다. 데이터는 각 페이지 바닥글에 표시된 스냅샷 기준이며, 이후 개정판에서는 다를 수 있습니다.