오픈웨이트 대규모 언어 모델의 구조 해부 · GPT-2 → 2026
오픈웨이트 LLM의 구조 해부
이 아틀라스는 GPT-2(2019)부터 2026년까지 공개된 80개 오픈웨이트 대규모 언어 모델의 아키텍처를 해부합니다. 벤치마크 점수가 아닌 구조를 기록하는 것이 방침입니다. 어텐션이 멀티헤드(MHA)에서 그룹화 쿼리(GQA), 멀티헤드 잠재(MLA), 하이브리드 선형 설계로 어떻게 진화했는지, 스파스 Mixture-of-Experts가 덴스 피드포워드 층을 어떻게 대체했는지, 어느 연구소가 언제 어떤 연산자를 채택했는지. 모든 수치는 모델과 함께 공개된 config.json 또는 원 논문으로 추적됩니다.
80개 모델
10연구소
55스파스 MoE
2019–2026공개일
같은 코퍼스를 향한 아홉 가지 관점 — 질문에 맞는 시각을 고르세요.
모델 색인
80개 오픈웨이트 LLM 아키텍처의 정렬 가능한 색인: 총 파라미터, 활성 파라미터, 컨텍스트 길이, 어텐션 변형, MoE 구성, 레이어와 헤드 수.
아키텍처 진화
LLM 어텐션이 MHA에서 MQA, GQA, MLA, 하이브리드 선형 설계로 진화한 과정과 각 연산자의 채택 타임라인, 최초의 오픈웨이트 채택 모델.
연산자 해부
코퍼스의 모든 아키텍처 연산자 — 어텐션, MoE, 정규화, 위치, 추론 측 — 에 대해 메커니즘, 채택 수, 최초 오픈웨이트 채택 모델과 근거를 제시합니다.
타임라인
2019년부터 2026년까지 80개 오픈웨이트 LLM 공개의 연대기: 가로축은 공개일, 세로축은 총 파라미터(로그 스케일), 연구소별 색상.
계보
연구소별로 정리한 모델 계보: OpenAI, Meta, Mistral, DeepSeek, Qwen, GLM, Kimi, MiniMax, StepFun, 텐센트 혼위안(Hunyuan).
구조 유사도
아키텍처 특징 벡터 간 코사인 유사도: 어텐션 클래스, MoE 구성, 정규화, 위치 인코딩, 규모와 컨텍스트.
논문
아틀라스의 모든 기술에 대한 원 논문: Transformer, GQA, MLA, RoPE, YaRN, RMSNorm, SwiGLU, Mixtral, DeepSeek-V2/V3 등.
멀티모달
공개 config.json에 포함된 비전 필드를 근거로 코퍼스에서 기계적으로 선별한 이미지 대응 모델 목록.
비교
최대 4개 LLM 아키텍처를 나란히 비교: 어텐션, MoE 구성, 레이어, 컨텍스트, 학습 정밀도 등.
전체 지도
80개 모델을 한 장의 지도에: 공개일과 총 파라미터(로그 스케일), 연구소별 색상.
모델 월
아틀라스의 모든 모델을 카드로 한눈에: 연구소, 공개일, 파라미터, 어텐션 클래스, MoE 구성.
Config 탐색기
80개 오픈웨이트 모델의 공개 config.json 전문 탐색: 모든 필드를 검색하고 복사할 수 있습니다.
아키텍처 퀴즈
LLM 아키텍처 지식을 시험해 보세요: 어텐션 변형, MoE 구성, 연구소와 규모 — 문제는 아틀라스 코퍼스에서 생성됩니다.