Über diesen Atlas
Der LLM-Struktur-Atlas ist eine unabhängige, nichtkommerzielle Referenz, die den strukturellen Entwurf offener Sprachmodelle dokumentiert. Bewusst hält er Architektur statt Benchmark-Scores fest: Attention-Varianten, Sparsamkeit, Normierung, Positionscodierung und Herkunft.
Methodik
Jede Strukturangabe stammt aus der config.json, die mit der Open-Weight-Veröffentlichung des Modells auf Hugging Face ausgeliefert wird — oder, wo keine Gewichte veröffentlicht wurden, aus den Architekturtabellen des Originalpapers. Abgeleitete Klassifikationen (MHA/GQA/MLA/hybrid-linear, dicht/MoE) folgen den Standarddefinitionen des Feldes. Nichts wird geschätzt: Nicht verifizierbare Werte bleiben leer.
Quellen
Primärquellen sind die öffentlichen Modellrepositorien auf Hugging Face (config.json), die auf der Paper-Seite gelisteten arXiv-Artikel und die technischen Berichte der Modelle. Attention, RoPE, RMSNorm, SwiGLU und MoE zitieren ihre Originalpublikationen.
Aktualität der Daten
Der Korpus wird regelmäßig mit Upstream-Veröffentlichungen abgeglichen; der Datenstand steht im Fußbereich jeder Seite.
Umfang und Haftungsausschluss
Diese Seite ist eine von unabhängigen Forschern gepflegte Bildungsreferenz; sie ist mit keinem Modelllabor verbunden und von keinem empfohlen. Modellnamen bleiben Marken ihrer jeweiligen Inhaber. Die Daten spiegeln den im Fußbereich angegebenen Datenstand wider; neuere Revisionen können abweichen.