
Simplicity Bias in Transformer-Modellen: Warum tiefe Netzwerke einfache Ausgaben bevorzugen
Untersuchung des "Simplicity Bias" in Transformer-Modellen. Wie die Architektur untrainierter LLMs eine natürliche Präferenz für einfache, komprimierbare Ausgaben erzeugt.