SWAMBIT

Large monolithic transformer systems such as ChatGPT offer great practical benefits, at the price of scaling laws that create huge demands in terms of computation. The SWAMBIT project proposes research into reducing the computational needs of Machine Learning models by means of a novel architecture inspired by the mammalian brain, focusing on sparsity, modularity and global feedback controllers. Our architecture consists of Specialist Modules (cortical macro-columns), a Shared Global Workspace (thalamus) and a Memory Bench (hippocampus). We investigate if separating processing, storage, and output — mirroring the cortex — enhances efficiency and adaptability. We mimic this principle by training an ensemble of small transformers, separating modalities and tasks, and enriching them with stored knowledge through a memory bench. The alignment of our model with the principal building blocks of the brain allows for the bidirectional transfer of insights between neuroscience and artificial intelligence.

Große monolithische Transformer-Systeme wie ChatGPT bieten erhebliche praktische Vorteile, allerdings zum Preis von Skalierungsgesetzen, die enorme Rechenanforderungen erzeugen. Das SWAMBIT-Projekt erforscht die Reduzierung des Rechenbedarfs von Machine-Learning-Modellen durch eine neuartige, vom Säugetiergehirn inspirierte Architektur mit Fokus auf Sparsität, Modularität und globale Feedback-Controller. Unsere Architektur besteht aus Specialist Modules (kortikale Makro-Kolumnen), einem Shared Global Workspace (Thalamus) und einer Memory Bench (Hippocampus). Wir untersuchen, ob die Trennung von Verarbeitung, Speicherung und Ausgabe – in Anlehnung an den Kortex – Effizienz und Anpassungsfähigkeit verbessert. Dieses Prinzip setzen wir um, indem wir ein Ensemble kleiner Transformer trainieren, Modalitäten und Aufgaben trennen und sie durch eine Memory Bench mit gespeichertem Wissen anreichern. Die Ausrichtung unseres Modells an den grundlegenden Bausteinen des Gehirns ermöglicht den bidirektionalen Transfer von Erkenntnissen zwischen Neurowissenschaften und Künstlicher Intelligenz.