BRAINS
The BRAINS project aims to provide a solution for computational and energy efficiency in large-scale modular Transformer neural networks, inspired by the brain's remarkable capacity for habit learning. While the mechanisms underlying habit learning and expression remain debated, we propose that habitual responses arise through trained shortcut connections between cortex–basal ganglia loops, automating responses and reducing computational demand.
To provide proof of concept for this hypothesis, the project takes a model-based approach to re-analyzing existing fMRI data on the basis of neurocomputational modelling expertise. This joint effort will guide the design and implementation of shortcut-like concepts in Transformer neural networks as part of a NeuroAI model of reinforcement learning.
The Transformer-based NeuroAI model will be benchmarked with respect to performance and energy consumption on standard ML benchmarks and compared with cognitive flexibility in humans performing a virtual reality navigation task.
Das BRAINS-Projekt zielt darauf ab, eine Lösung für rechnerische und energetische Effizienz in großskaligen modularen Transformer-Netzwerken bereitzustellen, inspiriert von der bemerkenswerten Kapazität des Gehirns für das Erlernen von Gewohnheiten. Während die dem Gewohnheitslernen und -ausdruck zugrunde liegenden Mechanismen noch diskutiert werden, schlagen wir vor, dass gewohnheitsmäßige Reaktionen durch trainierte Shortcut-Verbindungen zwischen Kortex-Basalganglien-Schleifen entstehen, die Reaktionen automatisieren und den Rechenaufwand reduzieren.
Zum Nachweis dieser Hypothese verfolgt das Projekt einen modellbasierten Ansatz zur erneuten Analyse bestehender fMRT-Daten auf der Grundlage neurocomputationaler Modellierungsexpertise. Diese gemeinsame Arbeit wird das Design und die Implementierung von Shortcut-ähnlichen Konzepten in Transformer-Netzwerken als Teil eines NeuroAI-Modells des bestärkenden Lernens leiten.
Das Transformer-basierte NeuroAI-Modell wird hinsichtlich Leistung und Energieverbrauch auf Standard-ML-Benchmarks bewertet und mit kognitiver Flexibilität beim Menschen bei der Durchführung einer Virtual-Reality-Navigationsaufgabe verglichen.
BRAINS TeamTeam
Prof. Dr. Fred Hamker
Project Coordination Projektkoordination
Prof. Dr. Markus Ullsperger
Principal Investigator Principal Investigator
