RealmNN
The RealmNN project brings together computational neuroscience and machine learning to investigate a fundamental question: how complex should the basic computational units of artificial neural networks be? While modern deep learning relies on simple, memoryless units, biological neurons perform far richer computations—integrating information across multiple timescales and processing inputs through elaborate dendritic structures. RealmNN explores whether incorporating these biologically inspired mechanisms into artificial networks can lead to AI systems that are more efficient, more robust, and better suited to tasks requiring long-range temporal reasoning—such as language understanding, audio processing, and decision-making in embodied agents.
Building on the recently introduced Expressive Leaky Memory (ELM) neuron, which faithfully reproduces the dynamics of cortical neurons, the project pursues three interconnected directions: characterizing the computational repertoire of diverse cortical cell types, designing recurrent architectures around expressive units, and applying these networks as policy and world models in reinforcement learning. Potential applications range from more capable language and audio models to embodied agents that learn and act over extended time horizons with greater efficiency.
Das RealmNN-Projekt verbindet Computational Neuroscience und maschinelles Lernen, um eine grundlegende Frage zu untersuchen: Wie komplex sollten die grundlegenden Recheneinheiten künstlicher neuronaler Netze sein? Während modernes Deep Learning auf einfache, gedächtnislose Einheiten setzt, führen biologische Neuronen weit reichere Berechnungen durch – sie integrieren Informationen über mehrere Zeitskalen hinweg und verarbeiten Eingaben durch aufwendige dendritische Strukturen. RealmNN untersucht, ob die Integration dieser biologisch inspirierten Mechanismen in künstliche Netze zu KI-Systemen führen kann, die effizienter, robuster und besser für Aufgaben geeignet sind, die ein weitreichendes zeitliches Schlussfolgern erfordern – wie Sprachverstehen, Audioverarbeitung und Entscheidungsfindung bei verkörperten Agenten.
Aufbauend auf dem kürzlich eingeführten Expressive Leaky Memory (ELM)-Neuron, das die Dynamiken kortikaler Neuronen originalgetreu reproduziert, verfolgt das Projekt drei miteinander verbundene Richtungen: die Charakterisierung des rechnerischen Repertoires verschiedener kortikaler Zelltypen, die Entwicklung rekurrenter Architekturen rund um expressive Einheiten sowie die Anwendung dieser Netze als Policy- und Weltmodelle im Reinforcement Learning. Mögliche Anwendungen reichen von leistungsfähigeren Sprach- und Audiomodellen bis hin zu verkörperten Agenten, die über längere Zeithorizonte effizienter lernen und handeln.
RealmNN TeamTeam
Prof. Dr. Anna Levina
Project Coordination Projektkoordinatorin
Prof. Dr. Georg Martius
Principal Investigator Principal Investigator
