CompSeq

How do biological and artificial systems process temporal sequences—such as language or action sequences—and what can they learn from each other? These questions are being addressed by the pilot project "Sequence Computations in Humans, Models and Machines (CompSeq)", which operates at the intersection of neuroscience, artificial intelligence (AI), and computational neuroscience. At its core, the project compares modern AI architectures—such as Transformers, recurrent neural networks, and state-space models—with biological networks in the human and animal brain. The aim is to better understand the functional principles of sequence processing and to use this knowledge to develop AI models that are more efficient, resource-saving, and biologically inspired. While Transformer models currently represent the most powerful systems in AI, they are also highly demanding in terms of computation and memory. Alternatives that are more closely aligned with biological processes require fewer resources. CompSeq brings together expertise from neuroscience and AI research to investigate, in comparative experiments involving humans, animals, and AI systems, how mechanisms such as memory, generalization, and one-shot learning arise and how they can be improved.

Wie verarbeiten biologische und künstliche Systeme zeitliche Sequenzen – etwa Sprache oder Handlungsabfolgen – und was können sie voneinander lernen? Diesen Fragen geht das Pilotprojekt „Sequenzverarbeitung in Mensch, Modell und Maschine (CompSeq)" nach, das an der Schnittstelle von Neurowissenschaften, Künstlicher Intelligenz (KI) und Computationaler Neurowissenschaft arbeitet. Im Kern vergleicht das Projekt moderne KI-Architekturen – wie Transformer, rekurrente neuronale Netze und Zustandsraummodelle – mit biologischen Netzwerken im menschlichen und tierischen Gehirn. Ziel ist es, die funktionalen Prinzipien der Sequenzverarbeitung besser zu verstehen und dieses Wissen zu nutzen, um KI-Modelle zu entwickeln, die effizienter, ressourcenschonender und biologisch inspirierter sind. Während Transformer-Modelle derzeit die leistungsfähigsten Systeme in der KI darstellen, sind sie auch sehr anspruchsvoll hinsichtlich Rechenleistung und Speicher. Alternativen, die stärker an biologischen Prozessen ausgerichtet sind, benötigen weniger Ressourcen. CompSeq bündelt Expertise aus Neurowissenschaften und KI-Forschung, um in vergleichenden Experimenten mit Menschen, Tieren und KI-Systemen zu untersuchen, wie Mechanismen wie Gedächtnis, Generalisierung und One-Shot-Lernen entstehen und verbessert werden können.