ETD

• Bio-Inspired Learning
• Criticality
• Neural Networks
• Self-Organization
• Temporal Complexity

The brain is the perfect prototype of a complex system. Over the past decades, researchers have increasingly borrowed tools and concepts from the field of complexity to make sense of how the brain works, applying these approaches to both theoretical models and experimental data. Notably, complex network analyses have also found applications in Artificial Intelligence (AI) research, as learning modifies the system's topological properties. However, in biological neural networks, time also plays a crucial role in their functioning. Due to their intrinsic spiking nature, they can be studied through the lens of systems exhibiting intermittent complex behaviour. The theoretical framework of Temporal Complexity (TC), also known as Intermittency-Driven Complexity (IDC), captures these intermittent dynamics by analyzing the metastability of neural states emerging from nonlinear neuronal interactions. TC is distinguished by power-law decay in inter-event times or by scaling properties within an event-driven diffusion process.

This thesis presents findings from a comprehensive investigation into how TC scaling indexes behave across various neural network models under learning paradigm.

In the first part, I investigated a bio-inspired Hopfield-type model to explore how different connectivity topologies, specifically random and scale-free networks, shape network dynamics. This is motivated by the fact that learning modifies network topology, and it is therefore interesting to understand how different topological configurations give rise to different temporal patterns. Beyond this, I examined specific dynamic patterns that emerge in these networks, analyzing their stability by tracking changes in TC indices. Surprisingly, similar activity patterns were found in both random and scale-free networks. Particularly, both topologies exhibited power-law decays in the activity distribution, a hallmark of emergent self-organizing complex behavior. The study revealed that in scale-free networks, this power-law behavior manifests at lower noise levels compared to random networks.

The second part of my project focused on evaluating TC indices in a model capable of storing different complex patterns using an associative memory learning method, characteristic of biological neural networks. The model studied was a Dense Associative Memory (DAM) model with an exponential interaction function and multiplicative random noise. By analyzing the overlap parameter, I found that the system transitions into a critical region of the noise level that depends on the number of stored patterns. The critical state corresponds to a maximum degree of self-organization present in the network's activity, as highlighted by the emergence of long-range temporal correlations.

Finally, I moved to a fully biological framework by implementing an Izhikevich spiking neural model with Spike-Timing-Dependent Plasticity (STDP) as the learning mechanism. This allowed me to evaluate how TC indices respond when the network processes different input patterns. I compared these indices between networks with and without active learning, revealing that plasticity influences the temporal complexity of neural avalanches.

Il cervello è il prototipo perfetto di un sistema complesso. Negli ultimi decenni, i ricercatori hanno attinto sempre più spesso a strumenti e concetti provenienti dal campo della complessità per comprendere il funzionamento del cervello, applicando questi approcci sia a modelli teorici che a dati sperimentali. È interessante notare che le analisi delle reti complesse hanno trovato applicazione anche nella ricerca sull’Intelligenza Artificiale (IA), poiché l'apprendimento modifica le caratteristiche topologiche del sistema. Tuttavia, nelle reti neural biologiche anche il tempo svolge un ruolo cruciale nel loro funzionamento. A causa della loro intrinseca natura a spike, esse possono essere studiate sotto la lente di sistemi che mostrano un comportamento complesso intermittente. Il quadro teorico della Complessità Temporale (TC), noto anche come Intermittency-Driven Complexity (IDC), cattura queste dinamiche intermittenti analizzando la metastabilità degli stati neurali che emergono da interazioni neuronali non lineari. La TC si distingue per il decadimento con distribuzione power-law nei tempi tra gli eventi o per le proprietà di scala all'interno di un processo di diffusione guidato dagli eventi.

La presente tesi illustra i risultati di uno studio approfondito sul comportamento degli indici di scaling della TC in diversi modelli di reti neurali soggette ad apprendimento.

Nella prima parte, ho studiato un modello di tipo Hopfield bio-ispirato per esplorare come diverse topologie di connettività, in particolare le reti random e scale-free, influenzino le dinamiche di rete. Ciò è motivato dal fatto che l'apprendimento modifica la topologia della rete ed è interessante comprendere come diverse configurazioni topologiche diano origine a diversi pattern temporali. Ho inoltre esaminato specifici pattern dinamici che emergono in queste reti, analizzandone la stabilità attraverso il monitoraggio delle variazioni degli indici TC. Sorprendentemente, sono stati riscontrati pattern di attività simili sia nelle reti random che in quelle scale-free. In particolare, entrambe le topologie hanno mostrato distribuzioni dell’attività con andamento power-law, un segno distintivo del comportamento complesso auto-organizzante emergente. Lo studio ha rivelato che nelle reti scale-free tale andamento power-law si manifesta a livelli di rumore inferiori rispetto alle reti random.

La seconda parte del mio progetto si è concentrata sulla valutazione degli indici TC in un modello in grado di memorizzare diversi pattern complessi tramite un metodo di apprendimento con memoria associativa, caratteristico delle reti neurali biologiche. Il modello studiato è un modello di memoria associativa densa con una funzione di interazione esponenziale e rumore casuale moltiplicativo. Analizzando il parametro di sovrapposizione, ho scoperto che il sistema transita in una regione critica del livello di rumore che dipende dal numero di modelli memorizzati. Lo stato critico corrisponde a un massimo grado di auto-organizzazione nell'attività della rete, come evidenziato dall'emergere di correlazioni temporali a lungo raggio.

Infine, ho adottato un quadro completamente biologico, implementando un modello neurale spiking di Izhikevich con Spike-Timing-Dependent Plasticity (STDP) come meccanismo di apprendimento. Ciò ha permesso di valutare come reagiscono gli indici TC quando la rete elabora diversi pattern di input. Ho confrontato tali indici tra reti con e senza apprendimento attivo, rivelando che la plasticità influenza la complessità temporale delle valanghe neurali.