Tesi etd-11182021-100947 |
Link copiato negli appunti
Tipo di tesi
Tesi di dottorato di ricerca
Autore
PALIY, MAKSYM
Indirizzo email
maksym.paliy@ing.unipi.it, maksym.paliy@hotmail.com
URN
etd-11182021-100947
Titolo
Design of analog circuits for deep neural networks with CMOS technology and 2D materials
Settore scientifico disciplinare
ING-INF/01
Corso di studi
INGEGNERIA DELL'INFORMAZIONE
Relatori
tutor Prof. Iannaccone, Giuseppe
Parole chiave
- 2D materials
- Analog neural networks
- CMOS
- Current-Mirror
- DNN
- Floating-gate memories
- vector-matrix multipliers
Data inizio appello
23/11/2021
Consultabilità
Completa
Riassunto
Il rapido sviluppo delle reti neurali ha rivoluzionato il settore della tecnologia dell'informazione divenendo uno dei più grandi settori dell'industria elettronica. Si prevede che nei prossimi 20 anni l'intelligenza artificiale possa generare il 15% del prodotto interno lordo mondiale. Le reti neurali attuali devono gestire una grande quantità di dati per implementare gli algoritmi di apprendimento complessi, come il riconoscimenti e la classificazione delle immagini, frame video, audio, ecc. Al livello architetturale questo si traduce in milioni di parametri da gestire e memorizzare con altrettante operazioni aritmetiche elementari da svolgere. Il prodotto tra un vettore d'ingressi per una matrice di pesi è l'operazione più ricorrente svolta da una rete neurale.
In una implementazione standard delle reti neurali digitali, i pesi sono registrati all'interno di una memoria e successivamente trasferiti ai circuiti logici dove viene svolta la moltiplicazione. Il trasferimento dei pesi costituisce un "collo di bottiglia" per la banda di calcolo e lo rende inefficiente, in quanto il trasferimento stesso richiede un dispendio energetico significativo. Ci sono diversi modi per superare questo problema, ad esempio parallelizzare il più possibile le risorse hardware oppure ridurre la precisione con cui rappresentare i dati. Le reti neurali sono intrinsecamente robusti ai disturbi e questo apre alla possibilità di svolgere la computazione in analogico sfruttando le leggi elementari della sica (es. leggi di Kirchhoff). In questa tesi viene implementato il calcolo analogico in-memory, che a differenza del paradigma di Von Neumann non accede ad una memoria esterna. Il progetto di un moltiplicatore analogico vettore-per-matrice (VPM) dimostrativo è stato realizzato in una tecnologia CMOS commerciale a 180 nm. Sono state fatte le simulazioni sia al livello circuitale che al livello del sistema complessivo, così come anche le misure su un piccolo moltiplicatore.
È stata valutata la possibilità di implementare la stessa architettura del moltiplicatore con una tecnologia diversa dalla classica CMOS, utilizzando i materiali 2D composti da dicalcogenuri dei metalli di transizione (TMD) come MoS2 oppure PtSe2. Le caratteristiche del moltiplicatore sono state testate su due diverse architetture di reti neurali, valutando l'impatto sulla correttezza di classificazione, l'efficienza energetica, l'area occupata e il tempo di latenza che determina la velocità complessiva del calcolo.
The rapid development of neural networks has revolutionized the field of information technology, becoming one of the largest sectors of the electronic industry. It is expected that, in the next 20 years, artificial intelligence could generate 15% of the world's gross domestic product (GDP). Modern neural networks have to manage large datasets to implement complex learning algorithms, performing recognition and classification of high-dimensional data such as images, video, audio, etc. At the architectural level this reflects into millions of trainable parameters to be stored and processed by numerous elementary arithmetic units. The product between a vector of inputs and a matrix of trainable weights is the most frequent operation performed by a neural network. In a standard implementation of a digital neural network, the weights are recorded in a memory and then transferred to the logic circuits where the multiplication is performed. The transfer of weights is a bottleneck for the computational bandwidth and makes computation energy inefficient, as the data exchange itself requires a significant amount of energy. There are several ways to overcome this problem, such as parallelizing hardware resources as much as possible or reducing the precision of data representation. Neural networks are inherently resilient to disturbances and this opens to the possibility to perform computation in the analog domain by exploiting basic laws of physics (e.g. Kirchho laws). In this thesis, in-memory analog computation is implemented, where processing tasks do not require to access to an external memory, as opposite to the Von Neumann paradigm. A demonstration design of an in-memory analog vector-matrix multiplier (VMM) has been realized in a commercial 180 nm CMOS technology platform. Circuit and system level simulations of the network, as well as experimental measurement of a small multiplier, have been performed. The possibility of implementing the same multiplier architecture with a technology different from the standard CMOS has been also evaluated, using 2D-materials devices based on transition metal dichalcogenides (TMDs) such as MoS2 or PtSe2. The characteristics of the implemented multipliers were tested using two architectures of deep neural networks as a testbench, by evaluating classification accuracy, energy efficiency, area occupation and latency time, which limits the overall computational speed.
In una implementazione standard delle reti neurali digitali, i pesi sono registrati all'interno di una memoria e successivamente trasferiti ai circuiti logici dove viene svolta la moltiplicazione. Il trasferimento dei pesi costituisce un "collo di bottiglia" per la banda di calcolo e lo rende inefficiente, in quanto il trasferimento stesso richiede un dispendio energetico significativo. Ci sono diversi modi per superare questo problema, ad esempio parallelizzare il più possibile le risorse hardware oppure ridurre la precisione con cui rappresentare i dati. Le reti neurali sono intrinsecamente robusti ai disturbi e questo apre alla possibilità di svolgere la computazione in analogico sfruttando le leggi elementari della sica (es. leggi di Kirchhoff). In questa tesi viene implementato il calcolo analogico in-memory, che a differenza del paradigma di Von Neumann non accede ad una memoria esterna. Il progetto di un moltiplicatore analogico vettore-per-matrice (VPM) dimostrativo è stato realizzato in una tecnologia CMOS commerciale a 180 nm. Sono state fatte le simulazioni sia al livello circuitale che al livello del sistema complessivo, così come anche le misure su un piccolo moltiplicatore.
È stata valutata la possibilità di implementare la stessa architettura del moltiplicatore con una tecnologia diversa dalla classica CMOS, utilizzando i materiali 2D composti da dicalcogenuri dei metalli di transizione (TMD) come MoS2 oppure PtSe2. Le caratteristiche del moltiplicatore sono state testate su due diverse architetture di reti neurali, valutando l'impatto sulla correttezza di classificazione, l'efficienza energetica, l'area occupata e il tempo di latenza che determina la velocità complessiva del calcolo.
The rapid development of neural networks has revolutionized the field of information technology, becoming one of the largest sectors of the electronic industry. It is expected that, in the next 20 years, artificial intelligence could generate 15% of the world's gross domestic product (GDP). Modern neural networks have to manage large datasets to implement complex learning algorithms, performing recognition and classification of high-dimensional data such as images, video, audio, etc. At the architectural level this reflects into millions of trainable parameters to be stored and processed by numerous elementary arithmetic units. The product between a vector of inputs and a matrix of trainable weights is the most frequent operation performed by a neural network. In a standard implementation of a digital neural network, the weights are recorded in a memory and then transferred to the logic circuits where the multiplication is performed. The transfer of weights is a bottleneck for the computational bandwidth and makes computation energy inefficient, as the data exchange itself requires a significant amount of energy. There are several ways to overcome this problem, such as parallelizing hardware resources as much as possible or reducing the precision of data representation. Neural networks are inherently resilient to disturbances and this opens to the possibility to perform computation in the analog domain by exploiting basic laws of physics (e.g. Kirchho laws). In this thesis, in-memory analog computation is implemented, where processing tasks do not require to access to an external memory, as opposite to the Von Neumann paradigm. A demonstration design of an in-memory analog vector-matrix multiplier (VMM) has been realized in a commercial 180 nm CMOS technology platform. Circuit and system level simulations of the network, as well as experimental measurement of a small multiplier, have been performed. The possibility of implementing the same multiplier architecture with a technology different from the standard CMOS has been also evaluated, using 2D-materials devices based on transition metal dichalcogenides (TMDs) such as MoS2 or PtSe2. The characteristics of the implemented multipliers were tested using two architectures of deep neural networks as a testbench, by evaluating classification accuracy, energy efficiency, area occupation and latency time, which limits the overall computational speed.
File
Nome file | Dimensione |
---|---|
PhD_thes...Paliy.pdf | 23.84 Mb |
Contatta l’autore |