Notizia

Le applicazioni di elaborazione dati nel mondo reale richiedono sistemi informatici compatti, a bassa latenza e a basso consumo. Con capacità di calcolo basate sugli eventi, le architetture neuromorfiche memristive ibride complementari di metallo-ossido-semiconduttore forniscono una base hardware ideale per tali compiti. Per dimostrare il pieno potenziale di tali sistemi, proponiamo e dimostriamo sperimentalmente una soluzione completa di elaborazione dei sensori per applicazioni di localizzazione di oggetti nel mondo reale. Traendo ispirazione dalla neuroanatomia del barbagianni, abbiamo sviluppato un sistema di localizzazione di oggetti bioispirato e guidato dagli eventi che combina un trasduttore micromeccanico piezoelettrico all'avanguardia con una memoria resistiva neuromorfica basata su grafici computazionali. Mostriamo le misurazioni di un sistema fabbricato che include un rilevatore di coincidenza resistivo basato sulla memoria, circuiti di linea di ritardo e un trasduttore a ultrasuoni completamente personalizzabile. Utilizziamo questi risultati sperimentali per calibrare le simulazioni a livello di sistema. Queste simulazioni vengono quindi utilizzate per valutare la risoluzione angolare e l'efficienza energetica del modello di localizzazione degli oggetti. I risultati mostrano che il nostro approccio può essere diversi ordini di grandezza più efficiente dal punto di vista energetico rispetto ai microcontrollori che svolgono lo stesso compito.
Stiamo entrando nell’era dell’informatica ubiqua in cui il numero di dispositivi e sistemi implementati sta crescendo in modo esponenziale per aiutarci nella nostra vita quotidiana. Si prevede che questi sistemi funzionino continuamente, consumando la minor quantità di energia possibile e imparando a interpretare i dati raccolti da più sensori in tempo reale e a produrre output binario come risultato di attività di classificazione o riconoscimento. Uno dei passaggi più importanti necessari per raggiungere questo obiettivo è estrarre informazioni utili e compatte da dati sensoriali rumorosi e spesso incompleti. Gli approcci ingegneristici convenzionali in genere campionano i segnali dei sensori a una velocità elevata e costante, generando grandi quantità di dati anche in assenza di input utili. Inoltre, questi metodi utilizzano complesse tecniche di elaborazione del segnale digitale per preelaborare i dati di ingresso (spesso rumorosi). Invece, la biologia offre soluzioni alternative per l’elaborazione di dati sensoriali rumorosi utilizzando approcci efficienti dal punto di vista energetico, asincroni e guidati dagli eventi (picchi)2,3. Il calcolo neuromorfico si ispira ai sistemi biologici per ridurre i costi computazionali in termini di requisiti energetici e di memoria rispetto ai tradizionali metodi di elaborazione del segnale4,5,6. Recentemente sono stati dimostrati sistemi innovativi basati sul cervello per scopi generali che implementano reti neurali a impulsi (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Questi processori forniscono soluzioni a basso consumo e bassa latenza per l’apprendimento automatico e la modellazione di circuiti corticali. Per sfruttare appieno la loro efficienza energetica, questi processori neuromorfici devono essere direttamente collegati a sensori guidati da eventi12,13. Tuttavia, oggi ci sono solo pochi dispositivi touch che forniscono direttamente dati basati sugli eventi. Esempi importanti sono i sensori visivi dinamici (DVS) per applicazioni visive come il rilevamento e il rilevamento del movimento14,15,16,17, la coclea in silicio18 e i sensori uditivi neuromorfici (NAS)19 per l'elaborazione del segnale uditivo, i sensori olfattivi20 e numerosi esempi21,22 del tatto. . sensori di consistenza.
In questo articolo presentiamo un sistema di elaborazione uditiva basato sugli eventi di nuova concezione applicato alla localizzazione degli oggetti. Qui, per la prima volta, descriviamo un sistema end-to-end per la localizzazione di oggetti ottenuto collegando un trasduttore ultrasonico piezoelettrico microlavorato all'avanguardia (pMUT) con un grafico computazionale basato sulla memoria resistiva neuromorfica (RRAM). Le architetture di elaborazione in memoria che utilizzano RRAM sono una soluzione promettente per ridurre il consumo energetico23,24,25,26,27,28,29. La loro intrinseca non volatilità, che non richiede un consumo energetico attivo per archiviare o aggiornare le informazioni, si adatta perfettamente alla natura asincrona e guidata dagli eventi del calcolo neuromorfico, con conseguente consumo energetico quasi nullo quando il sistema è inattivo. I trasduttori ultrasonici microlavorati piezoelettrici (pMUT) sono trasduttori ultrasonici economici e miniaturizzati a base di silicio in grado di fungere da trasmettitori e ricevitori30,31,32,33,34. Per elaborare i segnali ricevuti dai sensori integrati, ci siamo ispirati alla neuroanatomia del barbagianni35,36,37. Il barbagianni Tyto alba è noto per le sue notevoli capacità di caccia notturna grazie ad un sistema di localizzazione uditivo molto efficiente. Per calcolare la posizione della preda, il sistema di localizzazione del barbagianni codifica il tempo di volo (ToF) quando le onde sonore della preda raggiungono ciascuna delle orecchie o dei recettori sonori del barbagianni. Data la distanza tra le orecchie, la differenza tra le due misurazioni ToF (Interaural Time Difference, ITD) permette di calcolare analiticamente la posizione azimutale del bersaglio. Sebbene i sistemi biologici siano poco adatti a risolvere equazioni algebriche, possono risolvere problemi di localizzazione in modo molto efficace. Il sistema nervoso del barbagianni utilizza un insieme di neuroni rilevatori di coincidenza (CD)35 (cioè neuroni in grado di rilevare correlazioni temporali tra picchi che si propagano verso il basso verso terminazioni eccitatorie convergenti)38,39 organizzati in grafici computazionali per risolvere problemi di posizionamento.
Precedenti ricerche hanno dimostrato che l'hardware complementare a semiconduttore di ossido di metallo (CMOS) e l'hardware neuromorfico basato su RRAM ispirato al collicolo inferiore ("corteccia uditiva") del barbagianni sono un metodo efficiente per calcolare la posizione utilizzando ITD13, 40, 41, 42, 43, 44, 45, 46. Tuttavia, il potenziale di sistemi neuromorfici completi che collegano segnali uditivi a grafici computazionali neuromorfici deve ancora essere dimostrato. Il problema principale è la variabilità intrinseca dei circuiti CMOS analogici, che influisce sulla precisione del rilevamento della corrispondenza. Recentemente sono state dimostrate implementazioni numeriche alternative delle stime ITD47. In questo articolo proponiamo di utilizzare la capacità della RRAM di modificare il valore di conduttanza in modo non volatile per contrastare la variabilità nei circuiti analogici. Abbiamo implementato un sistema sperimentale costituito da una membrana trasmittente pMUT operante ad una frequenza di 111,9 kHz, due membrane riceventi pMUT (sensori) che simulano le orecchie del barbagianni e una membrana . Abbiamo caratterizzato sperimentalmente il sistema di rilevamento pMUT e il grafico computazionale ITD basato su RRAM per testare il nostro sistema di localizzazione e valutarne la risoluzione angolare.
Confrontiamo il nostro metodo con un'implementazione digitale su un microcontrollore che esegue lo stesso compito di localizzazione utilizzando metodi convenzionali di beamforming o neuromorfici, nonché un gate array programmabile sul campo (FPGA) per la stima ITD proposta nel riferimento. 47. Questo confronto evidenzia l'efficienza energetica competitiva del sistema neuromorfico analogico basato su RRAM proposto.
Uno degli esempi più sorprendenti di un sistema di localizzazione degli oggetti accurato ed efficiente può essere trovato nel barbagianni35,37,48. Al tramonto e all'alba, il barbagianni (Tyto alba) si affida principalmente all'ascolto passivo, cercando attivamente piccole prede come arvicole o topi. Questi esperti uditivi possono localizzare i segnali uditivi della preda con una precisione sorprendente (circa 2°)35, come mostrato in Fig. 1a. I barbagianni deducono la posizione delle sorgenti sonore sul piano azimutale (orizzontale) dalla differenza nel tempo di volo in entrata (ITD) dalla sorgente sonora alle due orecchie. Il meccanismo computazionale ITD è stato proposto da Jeffress49,50 che si basa sulla geometria neurale e richiede due componenti chiave: un assone, una fibra nervosa di un neurone che agisce come una linea di ritardo e una serie di neuroni rilevatori di coincidenza organizzati in un sistema computazionale. grafico come mostrato nella Figura 1b. Il suono raggiunge l'orecchio con un ritardo temporale dipendente dall'azimut (ITD). Il suono viene quindi convertito in uno schema di picchi in ciascun orecchio. Gli assoni dell'orecchio sinistro e destro agiscono come linee di ritardo e convergono sui neuroni CD. Teoricamente, solo un neurone in una serie di neuroni abbinati riceverà input alla volta (dove il ritardo si annulla esattamente) e si attiverà al massimo (anche le cellule vicine si attiveranno, ma a una frequenza inferiore). L'attivazione di determinati neuroni codifica la posizione del bersaglio nello spazio senza convertire ulteriormente l'ITD in angoli. Questo concetto è riassunto nella Figura 1c: ad esempio, se il suono proviene dal lato destro quando il segnale di ingresso dall'orecchio destro percorre un percorso più lungo rispetto al percorso dall'orecchio sinistro, compensando il numero di ITD, ad esempio, quando il neurone 2 corrisponde. In altre parole, ciascun CD risponde ad un certo ITD (noto anche come ritardo ottimale) dovuto al ritardo assonale. Pertanto, il cervello converte le informazioni temporali in informazioni spaziali. Sono state trovate prove anatomiche di questo meccanismo37,51. I neuroni del macronucleo ad aggancio di fase immagazzinano informazioni temporali sui suoni in arrivo: come suggerisce il nome, si attivano in determinate fasi del segnale. I neuroni rilevatori di coincidenza del modello Jeffress si trovano nel nucleo laminare. Ricevono informazioni dai neuroni macronucleari, i cui assoni fungono da linee di ritardo. L'entità del ritardo fornito dalla linea di ritardo può essere spiegata dalla lunghezza dell'assone, nonché da un altro modello di mielinizzazione che modifica la velocità di conduzione. Ispirandoci al sistema uditivo del barbagianni, abbiamo sviluppato un sistema biomimetico per localizzare gli oggetti. Le due orecchie sono rappresentate da due ricevitori pMUT. La sorgente sonora è il trasmettitore pMUT situato tra loro (Fig. 1a), e il grafico computazionale è formato da una griglia di circuiti CD basati su RRAM (Fig. 1b, verde), che svolgono il ruolo di neuroni CD i cui input sono ritardati. attraverso il circuito, le linee di ritardo (blu) agiscono come assoni nella controparte biologica. Il sistema sensoriale proposto differisce nella frequenza operativa da quello del gufo, il cui sistema uditivo opera nell'intervallo 1-8 kHz, ma in questo lavoro vengono utilizzati sensori pMUT che operano a circa 117 kHz. La scelta di un trasduttore a ultrasuoni viene considerata secondo criteri tecnici e di ottimizzazione. Innanzitutto, limitare la larghezza di banda di ricezione a una singola frequenza migliora idealmente la precisione della misurazione e semplifica la fase di post-elaborazione. Inoltre, il funzionamento ad ultrasuoni ha il vantaggio che gli impulsi emessi non sono udibili e quindi non disturbano le persone, poiché la loro gamma uditiva è di ~20-20 kHz.
il barbagianni riceve onde sonore da un bersaglio, in questo caso una preda in movimento. Il tempo di volo (ToF) dell'onda sonora è diverso per ciascun orecchio (a meno che la preda non si trovi direttamente davanti al gufo). La linea tratteggiata mostra il percorso che fanno le onde sonore per raggiungere le orecchie del barbagianni. La preda può essere localizzata accuratamente sul piano orizzontale in base alla differenza di lunghezza tra i due percorsi acustici e alla corrispondente differenza di tempo interaurale (ITD) (immagine a sinistra ispirata al rif. 74, copyright 2002, Society for Neuroscience). Nel nostro sistema, il trasmettitore pMUT (blu scuro) genera onde sonore che rimbalzano sul bersaglio. Le onde ultrasoniche riflesse vengono ricevute da due ricevitori pMUT (verde chiaro) ed elaborate dal processore neuromorfico (a destra). b Un modello computazionale ITD (Jeffress) che descrive come i suoni che entrano nelle orecchie del barbagianni vengono prima codificati come picchi bloccati in fase nel nucleo grande (NM) e quindi utilizzando una griglia disposta geometricamente di neuroni rilevatori abbinati nel nucleo lamellare. Processing (Paesi Bassi) (a sinistra). Illustrazione di un grafico computazionale neuroITD che combina linee di ritardo e neuroni rilevatori di coincidenza, il sistema biosensore del gufo può essere modellato utilizzando circuiti neuromorfici basati su RRAM (a destra). c Schema del meccanismo principale di Jeffress, a causa della differenza nel ToF, le due orecchie ricevono stimoli sonori in momenti diversi e inviano assoni da entrambe le estremità al rilevatore. Gli assoni fanno parte di una serie di neuroni rilevatori di coincidenza (CD), ciascuno dei quali risponde selettivamente a input fortemente correlati al tempo. Di conseguenza, solo i CD i cui ingressi arrivano con la minima differenza temporale vengono eccitati al massimo (ITD è esattamente compensato). Il CD codificherà quindi la posizione angolare del bersaglio.
I trasduttori ultrasonici micromeccanici piezoelettrici sono trasduttori ultrasonici scalabili che possono essere integrati con la tecnologia CMOS avanzata31,32,33,52 e hanno una tensione iniziale e un consumo energetico inferiori rispetto ai trasduttori volumetrici tradizionali53. Nel nostro lavoro, il diametro della membrana è 880 µm e la frequenza di risonanza è distribuita nell'intervallo 110-117 kHz (Fig. 2a, vedere Metodi per i dettagli). In un lotto di dieci dispositivi di prova, il fattore di qualità medio era di circa 50 (rif. 31). La tecnologia ha raggiunto la maturità industriale e non è di per sé ispirata alla bioispirazione. La combinazione di informazioni provenienti da diversi film pMUT è una tecnica ben nota e le informazioni sull'angolo possono essere ottenute dai pMUT utilizzando, ad esempio, tecniche di beamforming31,54. Tuttavia, l'elaborazione del segnale richiesta per estrarre le informazioni sull'angolo non è adatta per misurazioni a bassa potenza. Il sistema proposto combina il circuito di preelaborazione dei dati neuromorfici pMUT con un grafico di calcolo neuromorfico basato su RRAM ispirato al modello Jeffress (Figura 2c), fornendo una soluzione hardware alternativa efficiente dal punto di vista energetico e con risorse limitate. Abbiamo eseguito un esperimento in cui due sensori pMUT sono stati posizionati a circa 10 cm di distanza l'uno dall'altro per sfruttare i diversi suoni ToF ricevuti dalle due membrane riceventi. Un pMUT che funge da trasmettitore si trova tra i ricevitori. Il bersaglio era una piastra in PVC larga 12 cm, posizionata ad una distanza D davanti al dispositivo pMUT (Fig. 2b). Il ricevitore registra il suono riflesso dall'oggetto e reagisce il più possibile durante il passaggio dell'onda sonora. Ripeti l'esperimento modificando la posizione dell'oggetto, determinata dalla distanza D e dall'angolo θ. Ispirato da un collegamento. 55, proponiamo una pre-elaborazione neuromorfica dei segnali grezzi pMUT per convertire le onde riflesse in picchi per inserire un grafico computazionale neuromorfico. Il ToF corrispondente all'ampiezza del picco viene estratto da ciascuno dei due canali e codificato come temporizzazione esatta dei singoli picchi. Nella fig. 2c mostra il circuito richiesto per interfacciare il sensore pMUT con un grafico computazionale basato su RRAM: per ciascuno dei due ricevitori pMUT, il segnale grezzo viene filtrato passa banda per attenuare, rettificare e quindi passato all'integratore che perde in modalità di superamento. la soglia dinamica (Fig. 2d) crea un neurone di evento di uscita (spike) e di attivazione (LIF): il tempo di picco di uscita codifica il tempo di volo rilevato. La soglia LIF è calibrata rispetto alla risposta pMUT, riducendo così la variabilità del pMUT da dispositivo a dispositivo. Con questo approccio, invece di archiviare l'intera onda sonora in memoria ed elaborarla successivamente, generiamo semplicemente un picco corrispondente al ToF dell'onda sonora, che costituisce l'input per il grafico computazionale della memoria resistiva. I picchi vengono inviati direttamente alle linee di ritardo e parallelizzati con i moduli di rilevamento della corrispondenza nei grafici di calcolo neuromorfici. Poiché vengono inviati alle porte dei transistor, non è richiesto alcun circuito di amplificazione aggiuntivo (vedere la Figura 4 supplementare per i dettagli). Per valutare la precisione angolare di localizzazione fornita da pMUT e il metodo di elaborazione del segnale proposto, abbiamo misurato l'ITD (ovvero la differenza di tempo tra gli eventi di picco generati da due ricevitori) al variare della distanza e dell'angolo dell'oggetto. L'analisi ITD è stata quindi convertita in angoli (vedi Metodi) e tracciata rispetto alla posizione dell'oggetto: l'incertezza nell'ITD misurato è aumentata con la distanza e l'angolo rispetto all'oggetto (Fig. 2e,f). Il problema principale è il rapporto picco-rumore (PNR) nella risposta pMUT. Più lontano è l'oggetto, più basso è il segnale acustico, riducendo così il PNR (Fig. 2f, linea verde). Una diminuzione del PNR porta ad un aumento dell’incertezza nella stima dell’ITD, con conseguente aumento dell’accuratezza della localizzazione (Fig. 2f, linea blu). Per un oggetto a una distanza di 50 cm dal trasmettitore, la precisione angolare del sistema è di circa 10°. Questa limitazione imposta dalle caratteristiche del sensore può essere migliorata. Ad esempio, è possibile aumentare la pressione inviata dall'emettitore, aumentando così la tensione che pilota la membrana pMUT. Un'altra soluzione per amplificare il segnale trasmesso è collegare più trasmettitori 56. Queste soluzioni aumenteranno il campo di rilevamento a scapito di maggiori costi energetici. Ulteriori miglioramenti possono essere apportati sul lato ricevente. Il rumore di fondo del ricevitore del pMUT può essere significativamente ridotto migliorando la connessione tra il pMUT e l'amplificatore del primo stadio, che attualmente viene eseguita con connessioni cablate e cavi RJ45.
a Immagine di un cristallo pMUT con sei membrane da 880 µm integrate con passo di 1,5 mm. b Schema della configurazione di misurazione. Il bersaglio si trova nella posizione azimutale θ e alla distanza D. Il trasmettitore pMUT genera un segnale a 117,6 kHz che rimbalza sul bersaglio e raggiunge due ricevitori pMUT con diverso tempo di volo (ToF). Questa differenza, definita come differenza temporale interaurale (ITD), codifica la posizione di un oggetto e può essere stimata stimando la risposta di picco dei due sensori del ricevitore. c Schema delle fasi di pre-elaborazione per convertire il segnale pMUT grezzo in sequenze di picchi (ovvero input per il grafico di calcolo neuromorfico). I sensori pMUT e i grafici computazionali neuromorfici sono stati fabbricati e testati e la pre-elaborazione neuromorfica si basa sulla simulazione software. d Risposta della membrana pMUT alla ricezione di un segnale e alla sua trasformazione in un dominio di picco. e Precisione angolare della localizzazione sperimentale in funzione dell'angolo dell'oggetto (Θ) e della distanza (D) dall'oggetto target. Il metodo di estrazione ITD richiede una risoluzione angolare minima di circa 4°C. f Precisione angolare (linea blu) e corrispondente rapporto picco-rumore (linea verde) rispetto alla distanza dell'oggetto per Θ = 0.
La memoria resistiva memorizza le informazioni in uno stato conduttivo non volatile. Il principio base del metodo è che la modificazione del materiale a livello atomico provoca un cambiamento nella sua conduttività elettrica57. Qui utilizziamo una memoria resistiva a base di ossido costituita da uno strato di 5 nm di biossido di afnio inserito tra gli elettrodi di titanio superiore e inferiore e di nitruro di titanio. La conduttività dei dispositivi RRAM può essere modificata applicando una forma d'onda di corrente/tensione che crea o rompe filamenti conduttivi di posti vacanti di ossigeno tra gli elettrodi. Abbiamo co-integrato tali dispositivi58 in un processo CMOS standard da 130 nm per creare un circuito neuromorfico riconfigurabile fabbricato che implementa un rilevatore di coincidenza e un circuito di linea di ritardo (Fig. 3a). La natura analogica e non volatile del dispositivo, combinata con la natura guidata dagli eventi del circuito neuromorfico, riduce al minimo il consumo energetico. Il circuito ha una funzione di accensione/spegnimento istantaneo: funziona immediatamente dopo l'accensione, consentendo lo spegnimento completo dell'alimentazione quando il circuito è inattivo. Gli elementi principali dello schema proposto sono mostrati in fig. 3b. È costituito da N strutture parallele a singolo resistore e singolo transistor (1T1R) che codificano i pesi sinaptici da cui vengono prelevate correnti ponderate, iniettate nella sinapsi comune di un integratore differenziale di coppia (DPI)59 e infine iniettate nella sinapsi con integrazione e perdita. neurone 60 attivato (LIF) (vedere Metodi per i dettagli). I surge in ingresso vengono applicati al gate della struttura 1T1R sotto forma di una sequenza di impulsi di tensione con durata dell'ordine di centinaia di nanosecondi. La memoria resistiva può essere posizionata in uno stato di alta conduttività (HCS) applicando un riferimento positivo esterno a Vtop quando Vbottom è messo a terra e reimpostata in uno stato di bassa conduttività (LCS) applicando una tensione positiva a Vbottom quando Vtop è messo a terra. Il valore medio di HCS può essere controllato limitando la corrente di programmazione (conformità) del SET (ICC) mediante la tensione gate-source del transistor in serie (Fig. 3c). Le funzioni della RRAM nel circuito sono duplici: dirigono e ponderano gli impulsi in ingresso.
Immagine al microscopio elettronico a scansione (SEM) di un dispositivo RRAM HfO2 1T1R blu integrato nella tecnologia CMOS da 130 nm con transistor selettori (larghi 650 nm) in verde. b Elementi costitutivi di base dello schema neuromorfico proposto. Gli impulsi di tensione di ingresso (picchi) Vin0 e Vin1 consumano corrente Iweight, che è proporzionale agli stati di conduzione G0 e G1 della struttura 1T1R. Questa corrente viene iniettata nelle sinapsi DPI ed eccita i neuroni LIF. Le RRAM G0 e G1 sono installate rispettivamente in HCS e LCS. c Funzione di densità di conduttanza cumulativa per un gruppo di dispositivi RRAM da 16K in funzione dell'adattamento di corrente ICC, che controlla efficacemente il livello di conduzione. d Misurazioni del circuito in (a) che mostrano che G1 (nell'LCS) blocca effettivamente l'input da Vin1 (verde), e in effetti la tensione della membrana del neurone di output risponde solo all'input blu da Vin0. La RRAM determina effettivamente le connessioni nel circuito. e Misura del circuito in (b) che mostra l'effetto del valore di conduttanza G0 sulla tensione di membrana Vmem dopo l'applicazione di un impulso di tensione Vin0. Maggiore è la conduttanza, più forte è la risposta: pertanto, il dispositivo RRAM implementa la ponderazione della connessione I/O. Sono state effettuate misurazioni sul circuito e hanno dimostrato la duplice funzione della RRAM, instradamento e ponderazione degli impulsi di ingresso.
Innanzitutto, poiché esistono due stati di conduzione di base (HCS e LCS), le RRAM possono bloccare o perdere gli impulsi di ingresso quando si trovano rispettivamente negli stati LCS o HCS. Di conseguenza, la RRAM determina effettivamente le connessioni nel circuito. Questa è la base per poter riconfigurare l’architettura. Per dimostrarlo, descriveremo un'implementazione circuitale fabbricata del blocco circuitale in Fig. 3b. La RRAM corrispondente a G0 è programmata nell'HCS e la seconda RRAM G1 è programmata nell'LCS. Gli impulsi di ingresso vengono applicati sia a Vin0 che a Vin1. Gli effetti di due sequenze di impulsi di ingresso sono stati analizzati nei neuroni di uscita raccogliendo la tensione della membrana neuronale e il segnale di uscita utilizzando un oscilloscopio. L'esperimento ha avuto successo quando solo il dispositivo HCS (G0) è stato collegato all'impulso del neurone per stimolare la tensione della membrana. Ciò è dimostrato nella Figura 3d, dove il treno di impulsi blu provoca l'accumulo di tensione della membrana sul condensatore a membrana, mentre il treno di impulsi verde mantiene costante la tensione della membrana.
La seconda importante funzione della RRAM è l'implementazione dei pesi di connessione. Utilizzando la regolazione della conduttanza analogica della RRAM, le connessioni I/O possono essere ponderate di conseguenza. Nel secondo esperimento, il dispositivo G0 è stato programmato su diversi livelli di HCS e l'impulso di ingresso è stato applicato all'ingresso VIn0. L'impulso in ingresso assorbe una corrente (Iweight) dal dispositivo, che è proporzionale alla conduttanza e alla corrispondente caduta di potenziale Vtop − Vbot. Questa corrente ponderata viene quindi iniettata nelle sinapsi DPI e nei neuroni di uscita LIF. La tensione di membrana dei neuroni di uscita è stata registrata utilizzando un oscilloscopio e visualizzata in Fig. 3d. Il picco di tensione della membrana neuronale in risposta ad un singolo impulso di ingresso è proporzionale alla conduttanza della memoria resistiva, dimostrando che la RRAM può essere utilizzata come elemento programmabile di peso sinaptico. Questi due test preliminari mostrano che la piattaforma neuromorfica proposta basata su RRAM è in grado di implementare gli elementi base del meccanismo di Jeffress di base, vale a dire la linea di ritardo e il circuito rilevatore di coincidenza. La piattaforma del circuito viene costruita impilando blocchi successivi fianco a fianco, come i blocchi nella Figura 3b, e collegando le loro porte a una linea di ingresso comune. Abbiamo progettato, fabbricato e testato una piattaforma neuromorfica composta da due neuroni di output che ricevono due input (Fig. 4a). Lo schema del circuito è mostrato nella Figura 4b. La matrice RRAM 2 × 2 superiore consente di indirizzare gli impulsi di ingresso a due neuroni di uscita, mentre la matrice 2 × 2 inferiore consente connessioni ricorrenti di due neuroni (N0, N1). Dimostriamo che questa piattaforma può essere utilizzata con una configurazione di linea di ritardo e due diverse funzioni di rilevatore di coincidenza, come mostrato dalle misurazioni sperimentali in Fig. 4c-e.
Schema circuitale formato da due neuroni di uscita N0 e N1 che ricevono due ingressi 0 e 1. I quattro dispositivi superiori dell'array definiscono le connessioni sinaptiche dall'ingresso all'uscita e le quattro celle inferiori definiscono le connessioni ricorrenti tra i neuroni. Le RRAM colorate rappresentano i dispositivi configurati nell'HCS sulla destra: i dispositivi nell'HCS consentono le connessioni e rappresentano i pesi, mentre i dispositivi nell'LCS bloccano gli impulsi di ingresso e disabilitano le connessioni alle uscite. b Schema del circuito (a) con otto moduli RRAM evidenziati in blu. c Le linee di ritardo si formano semplicemente utilizzando la dinamica delle sinapsi DPI e dei neuroni LIF. La RRAM verde è impostata su una conduttanza sufficientemente alta da poter indurre un glitch sull'uscita dopo il ritardo di ingresso Δt. d Illustrazione schematica del rilevamento CD insensibile alla direzione di segnali dipendenti dal tempo. Il neurone di uscita 1, N1, si attiva sugli ingressi 0 e 1 con un breve ritardo. e Circuito CD sensibile alla direzione, un circuito che rileva quando l'ingresso 1 si avvicina all'ingresso 0 e arriva dopo l'ingresso 0. L'uscita del circuito è rappresentata dal neurone 1 (N1).
La linea di ritardo (Figura 4c) utilizza semplicemente il comportamento dinamico delle sinapsi DPI e dei neuroni LIF per riprodurre il picco di input da Vin1 a Vout1 ritardando Tdel. Solo la RRAM G3 collegata a Vin1 e Vout1 è programmata in HCS, il resto delle RRAM sono programmate in LCS. Il dispositivo G3 è stato programmato per 92,6 µs per garantire che ciascun impulso di ingresso aumenti la tensione di membrana del neurone di uscita in modo sufficiente da raggiungere la soglia e generare un impulso di uscita ritardato. Il ritardo Tdel è determinato dalle costanti di tempo sinaptica e neurale. I rilevatori di coincidenza rilevano la presenza di segnali di ingresso correlati temporalmente ma distribuiti spazialmente. Il CD insensibile alla direzione si basa su input individuali che convergono verso un neurone di output comune (Figura 4d). Le due RRAM che collegano Vin0 e Vin1 rispettivamente a Vout1, G2 e G4 sono programmate per l'alta conduzione. L'arrivo simultaneo di picchi su Vin0 e Vin1 aumenta la tensione della membrana del neurone N1 al di sopra della soglia richiesta per generare il picco di uscita. Se i due ingressi sono troppo distanti nel tempo, la carica sulla tensione di membrana accumulata dal primo ingresso potrebbe avere il tempo di decadere, impedendo al potenziale di membrana N1 di raggiungere il valore di soglia. G1 e G2 sono programmati per circa 65 µs, il che garantisce che un singolo picco di ingresso non aumenti la tensione della membrana abbastanza da causare un picco di uscita. Il rilevamento della coincidenza tra eventi distribuiti nello spazio e nel tempo è un'operazione fondamentale utilizzata in un'ampia gamma di attività di rilevamento come l'elusione degli ostacoli basata sul flusso ottico e la localizzazione della sorgente sonora. Pertanto, il calcolo di CD sensibili e insensibili alla direzione è un elemento fondamentale per la costruzione di sistemi di localizzazione visiva e audio. Come mostrato dalle caratteristiche delle costanti di tempo (vedere Figura 2 supplementare), il circuito proposto implementa un intervallo adeguato di scale temporali di quattro ordini di grandezza. Pertanto, può soddisfare contemporaneamente i requisiti dei sistemi visivi e sonori. Il CD direzionale è un circuito sensibile all'ordine spaziale di arrivo degli impulsi: da destra a sinistra e viceversa. È un elemento fondamentale nella rete di rilevamento del movimento di base del sistema visivo della Drosophila, utilizzato per calcolare le direzioni del movimento e rilevare le collisioni62. Per ottenere un CD sensibile alla direzione, due input devono essere diretti a due neuroni diversi (N0, N1) e tra loro deve essere stabilita una connessione direzionale (Fig. 4e). Quando viene ricevuto il primo input, NO reagisce aumentando la tensione attraverso la sua membrana al di sopra del valore di soglia ed emettendo un picco. Questo evento di uscita, a sua volta, attiva N1 grazie alla connessione direzionale evidenziata in verde. Se un evento di ingresso Vin1 arriva ed eccita N1 mentre la sua tensione di membrana è ancora alta, N1 genera un evento di uscita che indica che è stata trovata una corrispondenza tra i due ingressi. Le connessioni direzionali consentono a N1 di emettere un'uscita solo se l'ingresso 1 arriva dopo l'ingresso 0. G0, G3 e G7 sono programmati rispettivamente su 73,5 µS, 67,3 µS e 40,2 µS, garantendo che un singolo picco sull'ingresso Vin0 provochi un ritardo picco di uscita, mentre il potenziale di membrana di N1 raggiunge la soglia solo quando entrambi i burst di ingresso arrivano in sincronia. .
La variabilità è una fonte di imperfezione nei sistemi neuromorfici modellati63,64,65. Ciò porta ad un comportamento eterogeneo di neuroni e sinapsi. Esempi di tali svantaggi includono una variabilità del 30% (deviazione standard media) nel guadagno di ingresso, nella costante di tempo e nel periodo refrattario, per citarne solo alcuni (vedere Metodi). Questo problema è ancora più pronunciato quando più circuiti neurali sono collegati insieme, come un CD sensibile all'orientamento costituito da due neuroni. Per funzionare correttamente, le costanti di tempo di guadagno e decadimento dei due neuroni dovrebbero essere il più simili possibile. Ad esempio, una grande differenza nel guadagno di ingresso può far sì che un neurone reagisca in modo eccessivo a un impulso di ingresso mentre l’altro neurone risponde a malapena. Nella fig. La Figura 5a mostra che i neuroni selezionati casualmente rispondono in modo diverso allo stesso impulso di ingresso. Questa variabilità neurale è rilevante, ad esempio, per la funzione dei CD sensibili alla direzione. Nello schema mostrato in fig. 5b, c, il guadagno in ingresso del neurone 1 è molto più alto di quello del neurone 0. Pertanto, il neurone 0 richiede tre impulsi in ingresso (invece di 1) per raggiungere la soglia e il neurone 1, come previsto, necessita di due eventi in ingresso. L'implementazione della plasticità biomimetica dipendente dal tempo (STDP) è un modo possibile per mitigare l'impatto di circuiti neurali e sinaptici imprecisi e lenti sulle prestazioni del sistema43. Qui proponiamo di utilizzare il comportamento plastico della memoria resistiva come mezzo per influenzare il potenziamento dell'input neurale e ridurre gli effetti della variabilità nei circuiti neuromorfici. Come mostrato in fig. 4e, i livelli di conduttanza associati alla massa sinaptica RRAM modulavano efficacemente la corrispondente risposta alla tensione della membrana neurale. Utilizziamo una strategia di programmazione RRAM iterativa. Per un dato ingresso, i valori di conduttanza dei pesi sinaptici vengono riprogrammati fino ad ottenere il comportamento target del circuito (vedi Metodi).
a Misurazioni sperimentali della risposta di nove neuroni individuali selezionati casualmente allo stesso impulso di ingresso. La risposta varia tra le popolazioni, influenzando il guadagno di ingresso e la costante di tempo. b Misurazioni sperimentali dell'influenza dei neuroni sulla variabilità dei neuroni che influenzano il CD sensibile alla direzione. I due neuroni di output CD sensibili alla direzione rispondono in modo diverso agli stimoli di input a causa della variabilità da neurone a neurone. Il neurone 0 ha un guadagno di ingresso inferiore rispetto al neurone 1, quindi sono necessari tre impulsi di ingresso (invece di 1) per creare un picco di uscita. Come previsto, il neurone 1 raggiunge la soglia con due eventi di input. Se l'ingresso 1 arriva Δt = 50 µs dopo l'attivazione del neurone 0, CD rimane silenzioso perché Δt è maggiore della costante di tempo del neurone 1 (circa 22 µs). c viene ridotto di Δt = 20 µs, in modo che l'input 1 raggiunga il picco quando l'attivazione del neurone 1 è ancora elevata, determinando il rilevamento simultaneo di due eventi di input.
I due elementi utilizzati nella colonna di calcolo dell'ITD sono la linea di ritardo e il CD insensibile alla direzione. Entrambi i circuiti richiedono una calibrazione precisa per garantire buone prestazioni di posizionamento dell'oggetto. La linea di ritardo deve fornire una versione ritardata con precisione del picco di ingresso (Fig. 6a) e il CD deve essere attivato solo quando l'ingresso rientra nell'intervallo di rilevamento target. Per la linea di ritardo, i pesi sinaptici delle connessioni di ingresso (G3 in Fig. 4a) sono stati riprogrammati fino all'ottenimento del ritardo target. Imposta una tolleranza attorno al ritardo target per interrompere il programma: minore è la tolleranza, più difficile sarà impostare con successo la linea di ritardo. Nella fig. La Figura 6b mostra i risultati del processo di calibrazione della linea di ritardo: si può vedere che lo schema proposto può fornire esattamente tutti i ritardi richiesti nello schema di progettazione (da 10 a 300 μs). Il numero massimo di iterazioni di calibrazione influisce sulla qualità del processo di calibrazione: 200 iterazioni possono ridurre l'errore a meno del 5%. Un'iterazione di calibrazione corrisponde a un'operazione di set/reset di una cella RRAM. Il processo di ottimizzazione è fondamentale anche per migliorare la precisione del rilevamento dell'evento di chiusura istantanea del modulo CD. Sono state necessarie dieci iterazioni di calibrazione per ottenere un vero tasso positivo (ovvero il tasso di eventi correttamente identificati come rilevanti) superiore al 95% (linea blu nella Figura 6c). Tuttavia, il processo di ottimizzazione non ha influito sugli eventi falsi positivi (ovvero sulla frequenza degli eventi erroneamente identificati come rilevanti). Un altro metodo osservato nei sistemi biologici per superare i vincoli temporali dei percorsi ad attivazione rapida è la ridondanza (ovvero, molte copie dello stesso oggetto vengono utilizzate per eseguire una determinata funzione). Ispirandoci alla biologia66, abbiamo posizionato diversi circuiti CD in ciascun modulo CD tra le due linee di ritardo per ridurre l'impatto dei falsi positivi. Come mostrato in fig. 6c (linea verde), posizionando tre elementi CD in ciascun modulo CD è possibile ridurre il tasso di falsi allarmi a meno di 10–2.
a Effetto della variabilità neuronale sui circuiti delle linee di ritardo. b I circuiti della linea di ritardo possono essere ridotti a ritardi elevati impostando le costanti di tempo dei corrispondenti neuroni LIF e delle sinapsi DPI su valori elevati. Aumentando il numero di iterazioni della procedura di calibrazione della RRAM ha permesso di migliorare significativamente la precisione del ritardo target: 200 iterazioni hanno ridotto l'errore a meno del 5%. Una iterazione corrisponde ad un'operazione di SET/RESET su una cella RRAM. Ciascun modulo CD nel modello c Jeffress può essere implementato utilizzando N elementi CD paralleli per una maggiore flessibilità rispetto ai guasti del sistema. d Un numero maggiore di iterazioni di calibrazione della RRAM aumenta il tasso di veri positivi (linea blu), mentre il tasso di falsi positivi è indipendente dal numero di iterazioni (linea verde). Posizionando più elementi CD in parallelo si evita il falso rilevamento delle corrispondenze dei moduli CD.
Valutiamo ora le prestazioni e il consumo energetico del sistema di localizzazione degli oggetti integrato end-to-end mostrato nella Figura 2 utilizzando misurazioni delle proprietà acustiche del sensore pMUT, del CD e dei circuiti della linea di ritardo che compongono il grafico di calcolo neuromorfico. Modello Jeffress (Fig. 1a). Per quanto riguarda il grafico di calcolo neuromorfico, maggiore è il numero di moduli CD, migliore è la risoluzione angolare, ma anche maggiore è l'energia del sistema (Fig. 7a). È possibile raggiungere un compromesso confrontando l’accuratezza dei singoli componenti (sensori pMUT, neuroni e circuiti sinaptici) con l’accuratezza dell’intero sistema. La risoluzione della linea di ritardo è limitata dalle costanti di tempo delle sinapsi e dei neuroni simulati, che nel nostro schema superano i 10 µs, che corrisponde ad una risoluzione angolare di 4° (vedi Metodi). Nodi più avanzati con tecnologia CMOS consentiranno la progettazione di circuiti neurali e sinaptici con costanti di tempo inferiori, con conseguente maggiore precisione degli elementi della linea di ritardo. Tuttavia, nel nostro sistema, la precisione è limitata dall'errore pMUT nella stima della posizione angolare, ovvero 10° (linea orizzontale blu in Fig. 7a). Abbiamo fissato il numero di moduli CD a 40, che corrisponde ad una risoluzione angolare di circa 4°, cioè alla precisione angolare del grafico di calcolo (linea orizzontale azzurra in Fig. 7a). A livello di sistema ciò garantisce una risoluzione di 4° e una precisione di 10° per oggetti che si trovano a 50 cm davanti al sistema di sensori. Questo valore è paragonabile ai sistemi di localizzazione del suono neuromorfici riportati nel rif. 67. Un confronto tra il sistema proposto e lo stato dell'arte è disponibile nella Tabella supplementare 1. L'aggiunta di ulteriori pMUT, l'aumento del livello del segnale acustico e la riduzione del rumore elettronico sono possibili modi per migliorare ulteriormente la precisione della localizzazione. ) è stimato a 9,7. nz. 55. Date 40 unità CD sul grafico computazionale, la simulazione SPICE ha stimato che l'energia per operazione (cioè l'energia di posizionamento dell'oggetto) sia di 21,6 nJ. Il sistema neuromorfico si attiva solo quando arriva un evento in ingresso, cioè quando un'onda acustica raggiunge un qualsiasi ricevitore pMUT e supera la soglia di rilevazione, altrimenti rimane inattivo. Ciò evita un consumo energetico non necessario in assenza di segnale in ingresso. Considerando una frequenza delle operazioni di localizzazione di 100 Hz e un periodo di attivazione di 300 µs per operazione (il massimo ITD possibile), il consumo energetico del grafico di calcolo neuromorfico è di 61,7 nW. Con la pre-elaborazione neuromorfica applicata a ciascun ricevitore pMUT, il consumo energetico dell'intero sistema raggiunge 81,6 nW. Per comprendere l'efficienza energetica dell'approccio neuromorfico proposto rispetto all'hardware convenzionale, abbiamo confrontato questo numero con l'energia richiesta per eseguire lo stesso compito su un moderno microcontrollore a bassa potenza utilizzando il beamforming68 neuromorfico o convenzionale. L'approccio neuromorfico considera uno stadio di convertitore analogico-digitale (ADC), seguito da un filtro passa banda e uno stadio di estrazione dell'inviluppo (metodo Teeger-Kaiser). Infine, viene eseguita un'operazione di soglia per estrarre il ToF. Abbiamo omesso il calcolo dell'ITD basato su ToF e la conversione in posizione angolare stimata poiché ciò avviene una volta per ogni misurazione (vedi Metodi). Supponendo una frequenza di campionamento di 250 kHz su entrambi i canali (ricevitori pMUT), 18 operazioni di filtro passa banda, 3 operazioni di estrazione dell'inviluppo e 1 operazione di soglia per campione, il consumo energetico totale è stimato a 245 microwatt. Questo utilizza la modalità a basso consumo69 del microcontrollore, che si accende quando gli algoritmi non sono in esecuzione, riducendo il consumo energetico a 10,8 µW. Il consumo energetico della soluzione di elaborazione del segnale beamforming proposta nel riferimento. 31, con 5 ricevitori pMUT e 11 raggi distribuiti uniformemente nel piano azimutale [-50°, +50°], è di 11,71 mW (vedere la sezione Metodi per i dettagli). Inoltre, riportiamo il consumo energetico di un codificatore di differenza di tempo (TDE) basato su FPGA47 stimato in 1,5 mW in sostituzione del modello Jeffress per la localizzazione degli oggetti. Sulla base di queste stime, l'approccio neuromorfico proposto riduce il consumo energetico di cinque ordini di grandezza rispetto a un microcontrollore che utilizza tecniche classiche di beamforming per le operazioni di localizzazione degli oggetti. L'adozione di un approccio neuromorfico all'elaborazione del segnale su un microcontrollore classico riduce il consumo energetico di circa due ordini di grandezza. L'efficacia del sistema proposto può essere spiegata dalla combinazione di un circuito analogico asincrono con memoria resistiva in grado di eseguire calcoli in memoria e dalla mancanza di conversione analogico-digitale richiesta per percepire i segnali.
a Risoluzione angolare (blu) e consumo energetico (verde) dell'operazione di localizzazione in base al numero di moduli CD. La barra orizzontale blu scuro rappresenta la precisione angolare del PMUT e la barra orizzontale azzurra rappresenta la precisione angolare del grafico computazionale neuromorfico. b Consumo energetico del sistema proposto e confronto con le due implementazioni del microcontrollore discusse e l'implementazione digitale dell'FPGA Time Difference Encoder (TDE)47.
Per ridurre al minimo il consumo energetico del sistema di localizzazione del target, abbiamo concepito, progettato e implementato un efficiente circuito neuromorfico basato su RRAM basato sugli eventi che elabora le informazioni sul segnale generate dai sensori integrati per calcolare la posizione dell'oggetto target in tempo reale. tempo. . Mentre i metodi di elaborazione tradizionali campionano continuamente i segnali rilevati ed eseguono calcoli per estrarre informazioni utili, la soluzione neuromorfica proposta esegue i calcoli in modo asincrono quando arrivano informazioni utili, massimizzando l’efficienza energetica del sistema di cinque ordini di grandezza. Inoltre, evidenziamo la flessibilità dei circuiti neuromorfici basati su RRAM. La capacità della RRAM di modificare la conduttanza in modo non volatile (plasticità) compensa la variabilità intrinseca dei circuiti sinaptici e neurali dei DPI analogici a bassissima potenza. Ciò rende questo circuito basato su RRAM versatile e potente. Il nostro obiettivo non è estrarre funzioni o modelli complessi dai segnali, ma localizzare gli oggetti in tempo reale. Il nostro sistema può anche comprimere in modo efficiente il segnale ed eventualmente inviarlo a ulteriori fasi di elaborazione per prendere decisioni più complesse quando necessario. Nel contesto delle applicazioni di localizzazione, la nostra fase di preelaborazione neuromorfica può fornire informazioni sulla posizione degli oggetti. Queste informazioni possono essere utilizzate, ad esempio, per il rilevamento del movimento o il riconoscimento dei gesti. Sottolineiamo l'importanza di combinare sensori a bassissimo consumo come i pMUT con l'elettronica a bassissimo consumo. Per questo, gli approcci neuromorfici sono stati fondamentali poiché ci hanno portato a sviluppare nuove implementazioni circuitali di metodi computazionali ispirati alla biologia come il modello di Jeffress. Nel contesto delle applicazioni di fusione dei sensori, il nostro sistema può essere combinato con diversi sensori basati su eventi per ottenere informazioni più accurate. Sebbene i gufi siano eccellenti nel trovare le prede nell'oscurità, hanno una vista eccellente ed eseguono una ricerca combinata uditiva e visiva prima di catturare la preda70. Quando un particolare neurone uditivo si attiva, il gufo riceve le informazioni necessarie per determinare in quale direzione iniziare la ricerca visiva, concentrando così la sua attenzione su una piccola parte della scena visiva. Una combinazione di sensori visivi (fotocamera DVS) e un sensore di ascolto proposto (basato su pMUT) dovrebbe essere esplorata per lo sviluppo di futuri agenti autonomi.
Il sensore pMUT è posizionato su un PCB con due ricevitori distanti circa 10 cm l'uno dall'altro e il trasmettitore è posizionato tra i ricevitori. In questo lavoro, ciascuna membrana è una struttura bimorfa sospesa costituita da due strati di nitruro di alluminio piezoelettrico (AlN) di 800 nm di spessore inseriti tra tre strati di molibdeno (Mo) di 200 nm di spessore e rivestiti con uno strato di 200 nm di spessore. lo strato SiN passivante superiore come descritto nel riferimento. 71. Gli elettrodi interno ed esterno vengono applicati agli strati inferiore e superiore di molibdeno, mentre l'elettrodo centrale di molibdeno non è modellato e utilizzato come massa, risultando in una membrana con quattro paia di elettrodi.
Questa architettura consente l'uso di una deformazione comune della membrana, con conseguente miglioramento della sensibilità di trasmissione e ricezione. Un pMUT di questo tipo mostra tipicamente una sensibilità di eccitazione di 700 nm/V come emettitore, fornendo una pressione superficiale di 270 Pa/V. Come ricevitore, una pellicola pMUT presenta una sensibilità al cortocircuito di 15 nA/Pa, che è direttamente correlata al coefficiente piezoelettrico di AlN. La variabilità tecnica della tensione nello strato AlN porta ad una variazione della frequenza di risonanza, che può essere compensata applicando una polarizzazione continua al pMUT. La sensibilità CC è stata misurata a 0,5 kHz/V. Per la caratterizzazione acustica viene utilizzato un microfono davanti al pMUT.
Per misurare l’impulso dell’eco, abbiamo posizionato davanti al pMUT una piastra rettangolare con un’area di circa 50 cm2 per riflettere le onde sonore emesse. Sia la distanza tra le piastre che l'angolo rispetto al piano pMUT sono controllati mediante appositi supporti. Una sorgente di tensione Tectronix CPX400DP polarizza tre membrane pMUT, sintonizzando la frequenza di risonanza su 111,9 kHz31, mentre i trasmettitori sono guidati da un generatore di impulsi Tectronix AFG 3102 sintonizzato sulla frequenza di risonanza (111,9 kHz) e un duty cycle di 0,01. Le correnti lette dalle quattro porte di uscita di ciascun ricevitore pMUT vengono convertite in tensioni utilizzando una speciale architettura differenziale di corrente e tensione, e i segnali risultanti vengono digitalizzati dal sistema di acquisizione dati Spektrum. Il limite di rilevamento è stato caratterizzato dall'acquisizione del segnale pMUT in diverse condizioni: abbiamo spostato il riflettore a diverse distanze [30, 40, 50, 60, 80, 100] cm e modificato l'angolo di supporto del pMUT ([0, 20, 40] o ) La Figura 2b mostra la risoluzione temporale del rilevamento ITD in base alla corrispondente posizione angolare in gradi.
Questo articolo utilizza due diversi circuiti RRAM standard. Il primo è un array di 16.384 (16.000) dispositivi (128 × 128 dispositivi) in una configurazione 1T1R con un transistor e un resistore. Il secondo chip è la piattaforma neuromorfica mostrata in Fig. 4a. La cella RRAM è costituita da una pellicola di HfO2 spessa 5 nm incorporata in uno stack TiN/HfO2/Ti/TiN. Lo stack RRAM è integrato nel back-of-line (BEOL) del processo CMOS standard da 130 nm. I circuiti neuromorfici basati su RRAM rappresentano una sfida progettuale per i sistemi elettronici completamente analogici in cui i dispositivi RRAM coesistono con la tradizionale tecnologia CMOS. In particolare, lo stato di conduzione del dispositivo RRAM deve essere letto ed utilizzato come variabile funzione per il sistema. A tal fine, è stato progettato, fabbricato e testato un circuito che legge la corrente dal dispositivo quando viene ricevuto un impulso in ingresso e utilizza questa corrente per ponderare la risposta di una sinapsi di integratore differenziale di coppia (DPI). Questo circuito è mostrato nella Figura 3a, che rappresenta gli elementi costitutivi di base della piattaforma neuromorfica nella Figura 4a. Un impulso in ingresso attiva il gate del dispositivo 1T1R, inducendo una corrente attraverso la RRAM proporzionale alla conduttanza G del dispositivo (Iweight = G(Vtop – Vx)). L'ingresso invertente del circuito dell'amplificatore operazionale (amplificatore operazionale) ha una tensione di polarizzazione CC costante Vtop. Il feedback negativo dell'amplificatore operazionale fornirà Vx = Vtop fornendo uguale corrente da M1. L'attuale Iweight recuperato dal dispositivo viene iniettato nella sinapsi DPI. Una corrente più forte si tradurrà in una maggiore depolarizzazione, quindi la conduttanza RRAM implementa efficacemente i pesi sinaptici. Questa corrente sinaptica esponenziale viene iniettata attraverso il condensatore di membrana dei neuroni Leaky Integration and Excitation (LIF), dove viene integrata come tensione. Se la tensione di soglia della membrana (la tensione di commutazione dell'inverter) viene superata, la parte di uscita del neurone viene attivata, producendo un picco di uscita. Questo impulso ritorna e devia a terra il condensatore della membrana del neurone, provocandone la scarica. Questo circuito viene quindi integrato con un espansore di impulsi (non mostrato in Fig. 3a), che modella l'impulso di uscita del neurone LIF sulla larghezza dell'impulso target. In ogni linea sono inoltre integrati multiplexer che consentono l'applicazione della tensione agli elettrodi superiore e inferiore del dispositivo RRAM.
I test elettrici includono l'analisi e la registrazione del comportamento dinamico dei circuiti analogici, nonché la programmazione e la lettura dei dispositivi RRAM. Entrambi i passaggi richiedono strumenti speciali, che sono tutti collegati contemporaneamente alla scheda del sensore. L'accesso ai dispositivi RRAM nei circuiti neuromorfici viene effettuato da strumenti esterni attraverso un multiplexer (MUX). Il MUX separa la cella 1T1R dal resto della circuiteria a cui appartiene, permettendo la lettura e/o la programmazione del dispositivo. Per programmare e leggere i dispositivi RRAM, viene utilizzata una macchina Keithley 4200 SCS insieme a un microcontrollore Arduino: il primo per la generazione accurata di impulsi e la lettura della corrente, e il secondo per l'accesso rapido ai singoli elementi 1T1R nell'array di memoria. La prima operazione è formare il dispositivo RRAM. Le celle vengono selezionate una per una e viene applicata una tensione positiva tra gli elettrodi superiore e inferiore. In questo caso la corrente è limitata all'ordine delle decine di microampere a causa dell'alimentazione della corrispondente tensione di gate al transistor selettore. La cella RRAM può quindi scorrere tra uno stato di bassa conduttività (LCS) e uno stato di alta conduttività (HCS) utilizzando rispettivamente le operazioni RESET e SET. L'operazione SET viene eseguita applicando un impulso di tensione rettangolare con una durata di 1 μs e una tensione di picco di 2,0-2,5 V all'elettrodo superiore e un impulso di sincronizzazione di forma simile con una tensione di picco di 0,9-1,3 V all'elettrodo superiore il gate del transistor selettore. Questi valori consentono di modulare la conduttanza della RRAM ad intervalli di 20-150 µs. Per il RESET, un impulso di picco di 3 V, largo 1 µs, viene applicato all'elettrodo inferiore (linea di bit) della cella quando la tensione di gate è compresa tra 2,5 e 3,0 V. Gli ingressi e le uscite dei circuiti analogici sono segnali dinamici . Per l'ingresso, abbiamo intercalato due generatori di impulsi HP 8110 con generatori di segnali Tektronix AFG3011. L'impulso di ingresso ha una larghezza di 1 µs e un fronte di salita/discesa di 50 ns. Si presuppone che questo tipo di impulso sia un tipico glitch nei circuiti basati su glitch analogici. Per quanto riguarda il segnale di uscita, il segnale di uscita è stato registrato utilizzando un oscilloscopio Teledyne LeCroy da 1 GHz. È stato dimostrato che la velocità di acquisizione di un oscilloscopio non è un fattore limitante nell'analisi e nell'acquisizione dei dati del circuito.
Utilizzare la dinamica dell'elettronica analogica per simulare il comportamento dei neuroni e delle sinapsi è una soluzione elegante ed efficiente per migliorare l'efficienza computazionale. Lo svantaggio di questa base computazionale è che varierà da schema a schema. Abbiamo quantificato la variabilità dei neuroni e dei circuiti sinaptici (Figura 2a, b supplementare). Di tutte le manifestazioni di variabilità, quelle associate alle costanti di tempo e al guadagno di ingresso hanno il maggiore impatto a livello di sistema. La costante di tempo del neurone LIF e della sinapsi DPI è determinata da un circuito RC, dove il valore di R è controllato da una tensione di polarizzazione applicata al gate del transistor (Vlk per il neurone e Vtau per la sinapsi), determinando la tasso di perdita. Il guadagno in ingresso è definito come la tensione di picco raggiunta dai condensatori della membrana sinaptica e neuronale stimolati da un impulso in ingresso. Il guadagno in ingresso è controllato da un altro transistor di polarizzazione che modula la corrente in ingresso. È stata eseguita una simulazione Monte Carlo calibrata sul processo a 130 nm di ST Microelectronics per raccogliere alcune statistiche sul guadagno di ingresso e sulla costante di tempo. I risultati sono presentati nella Figura 2 supplementare, in cui il guadagno di ingresso e la costante di tempo sono quantificati in funzione della tensione di polarizzazione che controlla il tasso di dispersione. I contrassegni verdi quantificano la deviazione standard della costante di tempo dalla media. Sia i neuroni che i circuiti sinaptici erano in grado di esprimere un'ampia gamma di costanti di tempo nell'intervallo di 10-5-10-2 s, come mostrato nello schema di Fig. Supplementare. L'amplificazione dell'input (Figura 2e, d supplementare) della variabilità neuronale e sinaptica era rispettivamente di circa l'8% e il 3%. Tale carenza è ben documentata in letteratura: sono state eseguite varie misurazioni sull'array di chip DYNAP per valutare la mancata corrispondenza tra popolazioni di neuroni LIF63. Sono state misurate le sinapsi nel chip a segnale misto BrainScale, analizzate le loro incoerenze ed è stata proposta una procedura di calibrazione per ridurre l'effetto della variabilità a livello di sistema64.
La funzione della RRAM nei circuiti neuromorfici è duplice: definizione dell'architettura (indirizzamento degli input alle uscite) e implementazione dei pesi sinaptici. Quest'ultima proprietà può essere utilizzata per risolvere il problema della variabilità dei circuiti neuromorfici modellati. Abbiamo sviluppato una semplice procedura di calibrazione che prevede la riprogrammazione del dispositivo RRAM finché il circuito analizzato non soddisfa determinati requisiti. Per un dato ingresso, l'uscita viene monitorata e la RRAM viene riprogrammata fino al raggiungimento del comportamento target. È stato introdotto un tempo di attesa di 5 s tra le operazioni di programmazione per risolvere il problema del rilassamento della RRAM con conseguenti fluttuazioni transitorie della conduttanza (informazioni supplementari). I pesi sinaptici vengono regolati o calibrati in base ai requisiti del circuito neuromorfico da modellare. La procedura di calibrazione è riassunta in algoritmi aggiuntivi [1, 2] che si concentrano su due caratteristiche fondamentali delle piattaforme neuromorfiche, linee di ritardo e CD insensibile alla direzione. Per un circuito con una linea di ritardo, il comportamento target è fornire un impulso di uscita con un ritardo Δt. Se il ritardo effettivo del circuito è inferiore al valore target, il peso sinaptico di G3 dovrebbe essere ridotto (G3 dovrebbe essere ripristinato e quindi impostato su una corrente di adattamento inferiore Icc). Al contrario, se il ritardo effettivo è maggiore del valore target, la conduttanza di G3 deve essere aumentata (G3 deve prima essere resettato e poi impostato su un valore Icc più alto). Questo processo viene ripetuto finché il ritardo generato dal circuito non corrisponde al valore target e viene impostata una tolleranza per interrompere il processo di calibrazione. Per i CD non sensibili all'orientamento, nel processo di calibrazione sono coinvolti due dispositivi RRAM, G1 e G3. Questo circuito ha due ingressi, Vin0 e Vin1, ritardati di dt. Il circuito dovrebbe rispondere solo a ritardi inferiori all'intervallo di corrispondenza [0,dtCD]. Se non c'è un picco di uscita, ma il picco di ingresso è vicino, entrambi i dispositivi RRAM dovrebbero essere potenziati per aiutare il neurone a raggiungere la soglia. Al contrario, se il circuito risponde ad un ritardo che supera l'intervallo target del dtCD, la conduttanza deve essere ridotta. Ripetere il processo finché non si ottiene il comportamento corretto. La corrente di conformità può essere modulata dal circuito analogico integrato nel rif. 72.73. Con questo circuito integrato, tali procedure possono essere eseguite periodicamente per calibrare il sistema o riutilizzarlo per un'altra applicazione.
Valutiamo il consumo energetico del nostro approccio di elaborazione del segnale neuromorfico su un microcontrollore standard a 32 bit68. In questa valutazione, assumiamo il funzionamento con la stessa configurazione di questo documento, con un trasmettitore pMUT e due ricevitori pMUT. Questo metodo utilizza un filtro passa banda, seguito da una fase di estrazione dell'inviluppo (Teeger-Kaiser), e infine viene applicata al segnale un'operazione di soglia per estrarre il tempo di volo. Il calcolo dell'ITD e la sua conversione in angoli di rilevamento vengono omessi nella valutazione. Consideriamo un'implementazione del filtro passa banda utilizzando un filtro a risposta impulsiva infinita del 4° ordine che richiede 18 operazioni in virgola mobile. L'estrazione dell'inviluppo utilizza altre tre operazioni in virgola mobile e l'ultima operazione viene utilizzata per impostare la soglia. Per preelaborare il segnale sono necessarie un totale di 22 operazioni in virgola mobile. Il segnale trasmesso è un breve burst di forma d'onda sinusoidale da 111,9 kHz generato ogni 10 ms con conseguente frequenza operativa di posizionamento di 100 Hz. Abbiamo utilizzato una frequenza di campionamento di 250 kHz per rispettare Nyquist e una finestra di 6 ms per ciascuna misurazione per acquisire una portata di 1 metro. Tieni presente che 6 millisecondi è il tempo di volo di un oggetto che si trova a 1 metro di distanza. Ciò fornisce un consumo energetico di 180 µW per la conversione A/D a 0,5 MSPS. La preelaborazione del segnale è di 6,60 MIPS (istruzioni al secondo), che genera 0,75 mW. Tuttavia, il microcontrollore potrebbe passare alla modalità a basso consumo 69 quando l'algoritmo non è in esecuzione. Questa modalità fornisce un consumo energetico statico di 10,8 μW e un tempo di riattivazione di 113 μs. Data una frequenza di clock di 84 MHz, il microcontrollore completa tutte le operazioni dell'algoritmo neuromorfico entro 10 ms e l'algoritmo calcola un duty cycle del 6,3%, utilizzando quindi una modalità a basso consumo. La dissipazione di potenza risultante è di 244,7 μW. Si noti che omettiamo l'uscita ITD da ToF e la conversione nell'angolo di rilevamento, sottostimando così il consumo energetico del microcontrollore. Ciò fornisce un valore aggiuntivo per l’efficienza energetica del sistema proposto. Come ulteriore condizione di confronto, valutiamo il consumo energetico dei metodi classici di beamforming proposti nel riferimento. 31.54 quando integrato nello stesso microcontrollore68 con tensione di alimentazione di 1,8 V. Cinque membrane pMUT equidistanti vengono utilizzate per acquisire dati per il beamforming. Per quanto riguarda l'elaborazione stessa, il metodo di beamforming utilizzato è la somma dei ritardi. Consiste semplicemente nell'applicare alle corsie un ritardo che corrisponde alla differenza attesa dei tempi di arrivo tra una corsia e quella di riferimento. Se i segnali sono in fase, la somma di questi segnali avrà un'energia elevata dopo uno spostamento temporale. Se sono fuori fase, l'interferenza distruttiva limiterà l'energia della loro somma. in un rapporto. Nella fig. 31, viene selezionata una frequenza di campionamento di 2 MHz per spostare nel tempo i dati di un numero intero di campioni. Un approccio più modesto consiste nel mantenere una frequenza di campionamento più grossolana di 250 kHz e utilizzare un filtro FIR (Finite Impulse Response) per sintetizzare ritardi frazionari. Assumeremo che la complessità dell'algoritmo di beamforming sia determinata principalmente dallo spostamento temporale, poiché ciascun canale è convoluto con un filtro FIR con 16 prese in ciascuna direzione. Per calcolare il numero di MIPS necessari per questa operazione, consideriamo una finestra di 6ms per misura per catturare un range di 1 metro, 5 canali, 11 direzioni di beamforming (range +/- 50° a passi di 10°). 75 misurazioni al secondo hanno spinto il microcontrollore al massimo di 100 MIPS. Collegamento. 68, risultando in una dissipazione di potenza di 11,26 mW per una dissipazione di potenza totale di 11,71 mW dopo aver aggiunto il contributo dell'ADC integrato.
I dati a supporto dei risultati di questo studio sono disponibili presso il rispettivo autore, FM, su ragionevole richiesta.
Indiveri, G. & Sandamirskaya, Y. L'importanza dello spazio e del tempo per l'elaborazione del segnale negli agenti neuromorfici: la sfida di sviluppare agenti autonomi a bassa potenza che interagiscono con l'ambiente. Indiveri, G. & Sandamirskaya, Y. L'importanza dello spazio e del tempo per l'elaborazione del segnale negli agenti neuromorfici: la sfida di sviluppare agenti autonomi a bassa potenza che interagiscono con l'ambiente.Indiveri G. e Sandamirskaya Y. L'importanza dello spazio e del tempo per l'elaborazione del segnale negli agenti neuromorfici: la sfida dello sviluppo di agenti autonomi a bassa potenza che interagiscono con l'ambiente. Indiveri, G. & Sandamirskaya, Y.主代理的挑战. Indiveri, G. & Sandamirskaya, Y.Indiveri G. e Sandamirskaya Y. L'importanza dello spazio e del tempo per l'elaborazione del segnale negli agenti neuromorfici: la sfida dello sviluppo di agenti autonomi a bassa potenza che interagiscono con l'ambiente.Elaborazione del segnale IEEE. Diario 36, 16–28 (2019).
Thorpe, SJ Orario di arrivo di punta: uno schema di codifica della rete neurale efficiente. in Eckmiller, R., Hartmann, G. & Hauske, G. (a cura di). in Eckmiller, R., Hartmann, G. & Hauske, G. (a cura di).in Eckmiller, R., Hartmann, G. e Hauske, G. (a cura di).In Eckmiller, R., Hartmann, G. e Hauske, G. (a cura di). Elaborazione parallela nei sistemi neurali e nei computer 91–94 (Olanda Settentrionale Elsevier, 1990).
Levy, WB & Calvert, VG La comunicazione consuma 35 volte più energia rispetto al calcolo nella corteccia umana, ma entrambi i costi sono necessari per prevedere il numero di sinapsi. Levy, WB & Calvert, VG La comunicazione consuma 35 volte più energia rispetto al calcolo nella corteccia umana, ma entrambi i costi sono necessari per prevedere il numero di sinapsi.Levy, WB e Calvert, WG La comunicazione consuma 35 volte più energia del calcolo nella corteccia umana, ma entrambi i costi sono necessari per prevedere il numero di sinapsi. Levy, WB & Calvert, VG Communication Prelievo, WB e Calvert, VG ComunicazioneLevy, WB e Calvert, WG La comunicazione consuma 35 volte più energia rispetto al calcolo nella corteccia umana, ma entrambi i costi richiedono la previsione del numero di sinapsi.processo. Accademia Nazionale delle Scienze. la scienza. US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Calcolo neuromorfico ispirato agli insetti. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Calcolo neuromorfico ispirato agli insetti.Dalgati, T., Vianello, E., DeSalvo, B. e Casas, J. Calcolo neuromorfico ispirato agli insetti.Dalgati T., Vianello E., DeSalvo B. e Casas J. Calcolo neuromorfico ispirato agli insetti. Attuale. Opinione. Scienza degli insetti. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Verso l'intelligenza artificiale basata su picchi con calcolo neuromorfico. Roy, K., Jaiswal, A. & Panda, P. Verso l'intelligenza artificiale basata su picchi con calcolo neuromorfico. Roy, K., Jaiswal, A. & Panda, P. Verso l'intelligenza artificiale basata su Spike con il calcolo neuromorfico.Roy K, Jaiswal A e Panda P. Intelligenza artificiale basata su impulsi che utilizza il calcolo neuromorfico. Natura 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. e Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. e Liu, S.-K.Memoria ed elaborazione dell'informazione nei sistemi neuromorfici. processo. IEEE 103, 1379–1397 (2015).
Akopyan F. et al. Truenorth: progettazione e kit di strumenti per un chip sinaptico programmabile da 65 mW e 1 milione di neuroni. Transazioni IEEE. Progettazione informatica di sistemi a circuiti integrati. 34, 1537–1557 (2015).
Schemmel, J. et al. Demo dal vivo: versione ridotta del sistema neuromorfico BrainScaleS su scala di piastre. Simposio internazionale IEEE 2012 su circuiti e sistemi (ISCAS), (IEEE ed.) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Un'architettura multicore scalabile con strutture di memoria eterogenee per processori asincroni neuromorfici dinamici (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Un'architettura multicore scalabile con strutture di memoria eterogenee per processori asincroni neuromorfici dinamici (DYNAP).Moradi S., Qiao N., Stefanini F. e Indiviri G. Un'architettura multicore scalabile con strutture di memoria eterogenee per processori asincroni neuromorfici dinamici (DYNAP). Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G内存结构. Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Una sorta di architettura multi-core espandibile, con una struttura di memoria unica per l'elaborazione neurale dinamica (DYNAP).Moradi S., Qiao N., Stefanini F. e Indiviri G. Un'architettura multicore scalabile con strutture di memoria eterogenee per processori asincroni neuromorfici dinamici (DYNAP).Transazioni IEEE sulla scienza biomedica. impianto elettrico. 12, 106–122 (2018).
Davis, M. et al. Loihi: un processore multi-core neuromorfico con apprendimento integrato. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA Il progetto SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA Il progetto SpiNNaker.Ferber SB, Galluppi F., Temple S. e Plana LA Progetto SpiNNaker.Ferber SB, Galluppi F., Temple S. e Plana LA Progetto SpiNNaker. processo. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Sistemi sensoriali neuromorfici. & Delbruck, T. Sistemi sensoriali neuromorfici.e Delbrück T. Sistemi sensoriali neuromorfici. & Delbruck, T. 神经形态感觉系统. & Delbruck, T.e Delbrück T. Sistema sensoriale neuromorfico.Corrente. Opinione. Neurobiologia. 20, 288–295 (2010).
Chope, T. et al. Integrazione sensoriale neuromorfica per la localizzazione combinata della sorgente sonora e per evitare le collisioni. Nel 2019 alla IEEE Conference on Biomedical Circuits and Systems (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Un'architettura neuromorfica basata su picchi della visione stereo. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Un'architettura neuromorfica basata su picchi della visione stereo.Risi N, Aymar A, Donati E, Solinas S e Indiveri G. Un'architettura di stereovisione neuromorfica basata su picchi. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S e Indiveri G. Architettura neuromorfica basata su Spike per la visione stereo.anteriore. Neurorobotica 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Un modello di rete neurale di percezione 3D per sistemi di visione stereo neuromorfica basati su eventi. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Un modello di rete neurale di percezione 3D per sistemi di visione stereo neuromorfica basati su eventi.Oswald, M., Ieng, S.-H., Benosman, R. e Indiveri, G. Un modello di percezione della rete neurale pulsata 3D per sistemi di visione stereo neuromorfica basati su eventi. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R. e Indiveri, G. Modello di rete neurale con percezione 3D a spillo per un sistema di visione stereo neuromorfica basato su eventi.la scienza. Rapporto 7, 1–11 (2017).
Dalgaty, T. et al. Il rilevamento del movimento di base ispirato agli insetti include memoria resistiva e reti neurali burst. Sistema bioibrido bionico. 10928, 115–128 (2018).
D'Angelo, G. et al. Rilevamento del movimento eccentrico basato sugli eventi utilizzando la codifica differenziale temporale. anteriore. Neurologia. 14, 451 (2020).