Ştiri

Aplicațiile de procesare a datelor din lumea reală necesită sisteme de calcul compacte, cu latență redusă și cu putere redusă. Cu capabilități de calcul bazate pe evenimente, arhitecturile neuromorfice memristive hibride complementare metal-oxid-semiconductor oferă o bază hardware ideală pentru astfel de sarcini. Pentru a demonstra întregul potențial al unor astfel de sisteme, propunem și demonstrăm experimental o soluție cuprinzătoare de procesare a senzorilor pentru aplicații de localizare a obiectelor din lumea reală. Inspirându-ne din neuroanatomia bufniței, am dezvoltat un sistem de localizare a obiectelor bazat pe evenimente bioinspirat, care combină un traductor piezoelectric micromecanic de ultimă generație cu o memorie rezistivă neuromorfă bazată pe grafice computaționale. Prezentăm măsurători ale unui sistem fabricat care include un detector de coincidență rezistiv bazat pe memorie, circuite de linie de întârziere și un traductor ultrasonic complet personalizabil. Folosim aceste rezultate experimentale pentru a calibra simulările la nivel de sistem. Aceste simulări sunt apoi utilizate pentru a evalua rezoluția unghiulară și eficiența energetică a modelului de localizare a obiectelor. Rezultatele arată că abordarea noastră poate fi cu câteva ordine de mărime mai eficientă din punct de vedere energetic decât microcontrolerele care efectuează aceeași sarcină.
Intrăm într-o eră a computerului omniprezent, în care numărul de dispozitive și sisteme implementate crește exponențial pentru a ne ajuta în viața de zi cu zi. Se așteaptă ca aceste sisteme să funcționeze continuu, consumând cât mai puțină energie posibil, în timp ce învață să interpreteze datele pe care le colectează de la mai mulți senzori în timp real și să producă rezultate binare ca urmare a sarcinilor de clasificare sau recunoaștere. Unul dintre cei mai importanți pași necesari pentru atingerea acestui obiectiv este extragerea de informații utile și compacte din date senzoriale zgomotoase și adesea incomplete. Abordările ingineriei convenționale eșantionează de obicei semnalele senzorilor la o rată constantă și ridicată, generând cantități mari de date chiar și în absența intrărilor utile. În plus, aceste metode folosesc tehnici complexe de procesare a semnalului digital pentru a preprocesa datele de intrare (adesea zgomotoase). În schimb, biologia oferă soluții alternative pentru procesarea datelor senzoriale zgomotoase utilizând abordări eficiente din punct de vedere energetic, asincrone, bazate pe evenimente (spikes)2,3. Calculul neuromorfic se inspiră din sistemele biologice pentru a reduce costurile de calcul în ceea ce privește cerințele de energie și memorie în comparație cu metodele tradiționale de procesare a semnalului4,5,6. Recent, au fost demonstrate sisteme inovatoare de uz general bazate pe creier care implementează rețele neuronale de impuls (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Aceste procesoare oferă soluții de putere redusă, latență scăzută pentru învățarea automată și modelarea circuitelor corticale. Pentru a-și exploata pe deplin eficiența energetică, aceste procesoare neuromorfe trebuie conectate direct la senzori comandați de evenimente12,13. Cu toate acestea, astăzi există doar câteva dispozitive tactile care furnizează direct date bazate pe evenimente. Exemple proeminente sunt senzorii vizuali dinamici (DVS) pentru aplicații de viziune, cum ar fi urmărirea și detectarea mișcării14,15,16,17 cohlea de siliciu18 și senzorii auditivi neuromorfi (NAS)19 pentru procesarea semnalului auditiv, senzorii olfactiv20 și numeroase exemple21,22 de atingere. . senzori de textură.
În această lucrare, prezentăm un sistem nou dezvoltat de procesare auditivă bazată pe evenimente aplicat localizării obiectelor. Aici, pentru prima dată, descriem un sistem end-to-end pentru localizarea obiectelor obținut prin conectarea unui traductor ultrasonic piezoelectric micromașinat de ultimă generație (pMUT) cu un grafic computațional bazat pe memorie rezistivă neuromorfă (RRAM). Arhitecturile de calcul în memorie care utilizează RRAM sunt o soluție promițătoare pentru reducerea consumului de energie23,24,25,26,27,28,29. Nevolatilitatea lor inerentă – care nu necesită consum de energie activă pentru stocarea sau actualizarea informațiilor – se potrivește perfect cu natura asincronă, determinată de evenimente, a calculului neuromorf, rezultând aproape deloc consum de energie atunci când sistemul este inactiv. Traductoarele cu ultrasunete piezoelectrice micromașinizate (pMUT) sunt traductoare ultrasonice miniaturizate, ieftine, pe bază de siliciu, capabile să acționeze ca transmițători și receptori30,31,32,33,34. Pentru a procesa semnalele primite de senzorii încorporați, ne-am inspirat din neuroanatomia bufniței35,36,37. Bufnița Tyto alba este cunoscută pentru abilitățile sale remarcabile de vânătoare nocturnă datorită unui sistem foarte eficient de localizare auditivă. Pentru a calcula locația prăzii, sistemul de localizare al bufniței codifică timpul de zbor (ToF) când undele sonore de la pradă ajung la fiecare dintre urechile sau receptorii de sunet al bufniței. Având în vedere distanța dintre urechi, diferența dintre cele două măsurători ToF (Interaural Time Difference, ITD) face posibilă calcularea analitică a poziției azimutale a țintei. Deși sistemele biologice sunt slab adaptate pentru rezolvarea ecuațiilor algebrice, ele pot rezolva problemele de localizare foarte eficient. Sistemul nervos de bufniță folosește un set de neuroni detectori de coincidențe (CD)35 (adică neuroni capabili să detecteze corelații temporale între vârfurile care se propagă în jos către terminații excitatorii convergente)38,39 organizați în grafice computaționale pentru a rezolva problemele de poziționare.
Cercetările anterioare au arătat că hardware-ul complementar CMOS și hardware-ul neuromorf bazat pe RRAM inspirat de coliculul inferior („cortexul auditiv”) al bufniței este o metodă eficientă de calculare a poziției folosind ITD13, 40, 41, 42, 43, 44, 45, 46. Cu toate acestea, potențialul sistemelor neuromorfe complete care leagă indiciile auditive de neuromorfe graficele de calcul nu au fost încă demonstrate. Problema principală este variabilitatea inerentă a circuitelor CMOS analogice, care afectează acuratețea detectării potrivirii. Recent, au fost demonstrate implementări numerice alternative ale estimărilor ITD47. În această lucrare, ne propunem să folosim capacitatea RRAM de a schimba valoarea conductanței într-o manieră nevolatilă pentru a contracara variabilitatea în circuitele analogice. Am implementat un sistem experimental constând dintr-o membrană de transmisie pMUT care funcționează la o frecvență de 111,9 kHz, două membrane de recepție pMUT (senzori) care simulează urechi de bufniță și una. Am caracterizat experimental sistemul de detectare pMUT și graficul computațional ITD bazat pe RRAM pentru a testa sistemul nostru de localizare și a evalua rezoluția unghiulară a acestuia.
Comparăm metoda noastră cu o implementare digitală pe un microcontroler care efectuează aceeași sarcină de localizare folosind metode convenționale de formare a fasciculului sau neuromorfe, precum și o matrice de poartă programabilă în câmp (FPGA) pentru estimarea ITD propusă în referință. 47. Această comparație evidențiază eficiența competitivă a puterii sistemului propus de neuromorf analogic bazat pe RRAM.
Unul dintre cele mai izbitoare exemple de sistem de localizare a obiectelor precis și eficient poate fi găsit în bufnița hambar35,37,48. La amurg și în zori, bufnița (Tyto Alba) se bazează în primul rând pe ascultarea pasivă, căutând activ prada mică, cum ar fi șoarecii sau șoarecii. Acești experți auditivi pot localiza semnalele auditive de la pradă cu o acuratețe uimitoare (aproximativ 2°)35, așa cum se arată în Fig. 1a. Bufnițele deduc locația surselor de sunet în planul azimut (orizontal) din diferența de timp de zbor de intrare (ITD) de la sursa de sunet la cele două urechi. Mecanismul de calcul ITD a fost propus de Jeffress49,50 care se bazează pe geometria neuronală și necesită două componente cheie: un axon, o fibră nervoasă a unui neuron care acționează ca o linie de întârziere și o serie de neuroni detectori de coincidență organizați într-un sistem computațional. grafic așa cum se arată în Figura 1b. Sunetul ajunge la ureche cu o întârziere dependentă de azimut (ITD). Sunetul este apoi transformat într-un model de vârfuri în fiecare ureche. Axonii urechii stângi și drepte acționează ca linii de întârziere și converg spre neuronii CD. Teoretic, doar un neuron dintr-o serie de neuroni potriviți va primi intrare la un moment dat (unde întârzierea se anulează exact) și se va declanșa maxim (celulele învecinate se vor declanșa și ele, dar la o frecvență mai mică). Activarea anumitor neuroni codifică poziția țintei în spațiu fără a mai converti ITD-ul în unghiuri. Acest concept este rezumat în Figura 1c: de exemplu, dacă sunetul vine din partea dreaptă atunci când semnalul de intrare de la urechea dreaptă parcurge o cale mai lungă decât calea de la urechea stângă, compensând numărul de ITD, de exemplu, când neuronul 2 se potrivește. Cu alte cuvinte, fiecare CD răspunde la un anumit ITD (cunoscut și ca întârziere optimă) din cauza întârzierii axonale. Astfel, creierul convertește informațiile temporale în informații spațiale. S-au găsit dovezi anatomice pentru acest mecanism37,51. Neuronii macronucleu blocați în fază stochează informații temporale despre sunetele primite: după cum sugerează și numele lor, se declanșează la anumite faze ale semnalului. Neuronii detectori de coincidență ai modelului Jeffress pot fi găsiți în miezul laminar. Ei primesc informații de la neuronii macronucleari, ai căror axoni acționează ca linii de întârziere. Cantitatea de întârziere furnizată de linia de întârziere poate fi explicată de lungimea axonului, precum și de un alt model de mielinizare care modifică viteza de conducere. Inspirați de sistemul auditiv al bufniței, am dezvoltat un sistem biomimetic pentru localizarea obiectelor. Cele două urechi sunt reprezentate de două receptoare pMUT. Sursa de sunet este transmițătorul pMUT situat între ele (Fig. 1a), iar graficul de calcul este format dintr-o grilă de circuite CD bazate pe RRAM (Fig. 1b, verde), jucând rolul neuronilor CD ale căror intrări sunt întârziate. prin circuit, liniile de întârziere (albastre) acționează ca axonii în omologul biologic. Sistemul senzorial propus diferă ca frecvență de funcționare de cel al bufniței, al cărui sistem auditiv funcționează în intervalul 1–8 kHz, dar în această lucrare sunt utilizați senzori pMUT care funcționează la aproximativ 117 kHz. Selectarea unui traductor ultrasonic este luată în considerare în funcție de criterii tehnice și de optimizare. În primul rând, limitarea lățimii de bandă de recepție la o singură frecvență îmbunătățește în mod ideal precizia măsurării și simplifică etapa de post-procesare. În plus, funcționarea în ultrasunete are avantajul că impulsurile emise nu sunt audibile, prin urmare nu deranjează oamenii, deoarece intervalul lor auditiv este de ~20-20 kHz.
bufnița primește unde sonore de la o țintă, în acest caz o pradă în mișcare. Timpul de zbor (ToF) al undei sonore este diferit pentru fiecare ureche (cu excepția cazului în care prada se află direct în fața bufniței). Linia punctată arată calea pe care o parcurg undele sonore pentru a ajunge la urechile bufniței. Prada poate fi localizată cu precizie în plan orizontal pe baza diferenței de lungime dintre cele două căi acustice și a diferenței de timp interaurale (ITD) corespunzătoare (imagine din stânga inspirată de ref. 74, copyright 2002, Society for Neuroscience). În sistemul nostru, emițătorul pMUT (albastru închis) generează unde sonore care sări de pe țintă. Undele ultrasunete reflectate sunt recepționate de două receptoare pMUT (verde deschis) și procesate de procesorul neuromorf (dreapta). b Un model de calcul ITD (Jeffress) care descrie modul în care sunetele care intră în urechile bufniței sunt mai întâi codificate ca vârfuri blocate în fază în nucleul mare (NM) și apoi folosind o grilă aranjată geometric de neuroni detectori potriviți în nucleul lamelar. Procesare (Olanda) (stânga). Ilustrație a unui grafic computațional neuroITD care combină linii de întârziere și neuroni detectori de coincidență, sistemul biosenzor de bufniță poate fi modelat folosind circuite neuromorfe bazate pe RRAM (dreapta). c Schema principalului mecanism Jeffress, datorită diferenței de ToF, cele două urechi primesc stimuli sonori la momente diferite și trimit axoni de la ambele capete către detector. Axonii fac parte dintr-o serie de neuroni detectori de coincidență (CD), fiecare dintre care răspunde selectiv la intrări puternic corelate în timp. Ca rezultat, doar CD-urile ale căror intrări sosesc cu cea mai mică diferență de timp sunt excitate maxim (ITD este exact compensat). CD-ul va codifica apoi poziția unghiulară a țintei.
Traductoarele cu ultrasunete micromecanice piezoelectrice sunt traductoare cu ultrasunete scalabile care pot fi integrate cu tehnologia CMOS avansată31,32,33,52 și au o tensiune inițială și un consum de energie mai mici decât traductoarele volumetrice tradiționale53. În munca noastră, diametrul membranei este de 880 µm, iar frecvența de rezonanță este distribuită în intervalul 110-117 kHz (Fig. 2a, vezi Metode pentru detalii). Într-un lot de zece dispozitive de testare, factorul de calitate mediu a fost de aproximativ 50 (ref. 31). Tehnologia a atins maturitatea industrială și nu este bioinspirată în sine. Combinarea informațiilor din diferite filme pMUT este o tehnică bine-cunoscută, iar informațiile despre unghi pot fi obținute din pMUT utilizând, de exemplu, tehnici de formare a fasciculului31,54. Cu toate acestea, procesarea semnalului necesară pentru extragerea informațiilor despre unghi nu este potrivită pentru măsurători de putere redusă. Sistemul propus combină circuitul de preprocesare a datelor neuromorfe pMUT cu un grafic de calcul neuromorf bazat pe RRAM inspirat de modelul Jeffress (Figura 2c), oferind o soluție hardware alternativă eficientă din punct de vedere energetic și cu resurse limitate. Am efectuat un experiment în care doi senzori pMUT au fost plasați la aproximativ 10 cm unul de celălalt pentru a exploata diferitele sunete ToF primite de cele două membrane receptoare. Un pMUT care acționează ca transmițător se află între receptoare. Ținta a fost o placă din PVC de 12 cm lățime, situată la o distanță D în fața dispozitivului pMUT (Fig. 2b). Receptorul înregistrează sunetul reflectat de obiect și reacționează cât mai mult posibil în timpul trecerii undei sonore. Repetați experimentul schimbând poziția obiectului, determinată de distanța D și unghiul θ. Inspirat de un link. 55, propunem o preprocesare neuromorfă a semnalelor brute pMUT pentru a converti undele reflectate în vârfuri pentru a introduce un grafic computațional neuromorf. ToF-ul corespunzător amplitudinii vârfului este extras din fiecare dintre cele două canale și codificat ca sincronizarea exactă a vârfurilor individuale. Pe fig. 2c prezintă circuitele necesare pentru interfața senzorului pMUT cu un grafic de calcul bazat pe RRAM: pentru fiecare dintre cele două receptoare pMUT, semnalul brut este filtrat cu trecere de bandă pentru a netezi, a rectifica și apoi trecut la integratorul cu scurgeri în modul de depășire. pragul dinamic (Fig. 2d) creează un eveniment de ieșire (spike) și un neuron de declanșare (LIF): timpul de vârf de ieșire codifică timpul de zbor detectat. Pragul LIF este calibrat în funcție de răspunsul pMUT, reducând astfel variabilitatea pMUT de la dispozitiv la dispozitiv. Cu această abordare, în loc să stocăm întreaga undă sonoră în memorie și să o procesăm mai târziu, pur și simplu generăm un vârf corespunzător ToF-ului undei sonore, care formează intrarea în graficul de calcul al memoriei rezistive. Picurile sunt trimise direct la liniile de întârziere și paralelizate cu module de detectare a potrivirii în grafice de calcul neuromorfe. Deoarece sunt trimise la porțile tranzistoarelor, nu sunt necesare circuite suplimentare de amplificare (a se vedea Fig. 4 suplimentară pentru detalii). Pentru a evalua acuratețea unghiulară de localizare oferită de pMUT și metoda de procesare a semnalului propusă, am măsurat ITD (adică diferența de timp între evenimentele de vârf generate de doi receptori) pe măsură ce distanța și unghiul obiectului au variat. Analiza ITD a fost apoi convertită în unghiuri (vezi Metode) și trasată în funcție de poziția obiectului: incertitudinea în ITD măsurată a crescut cu distanța și unghiul față de obiect (Fig. 2e, f). Problema principală este raportul vârf-zgomot (PNR) în răspunsul pMUT. Cu cât obiectul este mai departe, cu atât semnalul acustic este mai mic, reducând astfel PNR-ul (Fig. 2f, linie verde). O scădere a PNR duce la o creștere a incertitudinii în estimarea ITD, rezultând o creștere a preciziei de localizare (Fig. 2f, linie albastră). Pentru un obiect aflat la o distanță de 50 cm de transmițător, precizia unghiulară a sistemului este de aproximativ 10°. Această limitare impusă de caracteristicile senzorului poate fi îmbunătățită. De exemplu, presiunea trimisă de emițător poate fi crescută, crescând astfel tensiunea de antrenare a membranei pMUT. O altă soluție de amplificare a semnalului transmis este conectarea mai multor transmițătoare 56. Aceste soluții vor crește raza de detectare în detrimentul costurilor crescute de energie. Îmbunătățiri suplimentare pot fi făcute pe partea de recepție. Nivelul de zgomot al receptorului pMUT poate fi redus semnificativ prin îmbunătățirea conexiunii dintre pMUT și amplificatorul din prima etapă, care se face în prezent cu conexiuni prin fire și cabluri RJ45.
a Imagine a unui cristal pMUT cu șase membrane de 880 µm integrate la un pas de 1,5 mm. b Diagrama configurației de măsurare. Ținta este situată în poziția azimutală θ și la distanța D. Emițătorul pMUT generează un semnal de 117,6 kHz care sare în țintă și ajunge la două receptoare pMUT cu timp de zbor diferit (ToF). Această diferență, definită ca diferența de timp inter-aural (ITD), codifică poziția unui obiect și poate fi estimată prin estimarea răspunsului de vârf al celor doi senzori receptor. c Schema etapelor de preprocesare pentru conversia semnalului pMUT brut în secvențe de vârf (adică intrare în graficul de calcul neuromorf). Senzorii pMUT și graficele computaționale neuromorfe au fost fabricate și testate, iar preprocesarea neuromorfă se bazează pe simularea software. d Răspunsul membranei pMUT la primirea unui semnal și transformarea acestuia într-un domeniu de vârf. e Precizia unghiulară de localizare experimentală în funcție de unghiul obiectului (Θ) și distanța (D) față de obiectul țintă. Metoda de extracție ITD necesită o rezoluție unghiulară minimă de aproximativ 4°C. f Precizia unghiulară (linia albastră) și raportul vârf-zgomot corespunzător (linia verde) față de distanța obiectului pentru Θ = 0.
Memoria rezistivă stochează informații într-o stare conductivă nevolatilă. Principiul de bază al metodei este că modificarea materialului la nivel atomic provoacă o modificare a conductivității sale electrice57. Aici folosim o memorie rezistivă pe bază de oxizi, constând dintr-un strat de 5 nm de dioxid de hafniu, plasat între electrozii de titan superior și inferior și nitrură de titan. Conductivitatea dispozitivelor RRAM poate fi modificată prin aplicarea unei forme de undă de curent/tensiune care creează sau rupe filamente conductoare de locuri libere de oxigen între electrozi. Am cointegrat astfel de dispozitive58 într-un proces CMOS standard de 130 nm pentru a crea un circuit neuromorf reconfigurabil fabricat care implementează un detector de coincidență și un circuit de linie de întârziere (Fig. 3a). Natura nevolatilă și analogică a dispozitivului, combinată cu natura condusă de evenimente a circuitului neuromorf, minimizează consumul de energie. Circuitul are o funcție de pornire/oprire instantanee: funcționează imediat după ce a fost pornit, permițând oprirea completă a alimentării atunci când circuitul este inactiv. Principalele blocuri ale schemei propuse sunt prezentate în fig. 3b. Este alcătuită din N structuri paralele cu un singur tranzistor (1T1R) care codifică greutăți sinaptice din care sunt prelevați curenții ponderați, injectați în sinapsa comună a unui integrator de perechi diferențiale (DPI)59 și, în final, injectate în sinapsă cu integrare și scurgere. neuronul 60 activat (LIF) (vezi Metode pentru detalii). Surplusurile de intrare sunt aplicate la poarta structurii 1T1R sub forma unei secvențe de impulsuri de tensiune cu o durată de ordinul a sute de nanosecunde. Memoria rezistivă poate fi plasată într-o stare de conductivitate ridicată (HCS) prin aplicarea unei referințe pozitive externe la Vtop când Vbottom este împământat și resetată la o stare de conducție scăzută (LCS) prin aplicarea unei tensiuni pozitive la Vtop când Vtop este împământat. Valoarea medie a HCS poate fi controlată prin limitarea curentului de programare (conformitatea) SET-ului (ICC) de tensiunea poartă-sursă a tranzistorului serie (Fig. 3c). Funcțiile RRAM în circuit sunt duble: direcționează și cântăresc impulsurile de intrare.
Imagine cu microscopul electronic de scanare (SEM) a unui dispozitiv albastru HfO2 1T1R RRAM integrat în tehnologia CMOS de 130 nm cu tranzistori selectori (650 nm lățime) în verde. b Elemente de bază ale schemei neuromorfe propuse. Impulsurile de tensiune de intrare (vârfurile) Vin0 și Vin1 consumă curent Iweight, care este proporțional cu stările de conducere G0 și G1 ale structurii 1T1R. Acest curent este injectat în sinapsele DPI și excită neuronii LIF. RRAM G0 și G1 sunt instalate în HCS și, respectiv, LCS. c Funcția densității conductanței cumulative pentru un grup de dispozitive RRAM de 16K în funcție de potrivirea curentului ICC, care controlează eficient nivelul de conducție. d Măsurătorile circuitului din (a) care arată că G1 (în LCS) blochează efectiv intrarea de la Vin1 (verde), și într-adevăr, tensiunea membranei neuronului de ieșire răspunde doar la intrarea albastră de la Vin0. RRAM determină în mod eficient conexiunile din circuit. e Măsurarea circuitului din (b) care arată efectul valorii conductanței G0 asupra tensiunii membranei Vmem după aplicarea unui impuls de tensiune Vin0. Cu cât este mai mare conductanță, cu atât răspunsul este mai puternic: astfel, dispozitivul RRAM implementează ponderarea conexiunii I/O. S-au făcut măsurători pe circuit și demonstrează funcția duală a RRAM, rutarea și ponderarea impulsurilor de intrare.
În primul rând, deoarece există două stări de conducție de bază (HCS și LCS), RRAM-urile pot bloca sau pierde impulsurile de intrare atunci când sunt în stările LCS sau, respectiv, HCS. Ca rezultat, RRAM determină eficient conexiunile din circuit. Aceasta este baza pentru a putea reconfigura arhitectura. Pentru a demonstra acest lucru, vom descrie o implementare de circuit fabricată a blocului de circuit din Fig. 3b. RRAM-ul corespunzător lui G0 este programat în HCS, iar al doilea RRAM G1 este programat în LCS. Impulsurile de intrare sunt aplicate atât la Vin0 cât și la Vin1. Efectele a două secvențe de impulsuri de intrare au fost analizate în neuronii de ieșire prin colectarea tensiunii membranei neuronului și a semnalului de ieșire folosind un osciloscop. Experimentul a avut succes atunci când numai dispozitivul HCS (G0) a fost conectat la pulsul neuronului pentru a stimula tensiunea membranei. Acest lucru este demonstrat în Figura 3d, unde trenul de impulsuri albastru face ca tensiunea membranei să se acumuleze pe condensatorul cu membrană, în timp ce trenul de impulsuri verde menține constantă tensiunea membranei.
A doua funcție importantă a RRAM este implementarea greutăților conexiunii. Folosind reglarea conductanței analogice a RRAM, conexiunile I/O pot fi ponderate în consecință. În al doilea experiment, dispozitivul G0 a fost programat la diferite niveluri de HCS, iar impulsul de intrare a fost aplicat intrării VIn0. Impulsul de intrare atrage un curent (greutate I) din dispozitiv, care este proporțional cu conductanța și scăderea potențialului corespunzătoare Vtop - Vbot. Acest curent ponderat este apoi injectat în sinapsele DPI și neuronii de ieșire LIF. Tensiunea membranei neuronilor de ieșire a fost înregistrată folosind un osciloscop și afișată în Fig. 3d. Vârful de tensiune al membranei neuronului ca răspuns la un singur impuls de intrare este proporțional cu conductanța memoriei rezistive, demonstrând că RRAM poate fi utilizat ca element programabil de greutate sinaptică. Aceste două teste preliminare arată că platforma neuromorfă bazată pe RRAM propusă este capabilă să implementeze elementele de bază ale mecanismului Jeffress de bază, și anume linia de întârziere și circuitul detector de coincidențe. Platforma de circuit este construită prin stivuirea blocurilor succesive una lângă alta, cum ar fi blocurile din Figura 3b, și conectarea porților lor la o linie de intrare comună. Am proiectat, fabricat și testat o platformă neuromorfă constând din doi neuroni de ieșire care primesc două intrări (Fig. 4a). Schema circuitului este prezentată în Figura 4b. Matricea superioară 2 × 2 RRAM permite ca impulsurile de intrare să fie direcționate către doi neuroni de ieșire, în timp ce matricea inferioară 2 × 2 permite conexiuni recurente ale doi neuroni (N0, N1). Demonstrăm că această platformă poate fi utilizată cu o configurație de linie de întârziere și două funcții diferite ale detectorului de coincidențe, așa cum se arată prin măsurătorile experimentale din Fig. 4c-e.
Diagrama circuitului formată din doi neuroni de ieșire N0 și N1 care primesc două intrări 0 și 1. Cele patru dispozitive de sus ale matricei definesc conexiunile sinaptice de la intrare la ieșire, iar cele patru celule de jos definesc conexiunile recurente între neuroni. RRAM-urile colorate reprezintă dispozitivele configurate în HCS din dreapta: dispozitivele din HCS permit conexiuni și reprezintă greutăți, în timp ce dispozitivele din LCS blochează impulsurile de intrare și dezactivează conexiunile la ieșiri. b Diagrama circuitului (a) cu opt module RRAM evidențiate cu albastru. c Liniile de întârziere sunt formate prin simpla utilizare a dinamicii sinapselor DPI și a neuronilor LIF. RRAM-ul verde este setat la o conductanță suficient de mare pentru a putea induce o eroare la ieșire după întârzierea de intrare Δt. d Ilustrare schematică a detectării CD-ului insensibil la direcție a semnalelor dependente de timp. Neuronul de ieșire 1, N1, se declanșează pe intrările 0 și 1 cu o scurtă întârziere. e Circuit CD sensibil la direcție, un circuit care detectează când intrarea 1 se apropie de intrarea 0 și ajunge după intrarea 0. Ieșirea circuitului este reprezentată de neuronul 1 (N1).
Linia de întârziere (Figura 4c) folosește pur și simplu comportamentul dinamic al sinapselor DPI și al neuronilor LIF pentru a reproduce vârful de intrare de la Vin1 la Vout1 prin întârzierea Tdel. Doar RRAM-ul G3 conectat la Vin1 și Vout1 este programat în HCS, restul RRAM-urilor sunt programate în LCS. Dispozitivul G3 a fost programat pentru 92,6 µs pentru a se asigura că fiecare impuls de intrare crește suficient de mult tensiunea membranei neuronului de ieșire pentru a atinge pragul și a genera un impuls de ieșire întârziat. Întârzierea Tdel este determinată de constantele de timp sinaptice și neuronale. Detectoarele de coincidență detectează apariția semnalelor de intrare corelate temporal, dar distribuite spațial. CD-ul insensibil la direcție se bazează pe intrările individuale care converg către un neuron de ieșire comun (Figura 4d). Cele două RRAM-uri care conectează Vin0 și Vin1 la Vout1, G2 și respectiv G4 sunt programate pentru conducție ridicată. Sosirea simultană a vârfurilor pe Vin0 și Vin1 crește tensiunea membranei neuronului N1 peste pragul necesar pentru a genera vârful de ieșire. Dacă cele două intrări sunt prea îndepărtate în timp, sarcina de pe tensiunea membranei acumulată de prima intrare poate avea timp să scadă, împiedicând potențialul de membrană N1 să atingă valoarea de prag. G1 și G2 sunt programate pentru aproximativ 65 µs, ceea ce asigură că o singură supratensiune de intrare nu crește suficient de mult tensiunea membranei pentru a provoca o supratensiune de ieșire. Detectarea coincidențelor între evenimentele distribuite în spațiu și timp este o operațiune fundamentală utilizată într-o gamă largă de sarcini de detectare, cum ar fi evitarea obstacolelor pe baza fluxului optic și localizarea sursei de sunet. Astfel, calcularea CD-urilor sensibile la direcție și insensibile este un element fundamental pentru construirea sistemelor de localizare vizuală și audio. După cum arată caracteristicile constantelor de timp (a se vedea Fig. 2 suplimentară), circuitul propus implementează un interval adecvat de scări de timp de patru ordine de mărime. Astfel, poate îndeplini simultan cerințele sistemelor vizuale și sonore. CD-ul sensibil la direcție este un circuit care este sensibil la ordinea spațială de sosire a impulsurilor: de la dreapta la stânga și invers. Este un element fundamental al rețelei de detectare a mișcării de bază a sistemului vizual Drosophila, utilizat pentru a calcula direcțiile de mișcare și a detecta coliziunile62. Pentru a realiza un CD sensibil la direcție, două intrări trebuie direcționate către doi neuroni diferiți (N0, N1) și trebuie stabilită o conexiune direcțională între ei (Fig. 4e). Când prima intrare este recepționată, NO reacționează prin creșterea tensiunii pe membrana sa peste valoarea de prag și eliberând o supratensiune. Acest eveniment de ieșire, la rândul său, declanșează N1 datorită conexiunii direcționale evidențiate în verde. Dacă sosește un eveniment de intrare Vin1 și alimentează N1 în timp ce tensiunea membranei sale este încă mare, N1 generează un eveniment de ieșire care indică faptul că a fost găsită o potrivire între cele două intrări. Conexiunile direcționale permit ca N1 să emită ieșire numai dacă intrarea 1 vine după intrarea 0. G0, G3 și G7 sunt programate la 73,5 µS, 67,3 µS și, respectiv, 40,2 µS, asigurându-se că un singur vârf pe intrarea Vin0 cauzează o întârziere. vârf de ieșire, în timp ce potențialul membranei N1 atinge pragul doar atunci când ambele explozii de intrare ajung sincronizate. .
Variabilitatea este o sursă de imperfecțiune în sistemele neuromorfe modelate63,64,65. Acest lucru duce la un comportament eterogen al neuronilor și al sinapselor. Exemple de astfel de dezavantaje includ variabilitatea de 30% (deviația standard medie) a câștigului de intrare, constanta de timp și perioada refractară, pentru a numi doar câteva (vezi Metode). Această problemă este și mai pronunțată atunci când mai multe circuite neuronale sunt conectate împreună, cum ar fi un CD sensibil la orientare format din doi neuroni. Pentru a funcționa corect, constantele de timp de câștig și dezintegrare ale celor doi neuroni ar trebui să fie cât mai asemănătoare posibil. De exemplu, o diferență mare în câștigul de intrare poate face ca un neuron să reacționeze excesiv la un impuls de intrare, în timp ce celălalt neuron abia răspunde. Pe fig. Figura 5a arată că neuronii selectați aleatoriu răspund diferit la același impuls de intrare. Această variabilitate neuronală este relevantă, de exemplu, pentru funcția CD-urilor sensibile la direcție. În schema prezentată în fig. 5b, c, câștigul de intrare al neuronului 1 este mult mai mare decât cel al neuronului 0. Astfel, neuronul 0 necesită trei impulsuri de intrare (în loc de 1) pentru a atinge pragul, iar neuronul 1, așa cum era de așteptat, are nevoie de două evenimente de intrare. Implementarea plasticității biomimetice dependente de timp (STDP) este o modalitate posibilă de a atenua impactul circuitelor neuronale și sinaptice imprecise și lente asupra performanței sistemului43. Aici ne propunem să folosim comportamentul plastic al memoriei rezistive ca mijloc de a influența îmbunătățirea intrării neuronale și de a reduce efectele variabilității în circuitele neuromorfe. După cum se arată în fig. 4e, nivelurile de conductanță asociate cu masa sinaptică RRAM au modulat eficient răspunsul corespunzător la tensiunea membranei neurale. Folosim o strategie de programare RRAM iterativă. Pentru o intrare dată, valorile conductanței greutăților sinaptice sunt reprogramate până când se obține comportamentul țintă al circuitului (vezi Metode).
a Măsurători experimentale ale răspunsului a nouă neuroni individuali selectați aleatoriu la același impuls de intrare. Răspunsul variază în funcție de populație, afectând câștigul de intrare și constanta de timp. b Măsurători experimentale ale influenței neuronilor asupra variabilității neuronilor care afectează CD-ul sensibil la direcție. Cei doi neuroni de ieșire CD sensibili la direcție răspund diferit la stimulii de intrare datorită variabilității neuron-la-neuron. Neuronul 0 are un câștig de intrare mai mic decât neuronul 1, așa că este nevoie de trei impulsuri de intrare (în loc de 1) pentru a crea un vârf de ieșire. După cum era de așteptat, neuronul 1 atinge pragul cu două evenimente de intrare. Dacă intrarea 1 ajunge Δt = 50 µs după ce neuronul 0 se declanșează, CD rămâne tăcut deoarece Δt este mai mare decât constanta de timp a neuronului 1 (aproximativ 22 µs). c este redus cu Δt = 20 µs, astfel încât intrarea 1 atinge vârfurile când declanșarea neuronului 1 este încă mare, rezultând detectarea simultană a două evenimente de intrare.
Cele două elemente utilizate în coloana de calcul ITD sunt linia de întârziere și CD-ul insensibil la direcție. Ambele circuite necesită o calibrare precisă pentru a asigura performanțe bune de poziționare a obiectelor. Linia de întârziere trebuie să furnizeze o versiune întârziată cu precizie a vârfului de intrare (Fig. 6a), iar CD-ul trebuie activat numai atunci când intrarea se încadrează în domeniul de detectare a țintei. Pentru linia de întârziere, greutățile sinaptice ale conexiunilor de intrare (G3 în Fig. 4a) au fost reprogramate până la obținerea întârzierii țintă. Setați o toleranță în jurul întârzierii țintă pentru a opri programul: cu cât toleranța este mai mică, cu atât este mai dificil să setați cu succes linia de întârziere. Pe fig. Figura 6b prezintă rezultatele procesului de calibrare a liniei de întârziere: se poate observa că schema propusă poate furniza exact toate întârzierile necesare în schema de proiectare (de la 10 la 300 μs). Numărul maxim de iterații de calibrare afectează calitatea procesului de calibrare: 200 de iterații pot reduce eroarea la mai puțin de 5%. O iterație de calibrare corespunde unei operații de setare/resetare a unei celule RRAM. Procesul de reglare este, de asemenea, esențial pentru îmbunătățirea acurateței detectării instantanee a evenimentelor de închidere a modulului CD. Au fost necesare zece iterații de calibrare pentru a obține o rată adevărată pozitivă (adică, rata evenimentelor identificate corect ca relevante) peste 95% (linia albastră din Figura 6c). Cu toate acestea, procesul de reglare nu a afectat evenimentele fals pozitive (adică frecvența evenimentelor care au fost identificate în mod eronat ca relevante). O altă metodă observată în sistemele biologice pentru depășirea constrângerilor de timp ale căilor de activare rapidă este redundanța (adică, multe copii ale aceluiași obiect sunt folosite pentru a îndeplini o anumită funcție). Inspirați de biology66, am plasat mai multe circuite CD în fiecare modul CD între cele două linii de întârziere pentru a reduce impactul fals pozitive. După cum se arată în fig. 6c (linia verde), plasarea a trei elemente CD în fiecare modul CD poate reduce rata alarmei false la mai puțin de 10–2.
a Efectul variabilității neuronale asupra circuitelor liniei de întârziere. b Circuitele liniei de întârziere pot fi scalate la întârzieri mari prin setarea constantelor de timp ale neuronilor LIF corespunzători și sinapselor DPI la valori mari. Creșterea numărului de iterații ale procedurii de calibrare RRAM a făcut posibilă îmbunătățirea semnificativă a preciziei întârzierii țintei: 200 de iterații au redus eroarea la mai puțin de 5%. O iterație corespunde unei operații SET/RESET pe o celulă RRAM. Fiecare modul CD din modelul c Jeffress poate fi implementat folosind N elemente CD paralele pentru o mai mare flexibilitate în ceea ce privește defecțiunile sistemului. d Mai multe iterații de calibrare RRAM cresc rata pozitivă adevărată (linia albastră), în timp ce rata pozitivă fals este independentă de numărul de iterații (linia verde). Plasarea mai multor elemente CD în paralel evită detectarea falsă a potrivirilor modulelor CD.
Acum evaluăm performanța și consumul de energie al sistemului de localizare a obiectelor integrate end-to-end prezentat în Figura 2 utilizând măsurători ale proprietăților acustice ale senzorului pMUT, CD-ului și circuitelor de linie de întârziere care alcătuiesc graficul de calcul neuromorf. Modelul Jeffress (Fig. 1a). În ceea ce privește graficul de calcul neuromorf, cu cât numărul de module CD este mai mare, cu atât rezoluția unghiulară este mai bună, dar și energia sistemului este mai mare (Fig. 7a). Se poate ajunge la un compromis prin compararea preciziei componentelor individuale (senzori pMUT, neuroni și circuite sinaptice) cu precizia întregului sistem. Rezoluția liniei de întârziere este limitată de constantele de timp ale sinapselor și neuronilor simulați, care în schema noastră depășesc 10 µs, ceea ce corespunde unei rezoluții unghiulare de 4° (vezi Metode). Nodurile mai avansate cu tehnologie CMOS vor permite proiectarea circuitelor neuronale și sinaptice cu constante de timp mai mici, rezultând o precizie mai mare a elementelor liniei de întârziere. Cu toate acestea, în sistemul nostru, precizia este limitată de eroarea pMUT în estimarea poziției unghiulare, adică 10° (linia orizontală albastră în Fig. 7a). Am fixat numărul de module CD la 40, ceea ce corespunde unei rezoluții unghiulare de aproximativ 4°, adică acuratețea unghiulară a graficului de calcul (linia orizontală albastru deschis în Fig. 7a). La nivel de sistem, aceasta oferă o rezoluție de 4° și o precizie de 10° pentru obiectele situate la 50 cm în fața sistemului de senzori. Această valoare este comparabilă cu sistemele de localizare a sunetelor neuromorfe raportate în ref. 67. O comparație a sistemului propus cu stadiul tehnicii poate fi găsită în Tabelul suplimentar 1. Adăugarea de pMUT-uri suplimentare, creșterea nivelului semnalului acustic și reducerea zgomotului electronic sunt modalități posibile de îmbunătățire în continuare a preciziei de localizare. ) este estimat la 9,7. nz. 55. Având în vedere 40 de unități CD pe graficul de calcul, simularea SPICE a estimat energia per operație (adică energia de poziționare a obiectului) la 21,6 nJ. Sistemul neuromorf este activat doar atunci când sosește un eveniment de intrare, adică atunci când o undă acustică ajunge la orice receptor pMUT și depășește pragul de detectare, în caz contrar rămâne inactiv. Acest lucru evită consumul de energie inutil atunci când nu există semnal de intrare. Având în vedere o frecvență a operațiilor de localizare de 100 Hz și o perioadă de activare de 300 µs per operație (ITD maxim posibil), consumul de energie al graficului de calcul neuromorf este de 61,7 nW. Cu preprocesarea neuromorfă aplicată fiecărui receptor pMUT, consumul de energie al întregului sistem ajunge la 81,6 nW. Pentru a înțelege eficiența energetică a abordării neuromorfe propuse în comparație cu hardware-ul convențional, am comparat acest număr cu energia necesară pentru a efectua aceeași sarcină pe un microcontroler modern de putere mică, folosind fie formarea fasciculului neuromorfă, fie convențională68 Skill. Abordarea neuromorfă ia în considerare o etapă de convertor analog-digital (ADC), urmată de un filtru trece-bandă și o etapă de extracție a anvelopei (metoda Teeger-Kaiser). În cele din urmă, se efectuează o operație de prag pentru a extrage ToF. Am omis calculul ITD pe baza ToF și conversia în poziția unghiulară estimată, deoarece aceasta are loc o dată pentru fiecare măsurătoare (vezi Metode). Presupunând o rată de eșantionare de 250 kHz pe ambele canale (receptoare pMUT), 18 operațiuni de filtru trece-bandă, 3 operațiuni de extracție a anvelopei și 1 operațiune de prag per probă, consumul total de energie este estimat la 245 de microwați. Acesta folosește modul de consum redus al microcontrolerului69, care se activează atunci când algoritmii nu se execută, ceea ce reduce consumul de energie la 10,8 µW. Consumul de energie al soluției de procesare a semnalului beamforming propusă în referință. 31, cu 5 receptoare pMUT și 11 fascicule distribuite uniform în planul azimutal [-50°, +50°], este de 11,71 mW (a se vedea secțiunea Metode pentru detalii). În plus, raportăm consumul de energie al unui codificator de diferență de timp (TDE) bazat pe FPGA47, estimat la 1,5 mW, ca înlocuitor pentru modelul Jeffress pentru localizarea obiectelor. Pe baza acestor estimări, abordarea neuromorfă propusă reduce consumul de energie cu cinci ordine de mărime în comparație cu un microcontroler care utilizează tehnici clasice de formare a fasciculului pentru operațiunile de localizare a obiectelor. Adoptarea unei abordări neuromorfe a procesării semnalului pe un microcontroler clasic reduce consumul de energie cu aproximativ două ordine de mărime. Eficacitatea sistemului propus poate fi explicată prin combinarea unui circuit analog rezistiv-memorie asincron capabil să efectueze calcule în memorie și lipsa conversiei analog-digitale necesare pentru a percepe semnalele.
a Rezoluția unghiulară (albastru) și consumul de energie (verde) al operației de localizare în funcție de numărul de module CD. Bara orizontală albastru închis reprezintă acuratețea unghiulară a PMUT, iar bara orizontală albastru deschis reprezintă acuratețea unghiulară a graficului computațional neuromorf. b Consumul de energie al sistemului propus și comparația cu cele două implementări de microcontroler discutate și implementarea digitală a codificatorului de diferență de timp (TDE)47 FPGA.
Pentru a minimiza consumul de energie al sistemului de localizare a țintei, am conceput, proiectat și implementat un circuit neuromorf eficient, bazat pe RRAM, bazat pe evenimente, care procesează informațiile de semnal generate de senzorii încorporați pentru a calcula poziția obiectului țintă în mod real. timp. . În timp ce metodele tradiționale de procesare eșantionează continuu semnalele detectate și efectuează calcule pentru a extrage informații utile, soluția neuromorfă propusă efectuează calcule asincron pe măsură ce sosesc informații utile, maximizând eficiența puterii sistemului cu cinci ordine de mărime. În plus, subliniem flexibilitatea circuitelor neuromorfe bazate pe RRAM. Capacitatea RRAM de a schimba conductanța într-o manieră nevolatilă (plasticitate) compensează variabilitatea inerentă a circuitelor sinaptice și neuronale ale DPI analogice de putere ultra scăzută. Acest lucru face acest circuit bazat pe RRAM versatil și puternic. Scopul nostru nu este să extragem funcții sau modele complexe din semnale, ci să localizăm obiecte în timp real. De asemenea, sistemul nostru poate comprima eficient semnalul și, în cele din urmă, îl poate trimite la pașii de procesare ulterioare pentru a lua decizii mai complexe atunci când este necesar. În contextul aplicațiilor de localizare, pasul nostru de preprocesare neuromorfă poate oferi informații despre locația obiectelor. Aceste informații pot fi utilizate, de exemplu, pentru detectarea mișcării sau recunoașterea gesturilor. Subliniem importanța combinării senzorilor de putere ultra scăzută, cum ar fi pMUT-urile, cu electronice de putere ultra scăzută. Pentru aceasta, abordările neuromorfe au fost esențiale, deoarece ne-au determinat să dezvoltăm noi implementări de circuite ale metodelor computaționale inspirate biologic, cum ar fi modelul Jeffress. În contextul aplicațiilor de fuziune a senzorilor, sistemul nostru poate fi combinat cu mai mulți senzori diferiți bazați pe evenimente pentru a obține informații mai precise. Deși bufnițele sunt excelente în a găsi prada în întuneric, au o vedere excelentă și efectuează o căutare combinată auditivă și vizuală înainte de a prinde prada70. Când un anumit neuron auditiv se declanșează, bufnița primește informațiile de care are nevoie pentru a determina în ce direcție să înceapă căutarea vizuală, concentrându-și astfel atenția asupra unei mici părți a scenei vizuale. O combinație de senzori vizuali (camera DVS) și un senzor de ascultare propus (pe baza pMUT) ar trebui explorată pentru dezvoltarea viitorilor agenți autonomi.
Senzorul pMUT este amplasat pe un PCB cu două receptoare la aproximativ 10 cm distanță, iar transmițătorul este situat între receptoare. În această lucrare, fiecare membrană este o structură bimorfă suspendată constând din două straturi de nitrură de aluminiu piezoelectrică (AlN) cu o grosime de 800 nm, plasate între trei straturi de molibden (Mo) de 200 nm grosime și acoperite cu un strat de 200 nm gros. stratul superior de pasiv SiN așa cum este descris în referință. 71. Electrozii interior și exterior sunt aplicați pe straturile inferioare și superioare de molibden, în timp ce electrodul din mijloc de molibden nu este modelat și este folosit ca masă, rezultând o membrană cu patru perechi de electrozi.
Această arhitectură permite utilizarea unei deformări comune a membranei, rezultând o sensibilitate îmbunătățită de transmisie și recepție. Un astfel de pMUT prezintă de obicei o sensibilitate de excitare de 700 nm/V ca emițător, oferind o presiune de suprafață de 270 Pa/V. Ca receptor, un film pMUT prezintă o sensibilitate la scurtcircuit de 15 nA/Pa, care este direct legată de coeficientul piezoelectric al AlN. Variabilitatea tehnică a tensiunii din stratul de AlN duce la o modificare a frecvenței de rezonanță, care poate fi compensată prin aplicarea unei polarizări DC la pMUT. Sensibilitatea DC a fost măsurată la 0,5 kHz/V. Pentru caracterizarea acustică se folosește un microfon în fața pMUT.
Pentru a măsura pulsul ecou, ​​am plasat o placă dreptunghiulară cu o suprafață de aproximativ 50 cm2 în fața pMUT pentru a reflecta undele sonore emise. Atât distanța dintre plăci, cât și unghiul față de planul pMUT sunt controlate folosind suporturi speciale. O sursă de tensiune Tectronix CPX400DP polarizează trei membrane pMUT, ajustând frecvența de rezonanță la 111,9 kHz31, în timp ce transmițătoarele sunt conduse de un generator de impulsuri Tectronix AFG 3102 reglat la frecvența de rezonanță (111,9 kHz) și un ciclu de lucru de 0. Curenții citiți de la cele patru porturi de ieșire ale fiecărui receptor pMUT sunt convertiți în tensiuni folosind o arhitectură specială de curent și tensiune diferențială, iar semnalele rezultate sunt digitizate de sistemul de achiziție de date Spektrum. Limita de detecție a fost caracterizată prin achiziția semnalului pMUT în diferite condiții: am mutat reflectorul la diferite distanțe [30, 40, 50, 60, 80, 100] cm și am schimbat unghiul de sprijin pMUT ([0, 20, 40] o ) Figura 2b arată rezoluția temporală de detecție a ITD în funcție de poziția unghiulară corespunzătoare în grade.
Acest articol folosește două circuite RRAM disponibile diferite. Primul este o matrice de 16.384 (16.000) dispozitive (128 × 128 dispozitive) într-o configurație 1T1R cu un tranzistor și un rezistor. Al doilea cip este platforma neuromorfă prezentată în Fig. 4a. Celula RRAM constă dintr-o peliculă de HfO2 grosime de 5 nm încorporată într-o stivă TiN/HfO2/Ti/TiN. Stack-ul RRAM este integrat în back-of-line (BEOL) al procesului CMOS standard de 130 nm. Circuitele neuromorfe bazate pe RRAM prezintă o provocare de proiectare pentru sistemele electronice analogice în care dispozitivele RRAM coexistă cu tehnologia CMOS tradițională. În special, starea de conducere a dispozitivului RRAM trebuie citită și utilizată ca o variabilă de funcție pentru sistem. În acest scop, a fost proiectat, fabricat și testat un circuit care citește curentul de la dispozitiv atunci când este primit un impuls de intrare și utilizează acest curent pentru a pondere răspunsul unei sinapse a integratorului de perechi diferențiale (DPI). Acest circuit este prezentat în Figura 3a, care reprezintă blocurile de bază ale platformei neuromorfe din Figura 4a. Un impuls de intrare activează poarta dispozitivului 1T1R, inducând un curent prin RRAM proporțional cu conductanța G a dispozitivului (Iweight = G(Vtop – Vx)). Intrarea de inversare a circuitului amplificatorului operațional (op-amp) are o tensiune de polarizare DC constantă Vtop. Feedback-ul negativ al amplificatorului operațional va oferi Vx = Vtop prin furnizarea de curent egal de la M1. Greutatea I actuală preluată de pe dispozitiv este injectată în sinapsa DPI. Un curent mai puternic va duce la o depolarizare mai mare, astfel încât conductanța RRAM implementează în mod eficient greutățile sinaptice. Acest curent sinaptic exponențial este injectat prin condensatorul de membrană al neuronilor Leaky Integration and Excitation (LIF), unde este integrat ca tensiune. Dacă tensiunea de prag a membranei (tensiunea de comutare a invertorului) este depășită, partea de ieșire a neuronului este activată, producând un vârf de ieșire. Acest puls revine și șuntează condensatorul de membrană al neuronului la masă, determinându-l să se descarce. Acest circuit este apoi completat cu un expandator de impuls (neprezentat în Fig. 3a), care modelează impulsul de ieșire al neuronului LIF la lățimea impulsului țintă. Multiplexoarele sunt, de asemenea, încorporate în fiecare linie, permițând aplicarea tensiunii electrozilor de sus și de jos ai dispozitivului RRAM.
Testarea electrică include analiza și înregistrarea comportamentului dinamic al circuitelor analogice, precum și programarea și citirea dispozitivelor RRAM. Ambii pași necesită instrumente speciale, toate fiind conectate la placa senzorului în același timp. Accesul la dispozitivele RRAM din circuitele neuromorfe se realizează din instrumente externe printr-un multiplexor (MUX). MUX-ul separă celula 1T1R de restul circuitului căruia îi aparține, permițând citirea și/sau programarea dispozitivului. Pentru a programa și a citi dispozitivele RRAM, o mașină Keithley 4200 SCS este utilizată împreună cu un microcontroler Arduino: primul pentru generarea precisă a impulsurilor și citirea curentului, iar al doilea pentru acces rapid la elementele individuale 1T1R din matricea de memorie. Prima operație este formarea dispozitivului RRAM. Celulele sunt selectate una câte una și se aplică o tensiune pozitivă între electrozii de sus și de jos. În acest caz, curentul este limitat la ordinul a zeci de microamperi datorită furnizării tensiunii de poartă corespunzătoare la tranzistorul selector. Celula RRAM poate apoi să circule între o stare conductivă scăzută (LCS) și o stare conductivă ridicată (HCS) utilizând operațiunile RESET și, respectiv, SET. Operația SET este efectuată prin aplicarea unui impuls de tensiune dreptunghiular cu o durată de 1 μs și o tensiune de vârf de 2,0-2,5 V la electrodul superior și un impuls de sincronizare de o formă similară cu o tensiune de vârf de 0,9-1,3 V la poarta tranzistorului selector. Aceste valori permit modularea conductanței RRAM la intervale de 20-150 µs. Pentru RESET, un impuls de vârf de 1 µs lățime, 3 V este aplicat electrodului inferior (linia de biți) al celulei atunci când tensiunea de poartă este în intervalul 2,5-3,0 V. Intrările și ieșirile circuitelor analogice sunt semnale dinamice . Pentru intrare, am intercalat două generatoare de impulsuri HP 8110 cu generatoare de semnal Tektronix AFG3011. Impulsul de intrare are o lățime de 1 µs și o margine de creștere/coborare de 50 ns. Se presupune că acest tip de puls este o defecțiune tipică în circuitele bazate pe erori analogice. În ceea ce privește semnalul de ieșire, semnalul de ieșire a fost înregistrat folosind un osciloscop Teledyne LeCroy 1 GHz. S-a dovedit că viteza de achiziție a unui osciloscop nu este un factor limitativ în analiza și achiziția datelor circuitului.
Utilizarea dinamicii electronicii analogice pentru a simula comportamentul neuronilor și al sinapselor este o soluție elegantă și eficientă pentru îmbunătățirea eficienței computaționale. Dezavantajul acestui suport de calcul este că va varia de la schemă la schemă. Am cuantificat variabilitatea neuronilor și a circuitelor sinaptice (Fig. 2a, b suplimentare). Dintre toate manifestările de variabilitate, cele asociate cu constantele de timp și câștigul de intrare au cel mai mare impact la nivel de sistem. Constanta de timp a neuronului LIF și a sinapsei DPI este determinată de un circuit RC, unde valoarea lui R este controlată de o tensiune de polarizare aplicată la poarta tranzistorului (Vlk pentru neuron și Vtau pentru sinapsă), determinând rata de scurgere. Câștigul de intrare este definit ca tensiunea de vârf atinsă de condensatoarele membranare sinaptice și neuronale stimulate de un impuls de intrare. Câștigul de intrare este controlat de un alt tranzistor de polarizare care modulează curentul de intrare. A fost efectuată o simulare Monte Carlo calibrată pe procesul de 130 nm al ST Microelectronics pentru a colecta unele statistici privind amplificarea de intrare și constanta de timp. Rezultatele sunt prezentate în Figura suplimentară 2, unde câștigul de intrare și constanta de timp sunt cuantificate în funcție de tensiunea de polarizare care controlează rata de scurgere. Markerii verzi cuantifică abaterea standard a constantei de timp de la medie. Atât neuronii, cât și circuitele sinaptice au fost capabili să exprime o gamă largă de constante de timp în intervalul de 10-5-10-2 s, așa cum se arată în schema Fig. Amplificarea de intrare (Fig. 2e, d) suplimentară a variabilității neuronale și a sinapselor a fost de aproximativ 8%, respectiv 3%. O astfel de deficiență este bine documentată în literatură: au fost efectuate diferite măsurători pe matricea de cipuri DYNAP pentru a evalua nepotrivirea dintre populațiile de neuroni LIF63. Sinapsele din cipul de semnal mixt BrainScale au fost măsurate și inconsecvențele lor au fost analizate și a fost propusă o procedură de calibrare pentru a reduce efectul variabilității la nivel de sistem64.
Funcția RRAM în circuitele neuromorfe este dublă: definirea arhitecturii (rutarea intrărilor la ieșiri) și implementarea greutăților sinaptice. Această ultimă proprietate poate fi utilizată pentru a rezolva problema variabilității circuitelor neuromorfe modelate. Am dezvoltat o procedură simplă de calibrare care presupune reprogramarea dispozitivului RRAM până când circuitul analizat îndeplinește anumite cerințe. Pentru o intrare dată, ieșirea este monitorizată și RRAM-ul este reprogramat până când este atins comportamentul țintă. A fost introdus un timp de așteptare de 5 s între operațiunile de programare pentru a rezolva problema relaxării RRAM care rezultă în fluctuații tranzitorii ale conductanței (Informații suplimentare). Greutățile sinaptice sunt ajustate sau calibrate în funcție de cerințele circuitului neuromorf care se modelează. Procedura de calibrare este rezumată în algoritmi suplimentari [1, 2] care se concentrează pe două caracteristici fundamentale ale platformelor neuromorfe, liniile de întârziere și CD insensibil la direcție. Pentru un circuit cu o linie de întârziere, comportamentul țintă este de a furniza un impuls de ieșire cu o întârziere Δt. Dacă întârzierea reală a circuitului este mai mică decât valoarea țintă, greutatea sinaptică a lui G3 ar trebui redusă (G3 ar trebui să fie resetat și apoi setat la un curent de potrivire Icc mai mic). În schimb, dacă întârzierea reală este mai mare decât valoarea țintă, conductanța lui G3 trebuie crescută (G3 trebuie mai întâi resetat și apoi setat la o valoare Icc mai mare). Acest proces se repetă până când întârzierea generată de circuit se potrivește cu valoarea țintă și este setată o toleranță pentru a opri procesul de calibrare. Pentru CD-urile insensibile la orientare, în procesul de calibrare sunt implicate două dispozitive RRAM, G1 și G3. Acest circuit are două intrări, Vin0 și Vin1, întârziate de dt. Circuitul ar trebui să răspundă numai la întârzierile sub intervalul de potrivire [0,dtCD]. Dacă nu există un vârf de ieșire, dar vârful de intrare este aproape, ambele dispozitive RRAM ar trebui să fie amplificate pentru a ajuta neuronul să atingă pragul. În schimb, dacă circuitul răspunde la o întârziere care depășește domeniul țintă al dtCD, conductanța trebuie redusă. Repetați procesul până când se obține comportamentul corect. Curentul de conformitate poate fi modulat de circuitul analogic încorporat din ref. 72,73. Cu acest circuit încorporat, astfel de proceduri pot fi efectuate periodic pentru a calibra sistemul sau a-l reutiliza pentru o altă aplicație.
Evaluăm consumul de energie al abordării noastre de procesare a semnalului neuromorf pe un microcontroler standard de 32 de biți68. În această evaluare, presupunem funcționarea cu aceeași setare ca în această lucrare, cu un transmițător pMUT și două receptoare pMUT. Această metodă folosește un filtru trece-bandă, urmat de o etapă de extracție a anvelopei (Teeger-Kaiser), iar în final se aplică semnalului o operație de prag pentru a extrage timpul de zbor. Calculul ITD și conversia acestuia în unghiuri de detectare sunt omise în evaluare. Considerăm o implementare a filtrului trece bandă folosind un filtru de răspuns la impuls infinit de ordinul 4 care necesită 18 operații în virgulă mobilă. Extragerea plicului folosește încă trei operațiuni în virgulă mobilă, iar ultima operație este folosită pentru a seta pragul. Un total de 22 de operații în virgulă mobilă sunt necesare pentru a preprocesa semnalul. Semnalul transmis este o rafală scurtă de formă de undă sinusoidală de 111,9 kHz generată la fiecare 10 ms, rezultând o frecvență de funcționare de poziționare de 100 Hz. Am folosit o frecvență de eșantionare de 250 kHz pentru a respecta Nyquist și o fereastră de 6 ms pentru fiecare măsurătoare pentru a capta o gamă de 1 metru. Rețineți că 6 milisecunde este timpul de zbor al unui obiect aflat la 1 metru distanță. Aceasta oferă un consum de energie de 180 µW pentru conversia A/D la 0,5 MSPS. Preprocesarea semnalului este de 6,60 MIPS (instrucțiuni pe secundă), generând 0,75 mW. Cu toate acestea, microcontrolerul poate comuta la un mod de putere redusă 69 când algoritmul nu rulează. Acest mod oferă un consum de energie static de 10,8 μW și un timp de trezire de 113 μs. Având în vedere o frecvență de ceas de 84 MHz, microcontrolerul finalizează toate operațiunile algoritmului neuromorf în 10 ms, iar algoritmul calculează un ciclu de lucru de 6,3%, folosind astfel un mod de putere redusă. Puterea de disipare rezultată este de 244,7 μW. Rețineți că omitem ieșirea ITD din ToF și conversia în unghiul de detectare, subestimând astfel consumul de energie al microcontrolerului. Aceasta oferă o valoare suplimentară pentru eficiența energetică a sistemului propus. Ca o condiție suplimentară de comparație, evaluăm consumul de energie al metodelor clasice de beamforming propuse în referință. 31,54 când este încorporat în același microcontroler68 la o tensiune de alimentare de 1,8 V. Cinci membrane pMUT spațiate uniform sunt utilizate pentru a obține date pentru formarea fasciculului. În ceea ce privește procesarea în sine, metoda de formare a fasciculului utilizată este sumarea întârzierii. Constă pur și simplu în aplicarea unei întârzieri pe benzi care să corespundă diferenței așteptate de timpi de sosire între o bandă și banda de referință. Dacă semnalele sunt în fază, suma acestor semnale va avea o energie mare după o schimbare de timp. Dacă sunt defazate, interferența distructivă va limita energia sumei lor. într-o relație. Pe fig. 31, este selectată o rată de eșantionare de 2 MHz pentru a deplasa datele cu un număr întreg de eșantioane. O abordare mai modestă este de a menține o frecvență de eșantionare mai grosieră de 250 kHz și de a utiliza un filtru de răspuns la impuls finit (FIR) pentru a sintetiza întârzierile fracționale. Vom presupune că complexitatea algoritmului de formare a fasciculului este determinată în principal de deplasarea în timp, deoarece fiecare canal este convoluat cu un filtru FIR cu 16 atingeri în fiecare direcție. Pentru a calcula numărul de MIPS necesar pentru această operație, luăm în considerare o fereastră de 6 ms per măsurare pentru a capta o gamă de 1 metru, 5 canale, 11 direcții de formare a fasciculului (gamă +/- 50° în pași de 10°). 75 de măsurători pe secundă au împins microcontrolerul la maximul său de 100 MIPS. Legătură. 68, rezultând o putere de disipare de 11,26 mW pentru o putere totală de disipare de 11,71 mW după adăugarea contribuției ADC la bord.
Datele care susțin rezultatele acestui studiu sunt disponibile de la autorul respectiv, FM, la cerere rezonabilă.
Indiveri, G. & Sandamirskaya, Y. Importanța spațiului și a timpului pentru procesarea semnalului în agenții neuromorfi: provocarea dezvoltării de agenți autonomi de putere redusă care interacționează cu mediul. Indiveri, G. & Sandamirskaya, Y. Importanța spațiului și a timpului pentru procesarea semnalului în agenții neuromorfi: provocarea dezvoltării de agenți autonomi de putere redusă care interacționează cu mediul.Indiveri G. și Sandamirskaya Y. Importanța spațiului și a timpului pentru procesarea semnalului în agenții neuromorfi: provocarea dezvoltării agenților autonomi de putere redusă care interacționează cu mediul. Indiveri, G. și Sandamirskaya, Y.空间和时间对于神经形态代理中信号处理的重要性：开发与环境交互的低功耗、自主代理的挑战。 Indiveri, G. și Sandamirskaya, Y.Indiveri G. și Sandamirskaya Y. Importanța spațiului și a timpului pentru procesarea semnalului în agenții neuromorfi: provocarea dezvoltării agenților autonomi de putere redusă care interacționează cu mediul.Procesarea semnalului IEEE. Jurnalul 36, 16–28 (2019).
Thorpe, SJ Ora maximă de sosire: o schemă eficientă de codare a rețelei neuronale. în Eckmiller, R., Hartmann, G. & Hauske, G. (eds). în Eckmiller, R., Hartmann, G. & Hauske, G. (eds).în Eckmiller, R., Hartmann, G. şi Hauske, G. (eds.).În Eckmiller, R., Hartmann, G. și Hauske, G. (eds.). Procesare paralelă în sisteme neuronale și computere 91–94 (North-Holland Elsevier, 1990).
Levy, WB & Calvert, VG Communication consumă de 35 de ori mai multă energie decât calculul în cortexul uman, dar ambele costuri sunt necesare pentru a prezice numărul sinapselor. Levy, WB & Calvert, VG Communication consumă de 35 de ori mai multă energie decât calculul în cortexul uman, dar ambele costuri sunt necesare pentru a prezice numărul sinapselor.Levy, WB și Calvert, WG Communication consumă de 35 de ori mai multă energie decât calculul în cortexul uman, dar ambele costuri sunt necesare pentru a prezice numărul de sinapse. Levy, WB & Calvert, VG Communication Levy, WB & Calvert, VG CommunicationLevy, WB și Calvert, WG Communication consumă de 35 de ori mai multă energie decât calculul în cortexul uman, dar ambele costuri necesită prezicerea numărului de sinapse.proces. Academia Națională de Științe. stiinta. US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing.Dalgati, T., Vianello, E., DeSalvo, B. și Casas, J. Insect-inspired neuromorphic computing.Dalgati T., Vianello E., DeSalvo B. și Casas J. Insect-inspired neuromorphic computing. Actual. Opinie. Știința insectelor. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Către inteligența mașinilor bazată pe spike cu calcul neuromorf. Roy, K., Jaiswal, A. & Panda, P. Către inteligența mașinilor bazată pe spike cu calcul neuromorf. Roy, K., Jaiswal, A. & Panda, P. Către Spike-Based Machine Intelligence cu Neuromorphic Computing.Roy K, Jaiswal A și Panda P. Inteligența artificială bazată pe puls folosind calculul neuromorf. Natura 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. și Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. și Liu, S.-K.Procesarea memoriei și a informațiilor în sisteme neuromorfe. proces. IEEE 103, 1379–1397 (2015).
Akopyan F. şi colab. Truenorth: Design și set de instrumente pentru un cip sinaptic programabil de 65 mW și 1 milion de neuroni. Tranzacții IEEE. Proiectare computerizată a sistemelor de circuite integrate. 34, 1537–1557 (2015).
Schemmel, J. şi colab. Demo live: versiune redusă a sistemului neuromorf BrainScaleS la scara plăcii. 2012 IEEE International Symposium on Circuits and Systems (ISCAS), (ed. IEEE) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. O arhitectură multicore scalabilă cu structuri de memorie eterogene pentru procesoare asincrone neuromorfe dinamice (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. O arhitectură multicore scalabilă cu structuri de memorie eterogene pentru procesoare asincrone neuromorfe dinamice (DYNAP).Moradi S., Qiao N., Stefanini F. și Indiviri G. O arhitectură multicore scalabilă cu structuri de memorie eterogene pentru procesoare asincrone neuromorfe dinamice (DYNAP). Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. 一种可扩展的多核架构，具有用于动态神经形态神经形态神经形态神经形态夂扩展的多核架构的异构内存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Un fel de arhitectură multi-core extensibilă, cu o structură de memorie unică pentru procesarea neuronală dinamică (DYNAP).Moradi S., Qiao N., Stefanini F. și Indiviri G. O arhitectură multicore scalabilă cu structuri de memorie eterogene pentru procesoare asincrone neuromorfe dinamice (DYNAP).Tranzacții IEEE privind știința biomedicală. sistem electric. 12, 106–122 (2018).
Davis, M. şi colab. Loihi: Un procesor multi-core neuromorf cu învățare încorporată. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA Proiectul SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA Proiectul SpiNNaker.Proiectul Ferber SB, Galluppi F., Temple S. și Plana LA SpiNNaker.Proiectul Ferber SB, Galluppi F., Temple S. și Plana LA SpiNNaker. proces. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Sisteme senzoriale neuromorfice. & Delbruck, T. Sisteme senzoriale neuromorfice.și Delbrück T. Sisteme senzoriale neuromorfe. & Delbruck, T. 神经形态感觉系统。 & Delbruck, T.și Delbrück T. Sistemul senzorial neuromorfic.Actual. Opinie. Neurobiologie. 20, 288–295 (2010).
Chope, T. şi colab. Integrare senzorială neuromorfă pentru localizarea combinată a sursei de sunet și evitarea coliziunilor. În 2019, la Conferința IEEE privind circuitele și sistemele biomedicale (BioCAS), (Ed. IEEE) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. A spike-based neuromorphic architecture of stereo vision. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. A spike-based neuromorphic architecture of stereo vision.Risi N, Aymar A, Donati E, Solinas S și Indiveri G. A spike-based neuromorphic stereovision architecture. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S, and Indiveri G. Spike-based neuromorphic architecture for stereo vision.faţă. Neurorobotics 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Un model de rețea neuronală cu vârf de percepție 3D pentru sisteme de vedere stereo neuromorfe bazate pe evenimente. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Un model de rețea neuronală cu vârf de percepție 3D pentru sisteme de vedere stereo neuromorfe bazate pe evenimente.Oswald, M., Ieng, S.-H., Benosman, R. și Indiveri, G. A 3D Pulsed Neural Network Perception Model for Event-Based Neuromorphic Stereo Vision Systems. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R. și Indiveri, G. Spiked 3Dperception Neural Network Model for an Event-Based Neuromorphic Stereo Vision System.stiinta. Raportul 7, 1–11 (2017).
Dalgaty, T. şi colab. Detectarea mișcării de bază inspirată de insecte include memorie rezistivă și rețele neuronale explozive. Sistem biohibrid bionic. 10928, 115–128 (2018).
D'Angelo, G. şi colab. Detectarea mișcării excentrice bazată pe evenimente folosind codificare diferențială temporală. fata. Neurologie. 14, 451 (2020).