Aplikacije za obdelavo podatkov v resničnem svetu zahtevajo kompaktne računalniške sisteme z majhno zakasnitvijo in nizko porabo energije. Z računalniškimi zmogljivostmi, ki temeljijo na dogodkih, komplementarne hibridne pomnilniške nevromorfne arhitekture kovinskega oksida in polprevodnika zagotavljajo idealno osnovo strojne opreme za takšne naloge. Da bi prikazali celoten potencial takšnih sistemov, predlagamo in eksperimentalno demonstriramo celovito rešitev za obdelavo senzorjev za aplikacije lokalizacije predmetov v resničnem svetu. Z navdihom pri nevroanatomiji pegaste sove smo razvili biološko navdihnjen sistem za lokalizacijo objektov, ki temelji na dogodkih, ki združuje najsodobnejši piezoelektrični mikromehanski pretvornik pretvornika z računalniškim grafom temelječim nevromorfnim uporovnim pomnilnikom. Prikazujemo meritve izdelanega sistema, ki vključuje pomnilniški uporovni detektor naključij, vezje zakasnilne linije in popolnoma prilagodljiv ultrazvočni pretvornik. Te eksperimentalne rezultate uporabljamo za kalibracijo simulacij na ravni sistema. Te simulacije se nato uporabijo za oceno kotne ločljivosti in energetske učinkovitosti modela lokalizacije objekta. Rezultati kažejo, da je lahko naš pristop za več vrst velikosti energetsko učinkovitejši od mikrokrmilnikov, ki opravljajo isto nalogo.
Vstopamo v obdobje vseprisotnega računalništva, kjer število naprav in sistemov eksponentno narašča, da nam pomagajo v vsakdanjem življenju. Pričakuje se, da bodo ti sistemi delovali neprekinjeno in porabili čim manj energije, medtem ko se bodo učili interpretirati podatke, ki jih zberejo iz več senzorjev v realnem času, in proizvesti binarni izhod kot rezultat nalog razvrščanja ali prepoznavanja. Eden najpomembnejših korakov, potrebnih za dosego tega cilja, je pridobivanje uporabnih in kompaktnih informacij iz šumnih in pogosto nepopolnih senzoričnih podatkov. Običajni inženirski pristopi običajno vzorčijo signale senzorjev s konstantno in visoko hitrostjo, pri čemer se ustvarijo velike količine podatkov tudi v odsotnosti uporabnih vnosov. Poleg tega te metode uporabljajo zapletene tehnike obdelave digitalnih signalov za predhodno obdelavo (pogosto šumnih) vhodnih podatkov. Namesto tega biologija ponuja alternativne rešitve za obdelavo hrupnih senzoričnih podatkov z uporabo energetsko učinkovitih, asinhronih pristopov, ki temeljijo na dogodkih (konice)2,3. Nevromorfno računalništvo se zgleduje po bioloških sistemih za zmanjšanje računalniških stroškov v smislu potreb po energiji in pomnilniku v primerjavi s tradicionalnimi metodami obdelave signalov4,5,6. Pred kratkim so bili predstavljeni inovativni splošni sistemi na osnovi možganov, ki izvajajo impulzne nevronske mreže (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Ti procesorji zagotavljajo rešitve z nizko porabo energije in nizko zakasnitvijo za strojno učenje in modeliranje kortikalnih vezij. Da bi v celoti izkoristili svojo energetsko učinkovitost, morajo biti ti nevromorfni procesorji neposredno povezani s senzorji, ki jih poganjajo dogodki12,13. Vendar pa je danes le nekaj naprav na dotik, ki neposredno zagotavljajo podatke na podlagi dogodkov. Pomembni primeri so dinamični vizualni senzorji (DVS) za aplikacije vida, kot so sledenje in zaznavanje gibanja14,15,16,17 silicijeva polžka18 in nevromorfni slušni senzorji (NAS)19 za obdelavo slušnih signalov, vohalni senzorji20 in številni primeri21,22 dotika. . senzorji teksture.
V tem prispevku predstavljamo na novo razvit sistem zvočne obdelave, ki temelji na dogodkih in se uporablja za lokalizacijo objektov. Tukaj prvič opisujemo sistem od konca do konca za lokalizacijo objektov, pridobljen s povezavo najsodobnejšega piezoelektričnega mikrostrojnega ultrazvočnega pretvornika (pMUT) z računskim grafom, ki temelji na nevromorfnem uporovnem pomnilniku (RRAM). Računalniške arhitekture v pomnilniku, ki uporabljajo RRAM, so obetavna rešitev za zmanjšanje porabe energije23,24,25,26,27,28,29. Njihova inherentna nestanovitnost – ne zahtevajo aktivne porabe energije za shranjevanje ali posodabljanje informacij – se odlično ujema z asinhrono, na dogodke usmerjeno naravo nevromorfnega računalništva, kar povzroči skoraj nič porabe energije, ko sistem miruje. Piezoelektrični mikrostrojni ultrazvočni pretvorniki (pMUT) so poceni, miniaturizirani ultrazvočni pretvorniki na osnovi silicija, ki lahko delujejo kot oddajniki in sprejemniki30,31,32,33,34. Za obdelavo signalov, ki jih prejmejo vgrajeni senzorji, smo črpali navdih iz nevroanatomije pegaste sove35,36,37. Pegasta sova Tyto alba je znana po svojih izjemnih sposobnostih nočnega lova zahvaljujoč zelo učinkovitemu slušnemu lokalizacijskemu sistemu. Za izračun lokacije plena lokalizacijski sistem pege sove kodira čas leta (ToF), ko zvočni valovi plena dosežejo vsako od sovinih ušes ali zvočnih receptorjev. Glede na razdaljo med ušesi razlika med obema meritvama ToF (Interaural Time Difference, ITD) omogoča analitični izračun azimutnega položaja cilja. Čeprav biološki sistemi niso primerni za reševanje algebrskih enačb, lahko zelo učinkovito rešujejo probleme lokalizacije. Živčni sistem pegaste sove uporablja nabor nevronov detektorja naključij (CD)35 (tj. nevronov, ki so sposobni zaznati časovne korelacije med konicami, ki se širijo navzdol do konvergentnih ekscitatornih končičev)38,39, organiziranih v računalniške grafe za reševanje problemov pozicioniranja.
Prejšnje raziskave so pokazale, da je komplementarna strojna oprema kovinski oksid-polprevodnik (CMOS) in nevromorfna strojna oprema na osnovi RRAM, ki se zgleduje po spodnjem kolikulu (»slušni skorji«) pegaste sove, učinkovita metoda za izračun položaja z uporabo ITD13, 40, 41, 42, 43, 44, 45, 46. Vendar je treba potencial popolnih nevromorfnih sistemov, ki povezujejo slušne znake z nevromorfnimi računalniškimi grafi, še dokazati. Glavna težava je inherentna variabilnost analognih vezij CMOS, ki vpliva na natančnost zaznavanja ujemanja. Pred kratkim so bile prikazane alternativne numerične izvedbe ocen ITD47. V tem prispevku predlagamo uporabo zmožnosti RRAM za spreminjanje vrednosti prevodnosti na nehlapen način za preprečevanje variabilnosti v analognih vezjih. Implementirali smo eksperimentalni sistem, sestavljen iz ene oddajne membrane pMUT, ki deluje na frekvenci 111,9 kHz, dveh sprejemnih membran (senzorjev) pMUT, ki simulirata ušesa sove, in enega . Eksperimentalno smo karakterizirali sistem zaznavanja pMUT in računalniški graf ITD, ki temelji na RRAM, da bi preizkusili naš lokalizacijski sistem in ocenili njegovo kotno ločljivost.
Našo metodo primerjamo z digitalno implementacijo na mikrokrmilniku, ki izvaja isto lokalizacijsko nalogo z uporabo običajnih metod oblikovanja snopa ali nevromorfnih metod, kot tudi polje programirljivega niza vrat (FPGA) za oceno ITD, predlaganega v referenci. 47. Ta primerjava poudarja konkurenčno energetsko učinkovitost predlaganega analognega nevromorfnega sistema, ki temelji na RRAM.
Enega najbolj osupljivih primerov natančnega in učinkovitega sistema za lokalizacijo objektov lahko najdemo v pegasti sovi35,37,48. Ob mraku in zori se pegasta sova (Tyto Alba) zanaša predvsem na pasivno poslušanje in aktivno išče majhen plen, kot so voluharji ali miši. Ti slušni strokovnjaki lahko lokalizirajo slušne signale plena z osupljivo natančnostjo (približno 2°)35, kot je prikazano na sliki 1a. Pegaste sove sklepajo o lokaciji virov zvoka v azimutni (vodoravni) ravnini iz razlike v dohodnem času leta (ITD) od vira zvoka do obeh ušes. Jeffress49,50 je predlagal računalniški mehanizem ITD, ki temelji na nevronski geometriji in zahteva dve ključni komponenti: akson, živčno vlakno nevrona, ki deluje kot črta zakasnitve, in niz nevronov detektorjev naključij, organiziranih v računalniški sistem. graf, kot je prikazano na sliki 1b. Zvok doseže uho z azimutno odvisno časovno zakasnitvijo (ITD). Zvok se nato pretvori v vzorec konic v vsakem ušesu. Aksoni levega in desnega ušesa delujejo kot črte zakasnitve in konvergirajo na nevrone CD. Teoretično bo samo en nevron v nizu ujemajočih se nevronov prejel vhod naenkrat (kjer se zakasnitev natančno izniči) in se bo sprožil maksimalno (prožile se bodo tudi sosednje celice, vendar z nižjo frekvenco). Aktivacija določenih nevronov kodira položaj tarče v prostoru brez nadaljnje pretvorbe ITD v kote. Ta koncept je povzet na sliki 1c: na primer, če zvok prihaja z desne strani, ko vhodni signal iz desnega ušesa prepotuje daljšo pot kot pot iz levega ušesa, kar kompenzira na primer število ITD, ko se nevron 2 ujema. Z drugimi besedami, vsak CD se odzove na določen ITD (znan tudi kot optimalna zakasnitev) zaradi aksonske zakasnitve. Tako možgani pretvorijo časovne informacije v prostorske. Najdeni so bili anatomski dokazi za ta mehanizem37,51. Fazno zaklenjeni makronukleusni nevroni shranjujejo časovne informacije o dohodnih zvokih: kot pove njihovo ime, se sprožijo ob določenih fazah signala. Nevroni detektorja naključij Jeffressovega modela se nahajajo v laminarnem jedru. Informacije prejemajo od makronuklearnih nevronov, katerih aksoni delujejo kot črte zakasnitve. Velikost zakasnitve, ki jo zagotavlja zakasnitvena črta, je mogoče razložiti z dolžino aksona, pa tudi z drugim vzorcem mielinizacije, ki spremeni hitrost prevodnosti. Po navdihu slušnega sistema sove pege smo razvili biomimetični sistem za lokalizacijo predmetov. Dve ušesi sta predstavljeni z dvema sprejemnikoma pMUT. Vir zvoka je oddajnik pMUT, ki se nahaja med njima (slika 1a), računski graf pa tvori mreža CD vezij na osnovi RRAM (slika 1b, zelena), ki igrajo vlogo nevronov CD, katerih vhodi so zakasnjeni. skozi vezje zakasnilne črte (modre) delujejo kot aksoni v biološkem dvojniku. Predlagani senzorični sistem se po delovni frekvenci razlikuje od frekvence sove, katere slušni sistem deluje v območju 1–8 kHz, vendar se v tem delu uporabljajo senzorji pMUT, ki delujejo pri približno 117 kHz. Izbira ultrazvočnega pretvornika se obravnava glede na tehnične in optimizacijske kriterije. Prvič, omejitev sprejemne pasovne širine na eno samo frekvenco idealno izboljša natančnost meritev in poenostavi korak naknadne obdelave. Poleg tega ima delovanje v ultrazvoku to prednost, da oddani impulzi niso slišni, torej ne motijo ljudi, saj je njihov slušni obseg ~20-20 kHz.
pegasta sova sprejema zvočne valove od tarče, v tem primeru premikajočega se plena. Čas letenja (ToF) zvočnega vala je drugačen za vsako uho (razen če je plen neposredno pred sovo). Črtkana črta prikazuje pot, po kateri zvočni valovi dosežejo ušesa sove. Plen je mogoče natančno lokalizirati v vodoravni ravnini na podlagi razlike v dolžini med obema akustičnima potoma in ustrezne interauralne časovne razlike (ITD) (leva slika po navdihu ref. 74, avtorske pravice 2002, Society for Neuroscience). V našem sistemu oddajnik pMUT (temno moder) ustvarja zvočne valove, ki se odbijajo od cilja. Odbite ultrazvočne valove sprejemata dva sprejemnika pMUT (svetlo zelena) in jih obdeluje nevromorfni procesor (desno). b ITD (Jeffress) računalniški model, ki opisuje, kako se zvoki, ki vstopajo v ušesa sove, najprej kodirajo kot fazno zaklenjene konice v velikem jedru (NM) in nato z uporabo geometrijsko urejene mreže ujemajočih se detektorskih nevronov v lamelarnem jedru. Obdelava (Nizozemska) (levo). Ilustracija računalniškega grafa neuroITD, ki združuje črte zakasnitve in nevrone detektorja naključij, biosenzorski sistem sove je mogoče modelirati z uporabo nevromorfnih vezij, ki temeljijo na RRAM (desno). c Shema glavnega Jeffressovega mehanizma, zaradi razlike v ToF obe ušesi sprejemata zvočne dražljaje ob različnih časih in pošiljata aksone z obeh koncev v detektor. Aksoni so del niza nevronov detektorja naključij (CD), od katerih se vsak selektivno odziva na močno časovno korelirane vnose. Posledično so maksimalno vzburjeni samo CD-ji, katerih vhodi prispejo z najmanjšo časovno razliko (ITD je natančno kompenziran). CD bo nato kodiral kotni položaj tarče.
Piezoelektrični mikromehanski ultrazvočni pretvorniki so razširljivi ultrazvočni pretvorniki, ki jih je mogoče integrirati z napredno tehnologijo CMOS31,32,33,52 in imajo nižjo začetno napetost in porabo energije kot tradicionalni volumetrični pretvorniki53. Pri našem delu je premer membrane 880 µm, resonančna frekvenca pa je porazdeljena v območju 110–117 kHz (slika 2a, za podrobnosti glejte Metode). V seriji desetih testnih naprav je bil povprečni faktor kakovosti približno 50 (ref. 31). Tehnologija je dosegla industrijsko zrelost in sama po sebi ni biološko navdihnjena. Združevanje informacij iz različnih filmov pMUT je dobro znana tehnika, informacije o kotu pa je mogoče pridobiti iz pMUT z uporabo, na primer, tehnik oblikovanja snopa 31, 54. Vendar obdelava signala, ki je potrebna za pridobivanje informacij o kotu, ni primerna za meritve nizke moči. Predlagani sistem združuje vezje za predprocesiranje nevromorfnih podatkov pMUT z nevromorfnim računalniškim grafom, ki temelji na RRAM in se zgleduje po modelu Jeffress (slika 2c), kar zagotavlja alternativno energetsko učinkovito in z viri omejeno strojno rešitev. Izvedli smo poskus, v katerem sta bila dva senzorja pMUT nameščena približno 10 cm narazen, da bi izkoristili različne ToF zvoke, ki jih sprejemata dve sprejemni membrani. En pMUT, ki deluje kot oddajnik, sedi med sprejemnikoma. Tarča je bila PVC plošča širine 12 cm, ki se je nahajala na razdalji D pred napravo pMUT (slika 2b). Sprejemnik snema zvok, ki se odbija od predmeta, in reagira čim bolj med prehodom zvočnega vala. Poskus ponovimo tako, da spremenimo položaj predmeta, določen z razdaljo D in kotom θ. Po navdihu povezave. 55, predlagamo nevromorfno predhodno obdelavo neobdelanih signalov pMUT za pretvorbo odbitih valov v vrhove za vnos nevromorfnega računalniškega grafa. ToF, ki ustreza amplitudi vrha, se izvleče iz vsakega od obeh kanalov in kodira kot natančen čas posameznih vrhov. Na sl. 2c prikazuje vezje, ki je potrebno za povezovanje senzorja pMUT z računalniškim grafom, ki temelji na RRAM: za vsakega od obeh sprejemnikov pMUT je neobdelani signal pasovno filtriran, da se zgladi, popravi in nato posreduje puščajočemu integratorju v načinu premagovanja. dinamični prag (sl. 2d) ustvari izhodni dogodek (konica) in prožilni (LIF) nevron: izhodni čas konice kodira zaznani čas leta. Prag LIF je umerjen glede na odziv pMUT, s čimer se zmanjša variabilnost pMUT od naprave do naprave. S tem pristopom, namesto da bi shranili celoten zvočni val v pomnilnik in ga pozneje obdelali, preprosto ustvarimo vrh, ki ustreza ToF zvočnega vala, ki tvori vhod v računski graf uporovnega pomnilnika. Konice so poslane neposredno na črte zakasnitve in vzporedne z moduli za zaznavanje ujemanja v nevromorfnih računskih grafih. Ker so poslani do vrat tranzistorjev, ni potrebno dodatno ojačevalno vezje (za podrobnosti glejte dodatno sliko 4). Za ovrednotenje lokalizacijske kotne natančnosti, ki jo zagotavljata pMUT in predlagana metoda obdelave signala, smo izmerili ITD (to je časovno razliko med najvišjimi dogodki, ki jih ustvarita dva sprejemnika), ko sta se razdalja in kot objekta spreminjala. Analiza ITD je bila nato pretvorjena v kote (glej Metode) in narisana glede na položaj predmeta: negotovost v izmerjenem ITD se je povečala z razdaljo in kotom do predmeta (sl. 2e,f). Glavna težava je razmerje med vrhom in šumom (PNR) v odzivu pMUT. Dlje kot je objekt, nižji je zvočni signal, s čimer se zmanjša PNR (slika 2f, zelena črta). Zmanjšanje PNR povzroči povečanje negotovosti v oceni ITD, kar ima za posledico povečanje natančnosti lokalizacije (slika 2f, modra črta). Za objekt na razdalji 50 cm od oddajnika je kotna natančnost sistema približno 10°. To omejitev, ki jo nalagajo značilnosti senzorja, je mogoče izboljšati. Na primer, tlak, ki ga pošilja oddajnik, se lahko poveča, s čimer se poveča napetost, ki poganja membrano pMUT. Druga rešitev za ojačanje oddanega signala je povezava več oddajnikov 56. Te rešitve bodo povečale doseg zaznavanja na račun povečanih stroškov energije. Dodatne izboljšave je mogoče narediti na sprejemni strani. Nivo hrupa sprejemnika pMUT je mogoče znatno zmanjšati z izboljšanjem povezave med pMUT in prvostopenjskim ojačevalnikom, kar se trenutno izvaja z žičnimi povezavami in kabli RJ45.
Slika kristala pMUT s šestimi membranami 880 µm, integriranimi z razmikom 1,5 mm. b Diagram merilne nastavitve. Cilj se nahaja na azimutnem položaju θ in na razdalji D. Oddajnik pMUT ustvari signal 117,6 kHz, ki se odbije od cilja in doseže dva sprejemnika pMUT z različnim časom leta (ToF). Ta razlika, opredeljena kot medzvočna časovna razlika (ITD), kodira položaj predmeta in jo je mogoče oceniti z oceno najvišjega odziva obeh senzorjev sprejemnika. c Shema korakov predhodne obdelave za pretvorbo surovega signala pMUT v zaporedja konic (tj. vnos v nevromorfni računski graf). Senzorji pMUT in nevromorfni računalniški grafi so bili izdelani in preizkušeni, nevromorfna predobdelava pa temelji na programski simulaciji. d Odziv membrane pMUT po prejemu signala in njegovo preoblikovanje v spike domeno. e Eksperimentalna lokalizacijska kotna natančnost kot funkcija kota objekta (Θ) in razdalje (D) do ciljnega predmeta. Metoda ekstrakcije ITD zahteva najmanjšo kotno ločljivost približno 4 °C. f Kotna natančnost (modra črta) in ustrezno razmerje med vrhom in šumom (zelena črta) glede na razdaljo objekta za Θ = 0.
Uporovni pomnilnik shranjuje informacije v nehlapnem prevodnem stanju. Osnovno načelo metode je, da modifikacija materiala na atomski ravni povzroči spremembo njegove električne prevodnosti57. Tu uporabljamo uporovni pomnilnik na osnovi oksida, ki je sestavljen iz 5 nm plasti hafnijevega dioksida, stisnjenega med zgornjo in spodnjo elektrodo iz titana in titanovega nitrida. Prevodnost naprav RRAM je mogoče spremeniti z uporabo tokovne/napetostne valovne oblike, ki ustvari ali prekine prevodne filamente kisikovih prostih mest med elektrodama. Takšne naprave smo integrirali58 v standardni 130 nm CMOS proces, da smo ustvarili izdelano rekonfigurabilno nevromorfno vezje, ki izvaja detektor naključij in vezje zakasnilne črte (slika 3a). Nehlapna in analogna narava naprave v kombinaciji z naravo nevromorfnega vezja, ki ga vodi dogodek, zmanjša porabo energije. Vezje ima funkcijo takojšnjega vklopa/izklopa: deluje takoj po vklopu in omogoča popoln izklop napajanja, ko je vezje v mirovanju. Glavni gradniki predlagane sheme so prikazani na sl. 3b. Sestavljen je iz N vzporednih struktur z enim uporom in enim tranzistorjem (1T1R), ki kodirajo sinaptične uteži, iz katerih so vzeti uteženi tokovi, vbrizgani v skupno sinapso integratorja diferencialnih parov (DPI)59 in končno vbrizgani v sinapso z integracijo in puščanje. aktiviranega (LIF) nevrona 60 (za podrobnosti glejte Metode). Vhodni sunki se dovedejo do vrat strukture 1T1R v obliki zaporedja napetostnih impulzov s trajanjem reda stotine nanosekund. Uporovni pomnilnik je mogoče postaviti v visoko prevodno stanje (HCS) z uporabo zunanje pozitivne reference na Vtop, ko je Vbottom ozemljen, in ponastaviti v nizko prevodno stanje (LCS) z uporabo pozitivne napetosti na Vbottom, ko je Vtop ozemljen. Povprečno vrednost HCS je mogoče nadzorovati z omejevanjem programskega toka (skladnosti) SET (ICC) z napetostjo gate-source serijskega tranzistorja (slika 3c). Funkcije RRAM v vezju so dvojne: usmerjajo in tehtajo vhodne impulze.
Slika z vrstičnim elektronskim mikroskopom (SEM) modre naprave HfO2 1T1R RRAM, integrirane v tehnologijo 130 nm CMOS z izbirnimi tranzistorji (širine 650 nm) v zeleni barvi. b Osnovni gradniki predlagane nevromorfne sheme. Impulzi vhodne napetosti (vrhovi) Vin0 in Vin1 porabijo tok Iweight, ki je sorazmeren s prevodnima stanjema G0 in G1 strukture 1T1R. Ta tok se vbrizga v sinapse DPI in vzbudi nevrone LIF. RRAM G0 in G1 sta nameščena v HCS oziroma LCS. c Funkcija kumulativne gostote prevodnosti za skupino naprav 16K RRAM kot funkcija ujemanja toka ICC, ki učinkovito nadzoruje raven prevodnosti. d Meritve vezja v (a), ki kažejo, da G1 (v LCS) učinkovito blokira vhod iz Vin1 (zeleno), in res se membranska napetost izhodnega nevrona odziva samo na modri vhod iz Vin0. RRAM učinkovito določa povezave v vezju. e Meritev vezja v (b), ki prikazuje učinek vrednosti prevodnosti G0 na membransko napetost Vmem po uporabi napetostnega impulza Vin0. Več kot je prevodnost, močnejši je odziv: tako naprava RRAM izvaja uteževanje V/I povezave. Meritve so bile opravljene na vezju in dokazujejo dvojno funkcijo RRAM, usmerjanje in ponderiranje vhodnih impulzov.
Prvič, ker obstajata dve osnovni stanji prevodnosti (HCS in LCS), lahko RRAM blokirajo ali zgrešijo vhodne impulze, ko so v stanju LCS oziroma HCS. Posledično RRAM učinkovito določa povezave v vezju. To je osnova za možnost ponovne konfiguracije arhitekture. Da bi to prikazali, bomo opisali izdelano izvedbo vezja bloka vezja na sliki 3b. RRAM, ki ustreza G0, je programiran v HCS, drugi RRAM G1 pa je programiran v LCS. Vhodni impulzi se uporabljajo za Vin0 in Vin1. Učinke dveh zaporedij vhodnih impulzov smo analizirali v izhodnih nevronih z zbiranjem napetosti nevronske membrane in izhodnega signala z uporabo osciloskopa. Poskus je bil uspešen, ko je bila na pulz nevrona povezana samo naprava HCS (G0), da bi spodbudila napetost membrane. To je prikazano na sliki 3d, kjer modri niz impulzov povzroči kopičenje membranske napetosti na membranskem kondenzatorju, medtem ko zeleni niz impulzov ohranja konstantno napetost membrane.
Druga pomembna funkcija RRAM-a je implementacija uteži povezav. Z uporabo analogne prilagoditve prevodnosti RRAM lahko V/I povezave ustrezno ponderiramo. V drugem poskusu je bila naprava G0 programirana na različne ravni HCS, vhodni impulz pa je bil uporabljen na vhodu VIn0. Vhodni impulz črpa tok (Iweight) iz naprave, ki je sorazmeren s prevodnostjo in ustreznim padcem potenciala Vtop − Vbot. Ta uteženi tok se nato vbrizga v sinapse DPI in izhodne nevrone LIF. Membranska napetost izhodnih nevronov je bila zabeležena z osciloskopom in prikazana na sliki 3d. Vrh napetosti nevronske membrane kot odziv na en sam vhodni impulz je sorazmeren s prevodnostjo uporovnega pomnilnika, kar dokazuje, da se RRAM lahko uporablja kot programabilni element sinaptične teže. Ta dva preliminarna preizkusa kažeta, da je predlagana nevromorfna platforma, ki temelji na RRAM, sposobna implementirati osnovne elemente osnovnega Jeffressovega mehanizma, in sicer črto zakasnitve in vezje detektorja naključij. Platforma vezja je zgrajena z zlaganjem zaporednih blokov enega poleg drugega, kot so bloki na sliki 3b, in povezovanjem njihovih vrat s skupno vhodno linijo. Zasnovali, izdelali in preizkusili smo nevromorfno platformo, sestavljeno iz dveh izhodnih nevronov, ki prejemata dva vhoda (slika 4a). Shema vezja je prikazana na sliki 4b. Zgornja matrika 2 × 2 RRAM omogoča, da se vhodni impulzi usmerijo na dva izhodna nevrona, medtem ko spodnja matrika 2 × 2 omogoča ponavljajoče se povezave dveh nevronov (N0, N1). Dokazujemo, da je to platformo mogoče uporabiti s konfiguracijo črte zakasnitve in dvema različnima funkcijama detektorja naključij, kot je prikazano z eksperimentalnimi meritvami na sliki 4c-e.
Shema vezja, ki jo tvorita dva izhodna nevrona N0 in N1, ki prejemata dva vhoda 0 in 1. Zgornje štiri naprave niza določajo sinaptične povezave od vhoda do izhoda, spodnje štiri celice pa ponavljajoče se povezave med nevroni. Barvni RRAM-ji predstavljajo naprave, konfigurirane v HCS na desni: naprave v HCS omogočajo povezave in predstavljajo uteži, medtem ko naprave v LCS blokirajo vhodne impulze in onemogočajo povezave z izhodi. b Diagram vezja (a) z osmimi moduli RRAM, označenimi z modro. c Zakasnilne črte se oblikujejo s preprosto uporabo dinamike sinaps DPI in nevronov LIF. Zeleni RRAM je nastavljen na dovolj visoko prevodnost, da lahko povzroči napako na izhodu po vhodni zakasnitvi Δt. d Shematska ponazoritev na smer neobčutljivega CD-zaznavanja časovno odvisnih signalov. Izhodni nevron 1, N1, se sproži na vhodih 0 in 1 s kratko zakasnitvijo. e Smerno občutljivo CD vezje, vezje, ki zazna, ko se vhod 1 približa vhodu 0 in pride za vhodom 0. Izhod vezja predstavlja nevron 1 (N1).
Črta zakasnitve (slika 4c) preprosto uporablja dinamično vedenje sinaps DPI in nevronov LIF za reprodukcijo vhodne konice od Vin1 do Vout1 z zakasnitvijo Tdel. Samo G3 RRAM, povezan z Vin1 in Vout1, je programiran v HCS, preostali RRAM so programirani v LCS. Naprava G3 je bila programirana za 92,6 µs, da zagotovi, da vsak vhodni impulz dovolj poveča napetost membrane izhodnega nevrona, da doseže prag in ustvari zakasnjeni izhodni impulz. Zakasnitev Tdel določajo sinaptične in nevronske časovne konstante. Detektorji naključja zaznajo pojav časovno koreliranih, vendar prostorsko porazdeljenih vhodnih signalov. CD, neobčutljiv na smer, se opira na posamezne vhode, ki konvergirajo v skupni izhodni nevron (slika 4d). Dva RRAM-a, ki povezujeta Vin0 in Vin1 z Vout1, G2 oziroma G4, sta programirana za visoko prevodnost. Istočasen prihod konic na Vin0 in Vin1 poveča napetost nevronske membrane N1 nad prag, ki je potreben za generiranje izhodne konice. Če sta dva vhoda časovno predaleč narazen, ima lahko naboj na membranski napetosti, ki se nabere s prvim vhodom, čas za upad, kar preprečuje, da bi membranski potencial N1 dosegel vrednost praga. G1 in G2 sta programirana za približno 65 µs, kar zagotavlja, da en sam vhodni sunek ne poveča napetosti membrane dovolj, da bi povzročil izhodni sunek. Zaznavanje naključij med dogodki, porazdeljenimi v prostoru in času, je temeljna operacija, ki se uporablja pri številnih nalogah zaznavanja, kot sta izogibanje oviram na podlagi optičnega toka in lokalizacija vira zvoka. Tako je računalništvo na smerno občutljive in neobčutljive CD-je temeljni gradnik za gradnjo vizualnih in zvočnih lokalizacijskih sistemov. Kot je razvidno iz značilnosti časovnih konstant (glej dodatno sliko 2), predlagano vezje izvaja ustrezen obseg časovnih lestvic štirih redov velikosti. Tako lahko hkrati izpolnjuje zahteve vizualnih in zvočnih sistemov. Directional-sensitive CD je vezje, ki je občutljivo na prostorski vrstni red prihoda impulzov: od desne proti levi in obratno. Je temeljni gradnik v osnovnem omrežju zaznavanja gibanja vizualnega sistema Drosophila, ki se uporablja za izračun smeri gibanja in zaznavanje trkov62. Da bi dosegli CD, občutljiv na smer, morata biti dva vhoda usmerjena na dva različna nevrona (N0, N1) in med njima je treba vzpostaviti usmerjeno povezavo (slika 4e). Ko prejme prvi vhod, NO reagira tako, da poveča napetost na svoji membrani nad vrednost praga in pošlje val. Ta izhodni dogodek pa sproži N1 zahvaljujoč usmerjeni povezavi, označeni z zeleno. Če pride vhodni dogodek Vin1 in napaja N1, medtem ko je njegova membranska napetost še vedno visoka, N1 ustvari izhodni dogodek, ki kaže, da je bilo ujemanje med obema vhodoma. Usmerjene povezave omogočajo, da N1 oddaja izhod samo, če je vhod 1 za vhodom 0. G0, G3 in G7 so programirani na 73,5 µS, 67,3 µS oziroma 40,2 µS, kar zagotavlja, da en sam skok na vhodu Vin0 povzroči zakasnitev izhodni skok, medtem ko membranski potencial N1 doseže prag šele, ko oba vhodna izbruha prispeta sinhronizirano. .
Variabilnost je vir nepopolnosti v modeliranih nevromorfnih sistemih63,64,65. To vodi do heterogenega obnašanja nevronov in sinaps. Primeri takšnih pomanjkljivosti vključujejo 30-odstotno (povprečno standardno odstopanje) variabilnost v vhodnem ojačanju, časovni konstanti in refraktornem obdobju, če naštejemo le nekatere (glejte Metode). Ta težava je še bolj izrazita, ko je več nevronskih vezij povezanih skupaj, kot je na orientacijo občutljiv CD, sestavljen iz dveh nevronov. Za pravilno delovanje morajo biti časovne konstante ojačenja in upadanja obeh nevronov čim bolj podobne. Na primer, velika razlika v vhodnem ojačenju lahko povzroči, da se en nevron pretirano odzove na vhodni impulz, medtem ko se drugi nevron komaj odziva. Na sl. Slika 5a prikazuje, da se naključno izbrani nevroni različno odzivajo na isti vhodni impulz. Ta nevronska variabilnost je pomembna na primer za delovanje CD-jev, občutljivih na smer. V shemi, prikazani na sl. Kot je prikazano na sliki 5b, c, je vhodni dobiček nevrona 1 veliko večji kot pri nevronu 0. Tako nevron 0 potrebuje tri vhodne impulze (namesto 1), da doseže prag, nevron 1 pa, kot je bilo pričakovano, potrebuje dva vhodna dogodka. Izvedba časovno odvisne biomimetične plastičnosti (STDP) je možen način za ublažitev vpliva nenatančnih in počasnih nevronskih in sinaptičnih vezij na delovanje sistema43. Tukaj predlagamo uporabo plastičnega obnašanja uporovnega spomina kot sredstva za vplivanje na izboljšanje nevronskega vnosa in zmanjšanje učinkov variabilnosti v nevromorfnih vezjih. Kot je prikazano na sl. Kot je prikazano na sliki 4e, so ravni prevodnosti, povezane s sinaptično maso RRAM, učinkovito modulirale ustrezen odziv napetosti nevronske membrane. Uporabljamo iterativno programsko strategijo RRAM. Za dani vnos se vrednosti prevodnosti sinaptičnih uteži reprogramirajo, dokler ni doseženo ciljno vedenje vezja (glejte Metode).
a Eksperimentalne meritve odziva devetih naključno izbranih posameznih nevronov na isti vhodni impulz. Odziv se razlikuje glede na populacijo, kar vpliva na pridobitev vnosa in časovno konstanto. b Eksperimentalne meritve vpliva nevronov na variabilnost nevronov, ki vplivajo na smerno občutljiv CD. Dva izhodna nevrona CD, občutljiva na smer, se različno odzivata na vhodne dražljaje zaradi variabilnosti med nevroni. Nevron 0 ima manjše vhodno ojačenje kot nevron 1, zato potrebuje tri vhodne impulze (namesto 1), da ustvari izhodni skok. Kot je bilo pričakovano, nevron 1 doseže prag z dvema vhodnima dogodkoma. Če vhod 1 prispe Δt = 50 µs po sprožitvi nevrona 0, CD ostane tih, ker je Δt večji od časovne konstante nevrona 1 (približno 22 µs). c se zmanjša za Δt = 20 µs, tako da vhod 1 doseže vrh, ko je proženje nevrona 1 še vedno visoko, kar ima za posledico sočasno zaznavanje dveh vhodnih dogodkov.
Dva elementa, ki se uporabljata v stolpcu za izračun ITD, sta črta zakasnitve in CD, neobčutljiva na smer. Obe vezji zahtevata natančno kalibracijo, da zagotovita dobro zmogljivost pozicioniranja predmeta. Zakasnitvena črta mora zagotoviti natančno zakasnjeno različico vhodnega vrha (slika 6a), CD pa se mora aktivirati šele, ko vhod pade v ciljno območje zaznavanja. Za črto zakasnitve so bile sinaptične uteži vhodnih povezav (G3 na sliki 4a) reprogramirane, dokler ni bila dosežena ciljna zakasnitev. Nastavite toleranco okoli ciljne zakasnitve za zaustavitev programa: manjša kot je toleranca, težje je uspešno nastaviti zakasnitveno črto. Na sl. Na sliki 6b so prikazani rezultati postopka umerjanja črte zakasnitve: razvidno je, da lahko predlagana shema natančno zagotovi vse zakasnitve, zahtevane v načrtovalski shemi (od 10 do 300 μs). Največje število ponovitev kalibracije vpliva na kakovost postopka kalibracije: 200 ponovitev lahko zmanjša napako na manj kot 5 %. Ena ponovitev umerjanja ustreza operaciji nastavitve/ponastavitve celice RRAM. Postopek uglaševanja je ključnega pomena tudi za izboljšanje natančnosti takojšnjega zaznavanja dogodka pri zapiranju modula CD. Potrebnih je bilo deset iteracij umerjanja, da se je dosegla resnična pozitivna stopnja (tj. stopnja dogodkov, ki so bili pravilno opredeljeni kot pomembni) nad 95 % (modra črta na sliki 6c). Vendar postopek uglaševanja ni vplival na lažno pozitivne dogodke (to je pogostost dogodkov, ki so bili pomotoma opredeljeni kot pomembni). Druga metoda, opažena v bioloških sistemih za premagovanje časovnih omejitev hitro aktivirajočih se poti, je redundanca (to pomeni, da se za izvajanje določene funkcije uporablja veliko kopij istega predmeta). Navdahnjeni z biologijo66 smo v vsak modul CD postavili več vezij CD-ja med dve črti zakasnitve, da bi zmanjšali vpliv lažnih pozitivnih rezultatov. Kot je prikazano na sl. 6c (zelena črta), lahko postavitev treh CD elementov v vsak CD modul zmanjša stopnjo lažnih alarmov na manj kot 10–2.
a Vpliv variabilnosti nevronov na vezja zakasnitvenih črt. b Zakasnitvena vezja se lahko prilagodijo velikim zakasnitvam z nastavitvijo časovnih konstant ustreznih nevronov LIF in sinaps DPI na velike vrednosti. Povečanje števila iteracij kalibracijskega postopka RRAM je omogočilo znatno izboljšanje natančnosti ciljne zakasnitve: 200 iteracij je zmanjšalo napako na manj kot 5 %. Ena ponovitev ustreza operaciji SET/RESET na celici RRAM. Vsak modul CD v modelu c Jeffress je mogoče implementirati z uporabo N vzporednih elementov CD za večjo prilagodljivost v zvezi z okvarami sistema. d Več iteracij umerjanja RRAM poveča dejansko pozitivno stopnjo (modra črta), medtem ko je lažno pozitivna stopnja neodvisna od števila ponovitev (zelena črta). Če vzporedno postavite več CD elementov, se izognete napačnemu zaznavanju ujemanja modulov CD.
Zdaj ocenjujemo zmogljivost in porabo energije integriranega sistema za lokalizacijo objektov od konca do konca, prikazanega na sliki 2, z uporabo meritev akustičnih lastnosti senzorja pMUT, CD-ja in vezij črte zakasnitve, ki sestavljajo nevromorfni računalniški graf. Jeffressov model (slika 1a). Kar zadeva nevromorfni računalniški graf, večje kot je število modulov CD, boljša je kotna ločljivost, a tudi večja je energija sistema (slika 7a). Kompromis je mogoče doseči s primerjavo natančnosti posameznih komponent (pMUT senzorjev, nevronov in sinaptičnih vezij) z natančnostjo celotnega sistema. Ločljivost črte zakasnitve je omejena s časovnimi konstantami simuliranih sinaps in nevronov, ki v naši shemi presegajo 10 µs, kar ustreza kotni ločljivosti 4° (glej Metode). Naprednejša vozlišča s tehnologijo CMOS bodo omogočila načrtovanje nevronskih in sinaptičnih vezij z nižjimi časovnimi konstantami, kar ima za posledico višjo natančnost elementov zakasnitve. Vendar pa je v našem sistemu natančnost omejena z napako pMUT pri oceni kotnega položaja, to je 10° (modra vodoravna črta na sliki 7a). Število modulov CD smo določili na 40, kar ustreza kotni ločljivosti okoli 4°, tj. kotni natančnosti računskega grafa (svetlo modra vodoravna črta na sliki 7a). Na sistemski ravni to daje ločljivost 4° in natančnost 10° za predmete, ki se nahajajo 50 cm pred senzorskim sistemom. Ta vrednost je primerljiva z nevromorfnimi sistemi za lokalizacijo zvoka, o katerih poroča ref. 67. Primerjavo predlaganega sistema z najsodobnejšim stanjem je mogoče najti v dodatni tabeli 1. Dodajanje dodatnih pMUT, zvišanje ravni akustičnega signala in zmanjšanje elektronskega šuma so možni načini za nadaljnje izboljšanje natančnosti lokalizacije. ) je ocenjena na 9,7. nz. 55. Glede na 40 enot CD na računskem grafu je simulacija SPICE ocenila energijo na operacijo (tj. energijo pozicioniranja objekta) na 21,6 nJ. Nevromorfni sistem se aktivira šele, ko pride do vhodnega dogodka, tj. ko akustični val doseže kateri koli sprejemnik pMUT in preseže prag detekcije, sicer ostane neaktiven. S tem se izognete nepotrebni porabi energije, ko ni vhodnega signala. Ob upoštevanju frekvence lokalizacijskih operacij 100 Hz in aktivacijskega obdobja 300 µs na operacijo (največji možni ITD) je poraba energije nevromorfnega računalniškega grafa 61,7 nW. Z nevromorfno predobdelavo, uporabljeno za vsak sprejemnik pMUT, poraba energije celotnega sistema doseže 81,6 nW. Da bi razumeli energijsko učinkovitost predlaganega nevromorfnega pristopa v primerjavi z običajno strojno opremo, smo to število primerjali z energijo, potrebno za izvedbo iste naloge na sodobnem mikrokrmilniku z nizko porabo energije z uporabo nevromorfne ali običajne sposobnosti oblikovanja snopa68. Nevromorfni pristop upošteva stopnjo analogno-digitalnega pretvornika (ADC), ki ji sledita pasovni filter in stopnja ekstrakcije ovojnice (metoda Teeger-Kaiser). Na koncu se izvede operacija praga za ekstrahiranje ToF. Izpustili smo izračun ITD na podlagi ToF in pretvorbo v ocenjeni kotni položaj, ker se to zgodi enkrat za vsako meritev (glejte Metode). Ob predpostavki, da je frekvenca vzorčenja 250 kHz na obeh kanalih (sprejemniki pMUT), 18 operacij pasovnega filtra, 3 operacije ekstrakcije ovojnice in 1 operacija praga na vzorec, je skupna poraba energije ocenjena na 245 mikrovatov. Ta uporablja način nizke porabe69 mikrokrmilnika, ki se vklopi, ko se algoritmi ne izvajajo, kar zmanjša porabo energije na 10,8 µW. Poraba energije rešitve za obdelavo signala za oblikovanje snopa, predlagane v referenci. 31, s 5 sprejemniki pMUT in 11 žarki, enakomerno porazdeljenimi v azimutni ravnini [-50°, +50°], je 11,71 mW (za podrobnosti glejte razdelek Metode). Poleg tega poročamo o porabi energije kodirnika časovne razlike (TDE) na osnovi FPGA47, ki je ocenjen na 1,5 mW kot zamenjava za model Jeffress za lokalizacijo objektov. Na podlagi teh ocen predlagani nevromorfni pristop zmanjša porabo energije za pet redov velikosti v primerjavi z mikrokrmilnikom, ki uporablja klasične tehnike oblikovanja snopa za operacije lokalizacije objektov. Sprejetje nevromorfnega pristopa k obdelavi signalov na klasičnem mikrokrmilniku zmanjša porabo energije za približno dva reda velikosti. Učinkovitost predlaganega sistema je mogoče razložiti s kombinacijo asinhronega analognega vezja z uporovnim pomnilnikom, ki lahko izvaja izračune v pomnilniku, in pomanjkanja analogno-digitalne pretvorbe, potrebne za zaznavanje signalov.
a Kotna ločljivost (modra) in poraba energije (zelena) operacije lokalizacije, odvisno od števila modulov CD. Temno modra vodoravna vrstica predstavlja kotno natančnost PMUT, svetlo modra vodoravna črta pa predstavlja kotno natančnost nevromorfnega računskega grafa. b Poraba energije predlaganega sistema in primerjava z obema obravnavanima izvedbama mikrokontrolerjev in digitalno izvedbo kodirnika časovne razlike (TDE)47 FPGA.
Da bi čim bolj zmanjšali porabo energije sistema za lokalizacijo cilja, smo zasnovali, oblikovali in implementirali učinkovito, na dogodkih vodeno nevromorfno vezje RRAM, ki obdeluje signalne informacije, ki jih generirajo vgrajeni senzorji, za izračun položaja ciljnega objekta v realnem stanju. čas. . Medtem ko tradicionalne metode obdelave neprekinjeno vzorčijo zaznane signale in izvajajo izračune za pridobivanje uporabnih informacij, predlagana nevromorfna rešitev izvaja izračune asinhrono, ko prispejo uporabne informacije, s čimer maksimizira učinkovitost porabe energije sistema za pet velikostnih redov. Poleg tega izpostavljamo prilagodljivost nevromorfnih vezij, ki temeljijo na RRAM. Sposobnost RRAM-a, da spreminja prevodnost na nehlapen način (plastičnost), kompenzira inherentno variabilnost sinaptičnih in nevronskih vezij analognega DPI z ultra nizko močjo. Zaradi tega je to vezje, ki temelji na RRAM, vsestransko in zmogljivo. Naš cilj ni izluščiti zapletene funkcije ali vzorce iz signalov, temveč lokalizirati objekte v realnem času. Naš sistem lahko tudi učinkovito stisne signal in ga sčasoma pošlje v nadaljnje korake obdelave za sprejemanje bolj zapletenih odločitev, kadar je to potrebno. V kontekstu lokalizacijskih aplikacij lahko naš korak nevromorfne predprocesiranja zagotovi informacije o lokaciji predmetov. Te informacije je mogoče uporabiti na primer za zaznavanje gibanja ali prepoznavanje kretenj. Poudarjamo pomen kombiniranja senzorjev z ultra nizko močjo, kot so pMUT, z elektroniko z ultra nizko močjo. Za to so bili nevromorfni pristopi ključni, saj so nas pripeljali do razvoja novih veznih implementacij biološko navdihnjenih računalniških metod, kot je Jeffressov model. V okviru aplikacij za fuzijo senzorjev lahko naš sistem kombiniramo z več različnimi senzorji, ki temeljijo na dogodkih, da pridobimo natančnejše informacije. Čeprav sove odlične pri iskanju plena v temi, imajo odličen vid in izvajajo kombinirano slušno in vidno iskanje, preden ujamejo plen70. Ko se sproži določen slušni nevron, sova prejme informacijo, ki jo potrebuje, da določi, v katero smer naj začne vizualno iskanje, s čimer usmeri svojo pozornost na majhen del vizualne scene. Za razvoj prihodnjih avtonomnih agentov je treba raziskati kombinacijo vizualnih senzorjev (kamera DVS) in predlaganega senzorja za poslušanje (na podlagi pMUT).
Senzor pMUT je nameščen na tiskanem vezju z dvema sprejemnikoma približno 10 cm narazen, oddajnik pa je nameščen med sprejemnikoma. V tem delu je vsaka membrana viseča bimorfna struktura, sestavljena iz dveh plasti piezoelektričnega aluminijevega nitrida (AlN) debeline 800 nm, stisnjenega med tri plasti molibdena (Mo) debeline 200 nm in prevlečene s plastjo debeline 200 nm. zgornjo pasivno plast SiN, kot je opisano v referenci. 71. Notranja in zunanja elektroda sta naneseni na spodnjo in zgornjo plast molibdena, medtem ko je srednja molibdenova elektroda brez vzorca in se uporablja kot ozemljitev, kar ima za posledico membrano s štirimi pari elektrod.
Ta arhitektura omogoča uporabo običajne deformacije membrane, kar ima za posledico izboljšano občutljivost za oddajanje in sprejemanje. Takšen pMUT običajno kaže občutljivost vzbujanja 700 nm/V kot emiter, kar zagotavlja površinski tlak 270 Pa/V. Kot sprejemnik ima en film pMUT občutljivost na kratek stik 15 nA/Pa, kar je neposredno povezano s piezoelektričnim koeficientom AlN. Tehnična spremenljivost napetosti v plasti AlN povzroči spremembo resonančne frekvence, ki jo je mogoče kompenzirati z uporabo enosmerne pristranskosti na pMUT. Občutljivost na DC je bila izmerjena pri 0,5 kHz/V. Za akustično karakterizacijo se pred pMUT uporablja mikrofon.
Za merjenje odmevnega impulza smo pred pMUT postavili pravokotno ploščo s površino približno 50 cm2, ki odbija oddane zvočne valove. Razdalja med ploščama in kot glede na ravnino pMUT sta nadzorovana s posebnimi držali. Napetostni vir Tectronix CPX400DP prednastavi tri membrane pMUT in nastavi resonančno frekvenco na 111,9 kHz31, medtem ko oddajnike poganja impulzni generator Tectronix AFG 3102, nastavljen na resonančno frekvenco (111,9 kHz) in delovni cikel 0,01. Tokovi, prebrani iz štirih izhodnih vrat vsakega sprejemnika pMUT, se pretvorijo v napetosti z uporabo posebne arhitekture diferenčnega toka in napetosti, dobljene signale pa digitalizira sistem za pridobivanje podatkov Spektrum. Mejo detekcije smo označili z zajemom signala pMUT pod različnimi pogoji: reflektor smo premaknili na različne razdalje [30, 40, 50, 60, 80, 100] cm in spremenili podporni kot pMUT ([0, 20, 40] o ) Slika 2b prikazuje časovno ločljivost zaznavanja ITD v odvisnosti od ustreznega kotnega položaja v stopinjah.
Ta članek uporablja dve različni standardni vezji RRAM. Prvi je niz 16.384 (16.000) naprav (128 × 128 naprav) v konfiguraciji 1T1R z enim tranzistorjem in enim uporom. Drugi čip je nevromorfna platforma, prikazana na sliki 4a. Celica RRAM je sestavljena iz 5 nm debelega filma HfO2, vdelanega v sklad TiN/HfO2/Ti/TiN. Sklad RRAM je integriran v back-of-line (BEOL) standardnega 130nm procesa CMOS. Nevromorfna vezja, ki temeljijo na RRAM, predstavljajo oblikovalski izziv za popolnoma analogne elektronske sisteme, v katerih naprave RRAM sobivajo s tradicionalno tehnologijo CMOS. Zlasti je treba prebrati stanje prevodnosti naprave RRAM in ga uporabiti kot funkcijsko spremenljivko za sistem. V ta namen je bilo zasnovano, izdelano in preizkušeno vezje, ki bere tok iz naprave, ko prejme vhodni impulz, in ta tok uporabi za tehtanje odziva sinapse diferencialnega integratorja parov (DPI). To vezje je prikazano na sliki 3a, ki predstavlja osnovne gradnike nevromorfne platforme na sliki 4a. Vhodni impulz aktivira vrata naprave 1T1R in inducira tok skozi RRAM, ki je sorazmeren s prevodnostjo naprave G (Iweight = G(Vtop – Vx)). Invertni vhod vezja operacijskega ojačevalnika (op-amp) ima konstantno enosmerno prednapetost Vtop. Negativna povratna informacija operacijskega ojačevalnika bo zagotovila Vx = Vtop z zagotavljanjem enakega toka iz M1. Trenutna Iweight, pridobljena iz naprave, se vbrizga v sinapso DPI. Močnejši tok bo povzročil večjo depolarizacijo, zato prevodnost RRAM učinkovito izvaja sinaptične uteži. Ta eksponentni sinaptični tok se vbrizga skozi membranski kondenzator nevronov Leaky Integration and Excitation (LIF), kjer je integriran kot napetost. Če je mejna napetost membrane (preklopna napetost inverterja) presežena, se aktivira izhodni del nevrona, kar povzroči izhodno konico. Ta impulz se vrne in preusmeri nevronski membranski kondenzator na maso, zaradi česar se izprazni. To vezje je nato dopolnjeno z impulznim ekspanderjem (ni prikazan na sliki 3a), ki oblikuje izhodni impulz nevrona LIF glede na širino ciljnega impulza. V vsako linijo so vgrajeni tudi multiplekserji, ki omogočajo dovajanje napetosti na zgornjo in spodnjo elektrodo naprave RRAM.
Električno testiranje vključuje analizo in snemanje dinamičnega obnašanja analognih vezij ter programiranje in branje naprav RRAM. Oba koraka zahtevata posebna orodja, ki so vsa povezana s senzorsko ploščo hkrati. Dostop do naprav RRAM v nevromorfnih vezjih se izvaja iz zunanjih orodij preko multiplekserja (MUX). MUX ločuje celico 1T1R od ostalega vezja, ki mu pripada, kar omogoča branje in/ali programiranje naprave. Za programiranje in branje naprav RRAM se uporablja stroj Keithley 4200 SCS v povezavi z mikrokontrolerjem Arduino: prvi za natančno generiranje impulzov in odčitavanje toka, drugi pa za hiter dostop do posameznih elementov 1T1R v pomnilniškem nizu. Prva operacija je oblikovanje naprave RRAM. Celice se izberejo ena za drugo in med zgornjo in spodnjo elektrodo se uporabi pozitivna napetost. V tem primeru je tok omejen na velikost desetine mikroamperov zaradi dovoda ustrezne napetosti vrat na izbirni tranzistor. Celica RRAM lahko nato preklaplja med stanjem z nizko prevodnostjo (LCS) in stanjem z visoko prevodnostjo (HCS) z uporabo operacij RESET oziroma SET. Operacija SET se izvede z uporabo pravokotnega napetostnega impulza s trajanjem 1 μs in temensko napetostjo 2,0–2,5 V na zgornjo elektrodo ter sinhronizacijskega impulza podobne oblike s temensko napetostjo 0,9–1,3 V na vrata izbirnega tranzistorja. Te vrednosti omogočajo modulacijo prevodnosti RRAM v intervalih 20–150 µs. Za RESET se na spodnjo elektrodo (bitno linijo) celice uporabi 1 µs širok impulz z vrhom 3 V, ko je napetost vrat v območju 2,5–3,0 V. Vhodi in izhodi analognih vezij so dinamični signali . Za vnos smo prepletli dva generatorja impulzov HP 8110 z generatorji signalov Tektronix AFG3011. Vhodni impulz ima širino 1 µs in rob vzpona/padca 50 ns. Predpostavlja se, da je ta vrsta impulza tipična napaka v analognih vezjih, ki temeljijo na napakah. Izhodni signal je bil posnet z osciloskopom Teledyne LeCroy 1 GHz. Dokazano je, da hitrost zajemanja osciloskopa ni omejujoč dejavnik pri analizi in pridobivanju podatkov o vezju.
Uporaba dinamike analogne elektronike za simulacijo obnašanja nevronov in sinaps je elegantna in učinkovita rešitev za izboljšanje računalniške učinkovitosti. Pomanjkljivost te računske podlage je, da se razlikuje od sheme do sheme. Kvantificirali smo variabilnost nevronov in sinaptičnih vezij (dodatna slika 2a, b). Od vseh pojavnih oblik variabilnosti imajo tisti, ki so povezani s časovnimi konstantami in vhodnim ojačenjem, največji vpliv na ravni sistema. Časovna konstanta nevrona LIF in sinapse DPI je določena z vezjem RC, kjer je vrednost R nadzorovana z prednapetostjo, uporabljeno na vratih tranzistorja (Vlk za nevron in Vtau za sinapso), ki določa stopnja puščanja. Vhodni dobiček je definiran kot najvišja napetost, ki jo dosežejo sinaptični in nevronski membranski kondenzatorji, stimulirani z vhodnim impulzom. Vhodno ojačanje nadzira drug prednapetostni tranzistor, ki modulira vhodni tok. Izvedena je bila simulacija Monte Carlo, kalibrirana na 130nm procesu ST Microelectronics, da bi zbrali nekaj statističnih podatkov o vhodnem ojačenju in časovni konstanti. Rezultati so predstavljeni na dodatni sliki 2, kjer sta vhodno ojačenje in časovna konstanta kvantificirana kot funkcija prednapetosti, ki nadzoruje stopnjo uhajanja. Zeleni označevalci kvantificirajo standardni odklon časovne konstante od povprečja. Tako nevroni kot sinaptična vezja so lahko izrazili širok razpon časovnih konstant v območju 10-5-10-2 s, kot je prikazano v shemi dodatne slike. Vhodno ojačanje (dopolnilna slika 2e, d) variabilnosti nevronov in sinaps je bilo približno 8 % oziroma 3 %. Takšna pomanjkljivost je dobro dokumentirana v literaturi: različne meritve so bile izvedene na nizu čipov DYNAP, da bi ocenili neujemanje med populacijami nevronov LIF63. Sinapse v mešanem signalnem čipu BrainScale so bile izmerjene in analizirane njihove nedoslednosti ter predlagan postopek umerjanja za zmanjšanje učinka variabilnosti na ravni sistema64.
Funkcija RRAM v nevromorfnih vezjih je dvojna: definicija arhitekture (usmerjanje vhodov v izhode) in implementacija sinaptičnih uteži. Slednjo lastnost lahko uporabimo za rešitev problema variabilnosti modeliranih nevromorfnih vezij. Razvili smo preprost postopek umerjanja, ki vključuje reprogramiranje naprave RRAM, dokler analizirano vezje ne izpolni določenih zahtev. Za dani vhod se spremlja izhod in RRAM se reprogramira, dokler ni doseženo ciljno vedenje. Med operacijami programiranja je bil uveden čakalni čas 5 s, da bi rešili problem sprostitve RRAM, ki povzroči prehodna nihanja prevodnosti (dodatne informacije). Sinaptične uteži so prilagojene ali umerjene v skladu z zahtevami nevromorfnega vezja, ki se modelira. Postopek umerjanja je povzet v dodatnih algoritmih [1, 2], ki se osredotočajo na dve temeljni značilnosti nevromorfnih platform, črte zakasnitve in CD, neobčutljiv na smer. Za vezje z zakasnitvijo je ciljno vedenje zagotoviti izhodni impulz z zakasnitvijo Δt. Če je dejanska zakasnitev vezja manjša od ciljne vrednosti, je treba sinaptično težo G3 zmanjšati (G3 je treba ponastaviti in nato nastaviti na nižji ustrezni tok Icc). Nasprotno, če je dejanska zakasnitev večja od ciljne vrednosti, je treba prevodnost G3 povečati (G3 je treba najprej ponastaviti in nato nastaviti na višjo vrednost Icc). Ta postopek se ponavlja, dokler se zakasnitev, ki jo ustvari vezje, ne ujema s ciljno vrednostjo in se nastavi toleranca za zaustavitev postopka umerjanja. Pri CD-jih, ki niso občutljivi na orientacijo, sta v procesu umerjanja vključeni dve napravi RRAM, G1 in G3. To vezje ima dva vhoda, Vin0 in Vin1, z zakasnitvijo dt. Vezje se mora odzivati samo na zakasnitve pod ujemajočim se območjem [0,dtCD]. Če ni izhodnega vrha, vendar je vhodni vrh blizu, je treba obe napravi RRAM okrepiti, da bi nevronu pomagali doseči prag. Nasprotno, če se vezje odzove na zakasnitev, ki presega ciljno območje dtCD, je treba prevodnost zmanjšati. Postopek ponavljajte, dokler ne dosežete pravilnega obnašanja. Tok skladnosti je mogoče modulirati z vgrajenim analognim vezjem v ref. 72.73. S tem vgrajenim vezjem je mogoče takšne postopke izvajati občasno za umerjanje sistema ali njegovo ponovno uporabo za drugo aplikacijo.
Ocenjujemo porabo energije našega nevromorfnega pristopa obdelave signalov na standardnem 32-bitnem mikrokrmilniku68. V tej oceni predvidevamo delovanje z enako nastavitvijo kot v tem dokumentu, z enim oddajnikom pMUT in dvema sprejemnikoma pMUT. Ta metoda uporablja pasovni filter, ki mu sledi korak ekstrakcije ovojnice (Teeger-Kaiser), na koncu pa se za signal uporabi operacija določanja praga za ekstrakcijo časa leta. Izračun ITD in njegova pretvorba v kote zaznavanja sta pri vrednotenju izpuščena. Upoštevamo izvedbo pasovnega filtra z uporabo filtra z neskončnim impulznim odzivom 4. reda, ki zahteva 18 operacij s plavajočo vejico. Ekstrakcija ovojnice uporablja še tri operacije s plavajočo vejico, zadnja operacija pa se uporablja za nastavitev praga. Za predhodno obdelavo signala je potrebnih skupno 22 operacij s plavajočo vejico. Oddani signal je kratek izbruh sinusne valovne oblike 111,9 kHz, ki se ustvari vsakih 10 ms, kar ima za posledico delovno frekvenco pozicioniranja 100 Hz. Za skladnost z Nyquistom smo uporabili frekvenco vzorčenja 250 kHz in okno 6 ms za vsako meritev, da smo zajeli obseg 1 metra. Upoštevajte, da je 6 milisekund čas letenja predmeta, ki je oddaljen 1 meter. To zagotavlja porabo energije 180 µW za A/D pretvorbo pri 0,5 MSPS. Predprocesiranje signala je 6,60 MIPS (navodila na sekundo), ki ustvari 0,75 mW. Vendar lahko mikrokrmilnik preklopi v način nizke porabe 69, ko algoritem ne deluje. Ta način zagotavlja statično porabo energije 10,8 μW in čas prebujanja 113 μs. Glede na taktno frekvenco 84 MHz mikrokrmilnik zaključi vse operacije nevromorfnega algoritma v 10 ms, algoritem pa izračuna delovni cikel 6,3 %, s čimer uporablja način nizke porabe energije. Nastala disipacijska moč je 244,7 μW. Upoštevajte, da smo izpustili izhod ITD iz ToF in pretvorbo v kot zaznavanja, s čimer podcenjujemo porabo energije mikrokrmilnika. To zagotavlja dodatno vrednost za energetsko učinkovitost predlaganega sistema. Kot dodaten primerjalni pogoj ocenjujemo porabo energije klasičnih metod oblikovanja snopa, predlaganih v referenci. 31,54, ko je vgrajen v isti mikrokrmilnik68 pri napajalni napetosti 1,8 V. Pet enakomerno razporejenih membran pMUT se uporablja za pridobivanje podatkov za oblikovanje snopa. Kar zadeva samo obdelavo, je uporabljena metoda oblikovanja snopa seštevanje zakasnitve. Preprosto sestoji iz uporabe zakasnitve na pasovih, ki ustreza pričakovani razliki v prihodnih časih med enim in referenčnim pasom. Če so signali v fazi, bo vsota teh signalov po časovnem premiku imela visoko energijo. Če niso v fazi, bodo destruktivne motnje omejile energijo njihove vsote. v zvezi. Na sl. 31 je izbrana frekvenca vzorčenja 2 MHz za časovni premik podatkov za celo število vzorcev. Skromnejši pristop je vzdrževanje grobejše frekvence vzorčenja 250 kHz in uporaba filtra s končnim impulznim odzivom (FIR) za sintetiziranje delnih zakasnitev. Predpostavili bomo, da je kompleksnost algoritma za oblikovanje snopa v glavnem določena s časovnim zamikom, saj je vsak kanal zvit s filtrom FIR s 16 pipami v vsako smer. Za izračun števila MIPS, potrebnih za to operacijo, upoštevamo okno 6 ms na meritev, da zajamemo obseg 1 metra, 5 kanalov, 11 smeri oblikovanja snopa (razpon +/- 50° v korakih po 10°). 75 meritev na sekundo je mikrokrmilnik potisnilo na največ 100 MIPS. Povezava. 68, kar ima za posledico disipacijo moči 11,26 mW za skupno disipacijo moči 11,71 mW po dodajanju prispevka vgrajenega ADC.
Podatki, ki podpirajo rezultate te študije, so na voljo pri zadevnem avtorju, FM, na razumno zahtevo.
Indiveri, G. & Sandamirskaya, Y. Pomen prostora in časa za obdelavo signalov pri nevromorfnih agentih: izziv razvoja avtonomnih agentov z nizko porabo energije, ki so v interakciji z okoljem. Indiveri, G. & Sandamirskaya, Y. Pomen prostora in časa za obdelavo signalov pri nevromorfnih agentih: izziv razvoja avtonomnih agentov z nizko porabo energije, ki so v interakciji z okoljem.Indiveri G. in Sandamirskaya Y. Pomen prostora in časa za obdelavo signalov pri nevromorfnih agentih: izziv razvoja avtonomnih agentov nizke moči, ki medsebojno delujejo z okoljem. Indiveri, G. & Sandamirskaya, Y. 空间和时间对于神经形态代理中信号处理的重要性：开发与环境交互的低功耗、自主代理的挑战。 Indiveri, G. & Sandamirskaya, Y.Indiveri G. in Sandamirskaya Y. Pomen prostora in časa za obdelavo signalov pri nevromorfnih agentih: izziv razvoja avtonomnih agentov nizke moči, ki medsebojno delujejo z okoljem.IEEE signalna obdelava. Žurnal 36, 16–28 (2019).
Thorpe, SJ Peak Arrival Time: Učinkovita shema kodiranja nevronske mreže. v Eckmiller, R., Hartmann, G. & Hauske, G. (ur.). v Eckmiller, R., Hartmann, G. & Hauske, G. (ur.).v Eckmiller, R., Hartmann, G. in Hauske, G. (ur.).V Eckmiller, R., Hartmann, G., in Hauske, G. (ur.). Vzporedno procesiranje v nevronskih sistemih in računalnikih 91–94 (North-Holland Elsevier, 1990).
Levy, WB & Calvert, VG Komunikacija porabi 35-krat več energije kot računanje v človeški možganski skorji, vendar sta oba stroška potrebna za napovedovanje števila sinaps. Levy, WB & Calvert, VG Komunikacija porabi 35-krat več energije kot računanje v človeški možganski skorji, vendar sta oba stroška potrebna za napovedovanje števila sinaps.Levy, WB in Calvert, WG Komunikacija porabi 35-krat več energije kot računanje v človeški možganski skorji, vendar sta oba stroška potrebna za napovedovanje števila sinaps. Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35 倍，但这两种成本都需要预测突触数量。 Levy, WB & Calvert, VG KomunikacijaLevy, WB in Calvert, WG Komunikacija porabi 35-krat več energije kot računanje v človeški skorji, vendar oba stroška zahtevata predvidevanje števila sinaps.postopek. Nacionalna akademija znanosti. znanost. US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Nevromorfno računalništvo, ki ga navdihujejo žuželke. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Nevromorfno računalništvo, ki ga navdihujejo žuželke.Dalgati, T., Vianello, E., DeSalvo, B. in Casas, J. Nevromorfno računalništvo, ki ga navdihuje žuželka.Dalgati T., Vianello E., DeSalvo B. in Casas J. Nevromorfno računalništvo, ki ga navdihuje žuželka. Trenutno. Mnenje. Znanost o žuželkah. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. K strojni inteligenci, ki temelji na konicah, z nevromorfnim računalništvom. Roy, K., Jaiswal, A. & Panda, P. K strojni inteligenci, ki temelji na konicah, z nevromorfnim računalništvom. Roy, K., Jaiswal, A. & Panda, P. K strojni inteligenci, ki temelji na konicah, z nevromorfnim računalništvom.Roy K, Jaiswal A in Panda P. Umetna inteligenca na osnovi impulzov z uporabo nevromorfnega računalništva. Narava 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. in Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. in Liu, S.-K.Spomin in procesiranje informacij v nevromorfnih sistemih. postopek. IEEE 103, 1379–1397 (2015).
Akopyan F. et al. Truenorth: Zasnova in komplet orodij za 65 mW 1 milijon nevronov programabilni sinaptični čip. IEEE transakcije. Računalniško načrtovanje sistemov integriranih vezij. 34, 1537–1557 (2015).
Schemmel, J. et al. Predstavitev v živo: pomanjšana različica nevromorfnega sistema BrainScaleS v merilu plošče. 2012 Mednarodni simpozij IEEE o vezjih in sistemih (ISCAS), (izdaja IEEE) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Razširljiva večjedrna arhitektura s heterogenimi pomnilniškimi strukturami za dinamične nevromorfne asinhrone procesorje (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Razširljiva večjedrna arhitektura s heterogenimi pomnilniškimi strukturami za dinamične nevromorfne asinhrone procesorje (DYNAP).Moradi S., Qiao N., Stefanini F. in Indiviri G. Razširljiva večjedrna arhitektura s heterogenimi pomnilniškimi strukturami za dinamične nevromorfne asinhrone procesorje (DYNAP). Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. 一种可扩展的多核架构，具有用于动态神经形态异步处理器(DYNAP) 的异构内存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Nekakšna razširljiva večjedrna arhitektura z edinstveno pomnilniško strukturo za dinamično nevronsko obdelavo (DYNAP).Moradi S., Qiao N., Stefanini F. in Indiviri G. Razširljiva večjedrna arhitektura s heterogenimi pomnilniškimi strukturami za dinamične nevromorfne asinhrone procesorje (DYNAP).Transakcije IEEE o biomedicinski znanosti. električni sistem. 12, 106–122 (2018).
Davis, M. et al. Loihi: nevromorfni večjedrni procesor z vgrajenim učenjem. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA Projekt SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA Projekt SpiNNaker.Ferber SB, Galluppi F., Temple S. in Plana LA SpiNNaker projekt.Ferber SB, Galluppi F., Temple S. in Plana LA SpiNNaker projekt. postopek. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Nevromorfni senzorični sistemi. & Delbruck, T. Nevromorfni senzorični sistemi.in Delbrück T. Nevromorfni senzorični sistemi. & Delbruck, T. 神经形态感觉系统。 & Delbruck, T.in Delbrück T. Nevromorfni senzorični sistem.Trenutno. Mnenje. Nevrobiologija. 20, 288–295 (2010).
Chope, T. et al. Nevromorfna senzorična integracija za kombinirano lokalizacijo vira zvoka in izogibanje trčenju. Leta 2019 na konferenci IEEE o biomedicinskih vezjih in sistemih (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Nevromorfna arhitektura stereo vida, ki temelji na konicah. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Nevromorfna arhitektura stereo vida, ki temelji na konicah.Risi N, Aymar A, Donati E, Solinas S in Indiveri G. Nevromorfna stereovizijska arhitektura, ki temelji na konicah. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S in Indiveri G. Nevromorfna arhitektura na osnovi Spike za stereo vid.spredaj. Neurorobotika 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Model nevronske mreže 3D-percepcije za nevromorfne sisteme stereo vida, ki temeljijo na dogodkih. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Model nevronske mreže 3D-percepcije za nevromorfne sisteme stereo vida, ki temeljijo na dogodkih.Oswald, M., Ieng, S.-H., Benosman, R. in Indiveri, G. 3D impulzni model zaznavanja nevronske mreže za na dogodkih temelječe nevromorfne sisteme stereo vida. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 基于事件的神经形态立体视觉系统的3Dperception 脉冲神经网络模型. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R. in Indiveri, G. Spiked 3Dperception Neural Network Model for an Event-Based Neuromorphic Stereo Vision System.znanost. Poročilo 7, 1–11 (2017).
Dalgaty, T. et al. Osnovno zaznavanje gibanja, ki ga navdihuje žuželka, vključuje uporovni spomin in razpokane nevronske mreže. Bionični biohibridni sistem. 10928, 115–128 (2018).
D'Angelo, G. et al. Zaznavanje ekscentričnega gibanja na podlagi dogodkov z uporabo časovnega diferencialnega kodiranja. spredaj. Nevrologija. 14, 451 (2020).
Čas objave: 17. nov. 2022