Aplikacije za obradu podataka u stvarnom svijetu zahtijevaju kompaktne računalne sustave niske latencije i niske potrošnje. S računalnim mogućnostima vođenim događajima, komplementarne hibridne memrističke neuromorfne arhitekture metal-oksid-poluvodič pružaju idealnu hardversku osnovu za takve zadatke. Kako bismo demonstrirali puni potencijal takvih sustava, predlažemo i eksperimentalno demonstriramo sveobuhvatno rješenje za obradu senzora za aplikacije lokalizacije objekata u stvarnom svijetu. Crpeći inspiraciju iz neuroanatomije sove ušare, razvili smo biološki inspiriran sustav lokalizacije objekta vođen događajima koji kombinira vrhunsku piezoelektričnu mikromehaničku transduktorsku sondu s neuromorfnom rezistivnom memorijom temeljenom na računalnim grafovima. Prikazujemo mjerenja proizvedenog sustava koji uključuje rezistivni detektor koincidencija temeljen na memoriji, strujni krug linije kašnjenja i potpuno prilagodljiv ultrazvučni pretvarač. Koristimo ove eksperimentalne rezultate za kalibraciju simulacija na razini sustava. Ove se simulacije zatim koriste za procjenu kutne rezolucije i energetske učinkovitosti modela lokalizacije objekta. Rezultati pokazuju da naš pristup može biti nekoliko redova veličine energetski učinkovitiji od mikrokontrolera koji obavljaju isti zadatak.
Ulazimo u eru sveprisutnog računalstva u kojoj broj uređaja i sustava koji se koriste eksponencijalno raste kako bi nam pomogli u svakodnevnom životu. Očekuje se da će ovi sustavi raditi neprekidno, trošeći što je moguće manje energije dok uče tumačiti podatke koje prikupljaju od više senzora u stvarnom vremenu i proizvode binarni izlaz kao rezultat zadataka klasifikacije ili prepoznavanja. Jedan od najvažnijih koraka potrebnih za postizanje ovog cilja je izdvajanje korisnih i kompaktnih informacija iz bučnih i često nepotpunih senzorskih podataka. Konvencionalni inženjerski pristupi obično uzorkuju signale senzora konstantnom i visokom brzinom, generirajući velike količine podataka čak i u nedostatku korisnih ulaza. Osim toga, ove metode koriste složene tehnike digitalne obrade signala za prethodnu obradu (često šumnih) ulaznih podataka. Umjesto toga, biologija nudi alternativna rješenja za obradu šumnih senzorskih podataka korištenjem energetski učinkovitih, asinkronih pristupa vođenih događajima (šiljci)2,3. Neuromorfno računalstvo crpi inspiraciju iz bioloških sustava kako bi smanjilo troškove računanja u smislu energetskih i memorijskih zahtjeva u usporedbi s tradicionalnim metodama obrade signala4,5,6. Nedavno su demonstrirani inovativni sustavi opće namjene temeljeni na mozgu koji implementiraju impulsne neuronske mreže (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Ovi procesori pružaju rješenja male potrošnje i niske latencije za strojno učenje i modeliranje kortikalnih krugova. Kako bi u potpunosti iskoristili svoju energetsku učinkovitost, ovi neuromorfni procesori moraju biti izravno povezani sa senzorima vođenim događajima12,13. Međutim, danas postoji samo nekoliko uređaja osjetljivih na dodir koji izravno pružaju podatke vođene događajima. Istaknuti primjeri su dinamički vizualni senzori (DVS) za aplikacije vida kao što su praćenje i detekcija pokreta14,15,16,17 silikonska pužnica18 i neuromorfni slušni senzori (NAS)19 za obradu slušnog signala, olfaktorni senzori20 i brojni primjeri21,22 dodira. . senzori teksture.
U ovom radu predstavljamo novorazvijeni sustav slušne obrade vođen događajima primijenjen na lokalizaciju objekata. Ovdje po prvi put opisujemo end-to-end sustav za lokalizaciju objekta dobiven povezivanjem najsuvremenijeg piezoelektričnog mikrostrojnog ultrazvučnog pretvarača (pMUT) s računskim grafom temeljenim na neuromorfnoj rezistivnoj memoriji (RRAM). Računalne arhitekture u memoriji koje koriste RRAM obećavajuća su rješenja za smanjenje potrošnje energije23,24,25,26,27,28,29. Njihova inherentna postojanost—ne zahtijeva aktivnu potrošnju energije za pohranjivanje ili ažuriranje informacija—savršeno se uklapa u asinkronu prirodu neuromorfnog računalstva vođenu događajima, što rezultira skoro nikakvom potrošnjom energije kada je sustav u mirovanju. Piezoelektrični mikrostrojni ultrazvučni pretvarači (pMUTs) su jeftini, minijaturizirani ultrazvučni pretvarači na bazi silicija koji mogu djelovati kao odašiljači i prijamnici30,31,32,33,34. Za obradu signala koje primaju ugrađeni senzori crpili smo inspiraciju iz neuroanatomije sove ušare35,36,37. Sova ušara Tyto alba poznata je po izvanrednim sposobnostima noćnog lova zahvaljujući vrlo učinkovitom sustavu slušne lokalizacije. Kako bi se izračunala lokacija plijena, lokalizacijski sustav sove uše kodira vrijeme leta (ToF) kada zvučni valovi od plijena dođu do svakog od sovinih ušiju ili zvučnih receptora. S obzirom na udaljenost između ušiju, razlika između dva ToF mjerenja (Interaural Time Difference, ITD) omogućuje analitički izračun azimutnog položaja mete. Iako su biološki sustavi slabo prikladni za rješavanje algebarskih jednadžbi, oni mogu vrlo učinkovito riješiti probleme lokalizacije. Živčani sustav sove ušare koristi skup neurona detektora slučajnosti (CD)35 (tj. neurona koji su sposobni detektirati vremenske korelacije između šiljaka koji se šire prema dolje do konvergentnih ekscitatornih završetaka)38,39 organiziranih u računalne grafove za rješavanje problema pozicioniranja.
Prethodno je istraživanje pokazalo da je komplementarni metal-oksid-poluvodič (CMOS) hardver i neuromorfni hardver temeljen na RRAM-u inspiriran inferiornim kolikulusom ("slušni korteks") sove ušare učinkovita metoda za izračunavanje položaja pomoću ITD13, 40, 41, 42, 43, 44, 45, 46. Međutim, potencijal potpunih neuromorfnih sustava koji povezuju slušne znakove s neuromorfnim računalnim grafovima tek treba pokazati. Glavni problem je inherentna varijabilnost analognih CMOS sklopova, koja utječe na točnost detekcije podudaranja. Nedavno su prikazane alternativne numeričke implementacije procjena ITD47. U ovom radu predlažemo korištenje sposobnosti RRAM-a za promjenu vrijednosti vodljivosti na neisparljiv način kako bi se suprotstavilo varijabilnosti u analognim krugovima. Implementirali smo eksperimentalni sustav koji se sastoji od jedne pMUT odašiljačke membrane koja radi na frekvenciji od 111,9 kHz, dviju pMUT prijemnih membrana (senzora) koje simuliraju uši sove, i jednog . Eksperimentalno smo okarakterizirali sustav detekcije pMUT i ITD računski graf temeljen na RRAM-u kako bismo testirali naš sustav lokalizacije i procijenili njegovu kutnu rezoluciju.
Uspoređujemo našu metodu s digitalnom implementacijom na mikrokontroleru koji obavlja istu zadaću lokalizacije koristeći konvencionalne metode oblikovanja snopa ili neuromorfne metode, kao i polje programibilnog niza vrata (FPGA) za ITD procjenu predloženu u referenci. 47. Ova usporedba naglašava konkurentnu energetsku učinkovitost predloženog analognog neuromorfnog sustava temeljenog na RRAM-u.
Jedan od najupečatljivijih primjera točnog i učinkovitog sustava lokalizacije objekata može se pronaći u sovi kukavici35,37,48. U sumrak i zoru, sova ušara (Tyto Alba) prvenstveno se oslanja na pasivno slušanje, aktivno tražeći mali plijen poput voluharica ili miševa. Ovi slušni stručnjaci mogu lokalizirati slušne signale plijena sa zapanjujućom točnošću (oko 2°)35, kao što je prikazano na slici 1a. Sove ušare zaključuju o položaju izvora zvuka u azimutnoj (horizontalnoj) ravnini iz razlike u dolaznom vremenu leta (ITD) od izvora zvuka do dva uha. ITD računalni mehanizam predložio je Jeffress49,50 koji se oslanja na neuralnu geometriju i zahtijeva dvije ključne komponente: akson, neuronsko živčano vlakno koje djeluje kao linija kašnjenja i niz neurona detektora slučajnosti organiziranih u računalni sustav. graf kao što je prikazano na slici 1b. Zvuk dopire do uha s vremenskom odgodom ovisnom o azimutu (ITD). Zvuk se zatim pretvara u uzorak šiljaka u svakom uhu. Aksoni lijevog i desnog uha djeluju kao linije kašnjenja i konvergiraju na CD neurone. Teoretski, samo će jedan neuron u nizu podudarnih neurona primiti ulaz u jednom trenutku (gdje se kašnjenje točno poništava) i aktivirat će se maksimalno (susjedne stanice također će aktivirati, ali na nižoj frekvenciji). Aktiviranje određenih neurona kodira položaj mete u prostoru bez daljnjeg pretvaranja ITD-a u kutove. Ovaj je koncept sažet na slici 1c: na primjer, ako zvuk dolazi s desne strane kada ulazni signal iz desnog uha putuje dužim putem od puta iz lijevog uha, kompenzirajući broj ITD-ova, na primjer, kada se neuron 2 podudara. Drugim riječima, svaki CD reagira na određeni ITD (također poznat kao optimalno kašnjenje) zbog kašnjenja aksona. Dakle, mozak vremenske informacije pretvara u prostorne. Pronađeni su anatomski dokazi za ovaj mehanizam37,51. Fazno zaključani makronukleusni neuroni pohranjuju vremenske informacije o dolaznim zvukovima: kao što im ime kaže, aktiviraju se na određene faze signala. Neuroni detektora slučajnosti Jeffressovog modela mogu se pronaći u laminarnoj jezgri. Oni primaju informacije od makronuklearnih neurona, čiji aksoni djeluju kao linije kašnjenja. Količina odgode koju pruža linija odgode može se objasniti duljinom aksona, kao i drugim uzorkom mijelinizacije koji mijenja brzinu provođenja. Nadahnuti slušnim sustavom sove uše, razvili smo biomimetički sustav za lokaliziranje objekata. Dva uha su predstavljena s dva pMUT prijemnika. Izvor zvuka je pMUT odašiljač smješten između njih (Slika 1a), a računski graf formira mreža CD sklopova temeljenih na RRAM-u (Slika 1b, zeleno), koji igraju ulogu CD neurona čiji su ulazi odgođeni. kroz strujni krug, linije kašnjenja (plavo) djeluju poput aksona u biološkom dvojniku. Predloženi senzorni sustav razlikuje se po radnoj frekvenciji od one sove, čiji slušni sustav radi u rasponu od 1-8 kHz, ali pMUT senzori koji rade na oko 117 kHz koriste se u ovom radu. Odabir ultrazvučnog pretvarača razmatra se prema tehničkim i optimizacijskim kriterijima. Prvo, ograničavanje propusnosti prijema na jednu frekvenciju idealno poboljšava točnost mjerenja i pojednostavljuje korak naknadne obrade. Osim toga, ultrazvučni rad ima prednost u tome što se emitirani impulsi ne čuju, stoga ne smetaju ljudima, budući da je njihov zvučni raspon ~20-20 kHz.
sova ušara prima zvučne valove od cilja, u ovom slučaju plijena koji se kreće. Vrijeme leta (ToF) zvučnog vala različito je za svako uho (osim ako je plijen izravno ispred sove). Isprekidana linija prikazuje put kojim zvučni valovi dopiru do ušiju sove. Plijen se može točno lokalizirati u vodoravnoj ravnini na temelju razlike u duljini između dva akustična puta i odgovarajuće interauralne vremenske razlike (ITD) (lijeva slika inspirirana ref. 74, autorsko pravo 2002., Društvo za neuroznanost). U našem sustavu pMUT odašiljač (tamnoplavi) generira zvučne valove koji se odbijaju od mete. Reflektirane ultrazvučne valove primaju dva pMUT prijemnika (svijetlozeleni) i obrađuju ih neuromorfni procesor (desno). b Računalni model ITD (Jeffress) koji opisuje kako se zvukovi koji ulaze u uši sove kukuljice prvo kodiraju kao fazno zaključani šiljci u velikoj jezgri (NM), a zatim pomoću geometrijski raspoređene mreže usklađenih detektorskih neurona u lamelarnoj jezgri. Obrada (Nizozemska) (lijevo). Ilustracija neuroITD računalnog grafa koji kombinira linije kašnjenja i neurone detektora slučajnosti, biosenzorski sustav sove može se modelirati pomoću neuromorfnih sklopova temeljenih na RRAM-u (desno). c Shema glavnog Jeffressovog mehanizma, zbog razlike u ToF, dva uha primaju zvučne podražaje u različito vrijeme i šalju aksone s oba kraja u detektor. Aksoni su dio niza neurona detektora slučajnosti (CD), od kojih svaki selektivno reagira na ulaze koji su snažno povezani s vremenom. Kao rezultat toga, maksimalno su pobuđeni samo CD-ovi čiji ulazi dolaze s najmanjom vremenskom razlikom (ITD je točno kompenziran). CD će tada kodirati kutni položaj mete.
Piezoelektrični mikromehanički ultrazvučni pretvornici su skalabilni ultrazvučni pretvornici koji se mogu integrirati s naprednom CMOS tehnologijom31,32,33,52 i imaju manji početni napon i potrošnju energije od tradicionalnih volumetrijskih pretvornika53. U našem radu, promjer membrane je 880 µm, a rezonantna frekvencija raspoređena je u rasponu od 110-117 kHz (Sl. 2a, vidi Metode za detalje). U seriji od deset testnih uređaja prosječni faktor kvalitete bio je oko 50 (ref. 31). Tehnologija je dosegla industrijsku zrelost i sama po sebi nije bioinspirirana. Kombiniranje informacija iz različitih pMUT filmova dobro je poznata tehnika, a informacije o kutu mogu se dobiti iz pMUT-ova korištenjem, na primjer, tehnika oblikovanja snopa31,54. Međutim, obrada signala potrebna za izdvajanje informacija o kutu nije prikladna za mjerenja male snage. Predloženi sustav kombinira neuromorfni krug za pretprocesiranje podataka pMUT s neuromorfnim računalnim grafom temeljenim na RRAM-u inspiriranim Jeffressovim modelom (Slika 2c), pružajući alternativno energetski učinkovito i resursima ograničeno hardversko rješenje. Izveli smo eksperiment u kojem su dva pMUT senzora postavljena približno 10 cm jedan od drugoga kako bi se iskoristili različiti ToF zvukovi koje primaju dvije prijemne membrane. Jedan pMUT koji djeluje kao odašiljač nalazi se između prijemnika. Meta je bila PVC ploča širine 12 cm, smještena na udaljenosti D ispred pMUT uređaja (slika 2b). Prijemnik bilježi zvuk koji se reflektira od objekta i reagira što je više moguće tijekom prolaska zvučnog vala. Ponovite pokus mijenjajući položaj predmeta određen udaljenošću D i kutom θ. Inspiriran vezom. 55, predlažemo neuromorfnu prethodnu obradu pMUT neobrađenih signala za pretvaranje reflektiranih valova u vrhove za unos neuromorfnog računalnog grafa. ToF koji odgovara vršnoj amplitudi izdvaja se iz svakog od dva kanala i kodira kao točan vremenski raspored pojedinačnih vršnih vrijednosti. Na sl. Slika 2c prikazuje strujni krug potreban za povezivanje pMUT senzora s računalnim grafom temeljenim na RRAM-u: za svaki od dva pMUT prijemnika, neobrađeni signal se filtrira pojasnim prolazom kako bi se izgladio, ispravio i zatim proslijedio propusnom integratoru u načinu prevladavanja. dinamički prag (slika 2d) stvara izlazni događaj (šiljak) i aktiviranje (LIF) neurona: vrijeme izlaznog skoka kodira detektirano vrijeme leta. LIF prag je kalibriran u odnosu na odgovor pMUT, čime se smanjuje varijabilnost pMUT od uređaja do uređaja. Ovim pristupom, umjesto pohranjivanja cijelog zvučnog vala u memoriju i njegove kasnije obrade, jednostavno generiramo vršnu vrijednost koja odgovara ToF zvučnog vala, koji čini ulaz u računalni graf rezistivne memorije. Šiljci se šalju izravno na linije kašnjenja i paraleliziraju s modulima za otkrivanje podudaranja u neuromorfnim računalnim grafovima. Budući da se šalju na vrata tranzistora, nije potreban nikakav dodatni strujni krug za pojačanje (pogledajte Dodatnu sliku 4 za detalje). Kako bismo procijenili kutnu točnost lokalizacije koju pružaju pMUT i predložena metoda obrade signala, izmjerili smo ITD (to jest, razliku u vremenu između vršnih događaja koje generiraju dva prijamnika) kako su udaljenost i kut objekta varirali. ITD analiza je zatim pretvorena u kutove (vidi Metode) i iscrtana u odnosu na položaj objekta: nesigurnost u izmjerenom ITD-u se povećavala s udaljenošću i kutom prema objektu (Sl. 2e,f). Glavni problem je omjer vrha i šuma (PNR) u pMUT odgovoru. Što je objekt dalje, zvučni signal je niži, čime se smanjuje PNR (Sl. 2f, zelena linija). Smanjenje PNR-a dovodi do povećanja nesigurnosti u procjeni ITD-a, što rezultira povećanjem točnosti lokalizacije (Sl. 2f, plava linija). Za objekt na udaljenosti od 50 cm od odašiljača, kutna točnost sustava je približno 10°. Ovo ograničenje nametnuto karakteristikama senzora može se poboljšati. Na primjer, tlak koji šalje emiter može se povećati, čime se povećava napon koji pokreće pMUT membranu. Drugo rješenje za pojačavanje odaslanog signala je povezivanje više odašiljača 56. Ova rješenja će povećati domet detekcije na račun povećanih troškova energije. Dodatna poboljšanja mogu se napraviti na strani primatelja. Nivo šuma prijemnika pMUT-a može se značajno smanjiti poboljšanjem veze između pMUT-a i prvog stupnja pojačala, što se trenutno radi žičanim vezama i RJ45 kabelima.
a Slika pMUT kristala sa šest membrana od 880 µm integriranih na koraku od 1,5 mm. b Dijagram mjernog sustava. Cilj se nalazi na azimutnoj poziciji θ i na udaljenosti D. pMUT odašiljač generira signal od 117,6 kHz koji se odbija od cilja i doseže dva pMUT prijemnika s različitim vremenom leta (ToF). Ova razlika, definirana kao inter-auralna vremenska razlika (ITD), kodira položaj objekta i može se procijeniti procjenom vršnog odgovora dva senzora prijemnika. c Shema koraka prethodne obrade za pretvaranje neobrađenog pMUT signala u šiljaste sekvence (tj. ulaz u neuromorfni računski graf). Senzori pMUT i neuromorfni računalni grafovi proizvedeni su i testirani, a neuromorfna predobrada temelji se na softverskoj simulaciji. d Odgovor pMUT membrane po primitku signala i njegova transformacija u šiljastu domenu. e Kutna točnost eksperimentalne lokalizacije kao funkcija kuta objekta (Θ) i udaljenosti (D) do ciljnog objekta. Metoda ITD ekstrakcije zahtijeva minimalnu kutnu rezoluciju od približno 4°C. f Kutna točnost (plava linija) i odgovarajući omjer vrha i šuma (zelena linija) u odnosu na udaljenost objekta za Θ = 0.
Otporna memorija pohranjuje informacije u trajnom vodljivom stanju. Osnovno načelo metode je da modifikacija materijala na atomskoj razini uzrokuje promjenu njegove električne vodljivosti57. Ovdje koristimo rezistivnu memoriju na bazi oksida koja se sastoji od 5nm sloja hafnijevog dioksida u sendviču između gornje i donje elektrode od titana i titan nitrida. Vodljivost RRAM uređaja može se promijeniti primjenom valnog oblika struje/napona koji stvara ili prekida vodljive niti slobodnih mjesta kisika između elektroda. Ko-integrirali smo takve uređaje58 u standardni 130 nm CMOS proces kako bismo stvorili proizveden rekonfigurabilni neuromorfni sklop koji implementira detektor slučajnosti i krug linije kašnjenja (Sl. 3a). Neisparljiva i analogna priroda uređaja, u kombinaciji s prirodom neuromorfnog kruga vođenom događajima, smanjuje potrošnju energije. Krug ima funkciju trenutnog uključivanja/isključivanja: radi odmah nakon uključivanja, dopuštajući potpuno isključivanje struje kada je krug u stanju mirovanja. Glavni sastavni dijelovi predložene sheme prikazani su na sl. 3b. Sastoji se od N paralelnih struktura s jednim otpornikom i jednim tranzistorom (1T1R) koje kodiraju sinaptičke težine iz kojih se uzimaju ponderirane struje, ubrizgavaju u zajedničku sinapsu integratora diferencijalnog para (DPI)59 i konačno ubrizgavaju u sinapsu s integracijom i propuštanje. aktivirani (LIF) neuron 60 (vidi Metode za detalje). Ulazni udari se primjenjuju na vrata strukture 1T1R u obliku niza naponskih impulsa s trajanjem reda veličine stotina nanosekundi. Otporna memorija može se postaviti u stanje visoke vodljivosti (HCS) primjenom vanjske pozitivne reference na Vtop kada je Vbottom uzemljen i vratiti u stanje niske vodljivosti (LCS) primjenom pozitivnog napona na Vbottom kada je Vtop uzemljen. Prosječna vrijednost HCS-a može se kontrolirati ograničavanjem struje programiranja (usklađenosti) SET-a (ICC) naponom gate-source serijskog tranzistora (slika 3c). Funkcije RRAM-a u krugu su dvojake: usmjeravaju i ponderiraju ulazne impulse.
Slika s skenirajućim elektronskim mikroskopom (SEM) plavog HfO2 1T1R RRAM uređaja integriranog u 130 nm CMOS tehnologiju sa selektorskim tranzistorima (širine 650 nm) u zelenoj boji. b Osnovni građevni blokovi predložene neuromorfne sheme. Ulazni naponski impulsi (vrhovi) Vin0 i Vin1 troše struju Iweight, koja je proporcionalna stanjima vodljivosti G0 i G1 strukture 1T1R. Ova struja se ubrizgava u DPI sinapse i pobuđuje LIF neurone. RRAM G0 i G1 instalirani su u HCS odnosno LCS. c Funkcija kumulativne gustoće vodljivosti za grupu od 16K RRAM uređaja kao funkcija ICC usklađivanja struje, koja učinkovito kontrolira razinu vodljivosti. d Mjerenja strujnog kruga u (a) pokazuju da G1 (u LCS-u) učinkovito blokira ulaz iz Vin1 (zeleno), i doista napon izlazne neuronske membrane reagira samo na plavi ulaz iz Vin0. RRAM učinkovito određuje veze u krugu. e Mjerenje kruga u (b) koje pokazuje učinak vrijednosti vodljivosti G0 na napon membrane Vmem nakon primjene naponskog impulsa Vin0. Što je veća vodljivost, to je jači odziv: stoga RRAM uređaj implementira ponderiranje I/O veze. Mjerenja su napravljena na krugu i pokazuju dvostruku funkciju RRAM-a, usmjeravanje i ponderiranje ulaznih impulsa.
Prvo, budući da postoje dva osnovna stanja vodljivosti (HCS i LCS), RRAM-ovi mogu blokirati ili propustiti ulazne impulse kada su u LCS odnosno HCS stanju. Kao rezultat toga, RRAM učinkovito određuje veze u krugu. To je osnova za mogućnost rekonfiguracije arhitekture. Kako bismo to demonstrirali, opisat ćemo izrađenu implementaciju kruga bloka kruga na slici 3b. RRAM koji odgovara G0 je programiran u HCS, a drugi RRAM G1 je programiran u LCS. Ulazni impulsi primjenjuju se i na Vin0 i na Vin1. Učinci dvaju nizova ulaznih impulsa analizirani su u izlaznim neuronima prikupljanjem napona neuronske membrane i izlaznog signala pomoću osciloskopa. Eksperiment je bio uspješan kada je samo HCS uređaj (G0) spojen na puls neurona za stimulaciju napetosti membrane. To je prikazano na slici 3d, gdje plavi niz impulsa uzrokuje nakupljanje membranskog napona na membranskom kondenzatoru, dok zeleni niz impulsa održava konstantnim membranski napon.
Druga važna funkcija RRAM-a je implementacija utega veze. Korištenjem RRAM-ove analogne prilagodbe vodljivosti, I/O veze mogu se odgovarajuće ponderirati. U drugom eksperimentu, uređaj G0 programiran je na različite razine HCS-a, a ulazni impuls primijenjen je na ulaz VIn0. Ulazni impuls izvlači struju (Iweight) iz uređaja, koja je proporcionalna vodljivosti i odgovarajućem padu potencijala Vtop − Vbot. Ova ponderirana struja se zatim ubrizgava u DPI sinapse i LIF izlazne neurone. Membranski napon izlaznih neurona zabilježen je pomoću osciloskopa i prikazan na slici 3d. Vrh napona neuronske membrane kao odgovor na jedan ulazni impuls proporcionalan je vodljivosti rezistivne memorije, pokazujući da se RRAM može koristiti kao programabilni element sinaptičke težine. Ova dva preliminarna testa pokazuju da predložena neuromorfna platforma temeljena na RRAM-u može implementirati osnovne elemente osnovnog Jeffressovog mehanizma, naime liniju kašnjenja i krug detektora slučajnosti. Platforma strujnog kruga izgrađena je slaganjem uzastopnih blokova jedan pored drugog, kao što su blokovi na slici 3b, i povezivanjem njihovih vrata na zajedničku ulaznu liniju. Dizajnirali smo, izradili i testirali neuromorfnu platformu koja se sastoji od dva izlazna neurona koji primaju dva ulaza (slika 4a). Dijagram strujnog kruga prikazan je na slici 4b. Gornja 2 × 2 RRAM matrica omogućuje usmjeravanje ulaznih impulsa na dva izlazna neurona, dok donja 2 × 2 matrica omogućuje rekurentne veze dvaju neurona (N0, N1). Pokazujemo da se ova platforma može koristiti s konfiguracijom linije kašnjenja i dvije različite funkcije detektora slučajnosti, kao što je prikazano eksperimentalnim mjerenjima na slici 4c-e.
Dijagram strujnog kruga koji čine dva izlazna neurona N0 i N1 koji primaju dva ulaza 0 i 1. Gornja četiri uređaja niza definiraju sinaptičke veze od ulaza do izlaza, a donje četiri ćelije definiraju rekurentne veze između neurona. Obojeni RRAM-ovi predstavljaju uređaje konfigurirane u HCS-u s desne strane: uređaji u HCS-u dopuštaju veze i predstavljaju težine, dok uređaji u LCS-u blokiraju ulazne impulse i onemogućuju veze s izlazima. b Dijagram kruga (a) s osam RRAM modula označenih plavom bojom. c Linije kašnjenja formiraju se jednostavnim korištenjem dinamike DPI sinapsi i LIF neurona. Zeleni RRAM postavljen je na dovoljno visoku vodljivost da može izazvati grešku na izlazu nakon ulaznog kašnjenja Δt. d Shematski prikaz CD detekcije vremenski ovisnih signala neosjetljive na smjer. Izlazni neuron 1, N1, aktivira se na ulazima 0 i 1 s kratkom odgodom. e CD sklop osjetljiv na smjer, sklop koji detektira kada se ulaz 1 približava ulazu 0 i dolazi nakon ulaza 0. Izlaz sklopa predstavlja neuron 1 (N1).
Linija odgode (Slika 4c) jednostavno koristi dinamičko ponašanje DPI sinapsi i LIF neurona za reprodukciju ulaznog skoka od Vin1 do Vout1 odgodom Tdel. Samo G3 RRAM spojen na Vin1 i Vout1 je programiran u HCS-u, ostali RRAM-ovi su programirani u LCS-u. G3 uređaj je programiran na 92,6 µs kako bi se osiguralo da svaki ulazni impuls poveća napon membrane izlaznog neurona dovoljno da dosegne prag i generira odgođeni izlazni impuls. Kašnjenje Tdel određeno je sinaptičkim i neuralnim vremenskim konstantama. Detektori slučajnosti otkrivaju pojavu vremenski koreliranih, ali prostorno raspoređenih ulaznih signala. CD neosjetljiv na smjer oslanja se na pojedinačne ulaze koji konvergiraju u zajednički izlazni neuron (slika 4d). Dva RRAM-a koji povezuju Vin0 i Vin1 s Vout1, G2 i G4 programirani su za visoku vodljivost. Istovremeni dolazak šiljaka na Vin0 i Vin1 povećava napon neuronske membrane N1 iznad praga potrebnog za generiranje izlaznog šiljka. Ako su dva ulaza vremenski predaleko, naboj na membranskom naponu akumuliran prvim ulazom može imati vremena da se smanji, sprječavajući membranski potencijal N1 da dosegne vrijednost praga. G1 i G2 su programirani na približno 65 µs, što osigurava da jedan ulazni udar ne poveća napon membrane dovoljno da izazove izlazni udar. Detekcija podudarnosti između događaja raspoređenih u prostoru i vremenu temeljna je operacija koja se koristi u širokom rasponu senzorskih zadataka kao što je izbjegavanje prepreka temeljeno na optičkom protoku i lokalizacija izvora zvuka. Stoga je računalstvo CD-ova osjetljivih na smjer i neosjetljivih CD-ova temeljni građevni blok za izgradnju vizualnih i audio sustava lokalizacije. Kao što je prikazano karakteristikama vremenskih konstanti (vidi dopunsku sliku 2), predloženi sklop implementira prikladan raspon od četiri reda veličine vremenskih skala. Dakle, može istovremeno zadovoljiti zahtjeve vizualnih i zvučnih sustava. Directional-sensitive CD je sklop koji je osjetljiv na prostorni redoslijed dolaska impulsa: s desna na lijevo i obrnuto. To je temeljni građevni blok u osnovnoj mreži za detekciju pokreta vizualnog sustava Drosophile, koji se koristi za izračunavanje smjerova kretanja i otkrivanje sudara62. Da bi se postigao CD osjetljiv na smjer, dva ulaza moraju biti usmjerena na dva različita neurona (N0, N1) i mora se uspostaviti usmjerena veza između njih (slika 4e). Kada se primi prvi ulaz, NO reagira povećanjem napona na svojoj membrani iznad vrijednosti praga i šalje val. Ovaj izlazni događaj zauzvrat pokreće N1 zahvaljujući usmjerenoj vezi označenoj zelenom bojom. Ako ulazni događaj Vin1 stigne i napaja N1 dok je napon njegove membrane još uvijek visok, N1 generira izlazni događaj koji pokazuje da je pronađeno podudaranje između dva ulaza. Usmjerene veze dopuštaju N1 emitiranje izlaza samo ako ulaz 1 dolazi nakon ulaza 0. G0, G3 i G7 programirani su na 73,5 µS, 67,3 µS i 40,2 µS, respektivno, osiguravajući da jedan skok na ulazu Vin0 uzrokuje odgodu izlazni skok, dok membranski potencijal N1 doseže prag samo kada ulaze oba rafali stižu sinkronizirano. .
Varijabilnost je izvor nesavršenosti u modeliranim neuromorfnim sustavima63,64,65. To dovodi do heterogenog ponašanja neurona i sinapsi. Primjeri takvih nedostataka uključuju varijabilnost od 30% (srednja standardna devijacija) u ulaznom pojačanju, vremenskoj konstanti i refraktornom razdoblju, da spomenemo samo neke (vidi Metode). Ovaj problem je još izraženiji kada je višestruki neuronski krug povezan zajedno, kao što je CD osjetljiv na orijentaciju koji se sastoji od dva neurona. Kako bi ispravno radili, vremenske konstante pojačanja i opadanja dvaju neurona trebaju biti što sličnije. Na primjer, velika razlika u ulaznom pojačanju može uzrokovati pretjeranu reakciju jednog neurona na ulazni impuls, dok drugi jedva reagira. Na sl. Slika 5a pokazuje da nasumično odabrani neuroni različito reagiraju na isti ulazni impuls. Ova neuralna varijabilnost relevantna je, na primjer, za funkciju CD-a osjetljivih na smjer. U shemi prikazanoj na sl. 5b, c, ulazni dobitak neurona 1 mnogo je veći nego neurona 0. Dakle, neuron 0 zahtijeva tri ulazna impulsa (umjesto 1) da dosegne prag, a neuron 1, kao što se očekivalo, treba dva ulazna događaja. Implementacija biomimetičke plastičnosti ovisne o vremenu (STDP) mogući je način za ublažavanje utjecaja nepreciznih i tromih neuronskih i sinaptičkih sklopova na performanse sustava43. Ovdje predlažemo korištenje plastičnog ponašanja rezistivnog pamćenja kao sredstva za utjecanje na poboljšanje neuralnog unosa i smanjenje učinaka varijabilnosti u neuromorfnim krugovima. Kao što je prikazano na sl. Na slici 4e, razine vodljivosti povezane s RRAM sinaptičkom masom učinkovito moduliraju odgovarajući naponski odgovor neuralne membrane. Koristimo iterativnu RRAM strategiju programiranja. Za dani ulaz, vrijednosti vodljivosti sinaptičkih težina se reprogramiraju dok se ne postigne ciljno ponašanje kruga (vidi Metode).
a Eksperimentalna mjerenja odgovora devet nasumično odabranih pojedinačnih neurona na isti ulazni impuls. Odgovor varira među populacijama, utječući na ulazni dobitak i vremensku konstantu. b Eksperimentalna mjerenja utjecaja neurona na varijabilnost neurona koji utječu na CD osjetljiv na smjer. Dva CD izlazna neurona osjetljiva na smjer različito reagiraju na ulazne podražaje zbog varijabilnosti od neurona do neurona. Neuron 0 ima manji ulazni dobitak od neurona 1, pa su potrebna tri ulazna impulsa (umjesto 1) da bi se stvorio izlazni skok. Kao što se i očekivalo, neuron 1 doseže prag s dva ulazna događaja. Ako ulaz 1 stigne Δt = 50 µs nakon što se neuron 0 aktivira, CD ostaje tih jer je Δt veći od vremenske konstante neurona 1 (oko 22 µs). c se smanjuje za Δt = 20 µs, tako da ulaz 1 dostiže vrhunac kada je aktiviranje neurona 1 još uvijek visoko, što rezultira istodobnim otkrivanjem dvaju ulaznih događaja.
Dva elementa koja se koriste u stupcu izračuna ITD su linija kašnjenja i CD neosjetljivi na smjer. Oba kruga zahtijevaju preciznu kalibraciju kako bi se osiguralo dobro pozicioniranje objekta. Linija kašnjenja mora isporučiti precizno odgođenu verziju ulaznog vrha (Sl. 6a), a CD se mora aktivirati samo kada ulaz padne unutar ciljanog raspona detekcije. Za liniju odgode, sinaptičke težine ulaznih veza (G3 na slici 4a) reprogramirane su dok se ne postigne ciljna odgoda. Postavite toleranciju oko ciljne odgode za zaustavljanje programa: što je manja tolerancija, to je teže uspješno postaviti liniju odgode. Na sl. Slika 6b prikazuje rezultate procesa kalibracije linije kašnjenja: može se vidjeti da predložena shema može točno osigurati sva kašnjenja potrebna u projektnoj shemi (od 10 do 300 μs). Maksimalni broj ponavljanja kalibracije utječe na kvalitetu procesa kalibracije: 200 ponavljanja može smanjiti pogrešku na manje od 5%. Jedna iteracija kalibracije odgovara operaciji postavljanja/poništavanja RRAM ćelije. Proces podešavanja također je ključan za poboljšanje točnosti trenutne detekcije događaja zatvaranja CD modula. Bilo je potrebno deset ponavljanja kalibracije da se postigne stvarna pozitivna stopa (tj. stopa događaja koji su ispravno identificirani kao relevantni) iznad 95% (plava linija na slici 6c). Međutim, proces podešavanja nije utjecao na lažno pozitivne događaje (to jest, učestalost događaja koji su pogrešno identificirani kao relevantni). Druga metoda uočena u biološkim sustavima za prevladavanje vremenskih ograničenja brzo aktivirajućih putova je redundantnost (to jest, mnogo kopija istog objekta se koristi za obavljanje određene funkcije). Nadahnuti biologijom66, postavili smo nekoliko CD krugova u svaki CD modul između dvije linije kašnjenja kako bismo smanjili utjecaj lažnih pozitivnih rezultata. Kao što je prikazano na sl. 6c (zelena crta), postavljanje tri CD elementa u svaki CD modul može smanjiti stopu lažnih alarma na manje od 10–2.
a Učinak neuronske varijabilnosti na krugove linija kašnjenja. b Krugovi linija kašnjenja mogu se skalirati na velika kašnjenja postavljanjem vremenskih konstanti odgovarajućih LIF neurona i DPI sinapsi na velike vrijednosti. Povećanje broja ponavljanja postupka kalibracije RRAM-a omogućilo je značajno poboljšanje točnosti ciljne odgode: 200 ponavljanja smanjilo je pogrešku na manje od 5%. Jedna iteracija odgovara operaciji SET/RESET na RRAM ćeliji. Svaki CD modul u c Jeffress modelu može se implementirati korištenjem N paralelnih CD elemenata za veću fleksibilnost s obzirom na kvarove sustava. d Više iteracija RRAM kalibracije povećava stvarnu pozitivnu stopu (plava linija), dok je lažno pozitivna stopa neovisna o broju ponavljanja (zelena linija). Postavljanje više CD elemenata paralelno izbjegava lažno otkrivanje podudaranja CD modula.
Sada procjenjujemo izvedbu i potrošnju energije end-to-end integriranog sustava lokalizacije objekata prikazanog na slici 2 koristeći mjerenja akustičkih svojstava pMUT senzora, CD-a i krugova linija kašnjenja koji čine neuromorfni računalni graf. Jeffressov model (slika 1a). Što se tiče neuromorfnog računalnog grafa, što je veći broj CD modula, to je bolja kutna rezolucija, ali i veća energija sustava (slika 7a). Kompromis se može postići usporedbom točnosti pojedinačnih komponenti (pMUT senzora, neurona i sinaptičkih krugova) s preciznošću cijelog sustava. Razlučivost linije kašnjenja ograničena je vremenskim konstantama simuliranih sinapsi i neurona, koje u našoj shemi prelaze 10 µs, što odgovara kutnoj razlučivosti od 4° (vidi Metode). Napredniji čvorovi s CMOS tehnologijom omogućit će dizajn neuralnih i sinaptičkih sklopova s nižim vremenskim konstantama, što će rezultirati većom preciznošću elemenata linije kašnjenja. Međutim, u našem sustavu točnost je ograničena pogreškom pMUT u procjeni kutnog položaja, tj. 10° (plava vodoravna linija na sl. 7a). Fiksirali smo broj CD modula na 40, što odgovara kutnoj rezoluciji od oko 4°, tj. kutnoj točnosti računskog grafa (svijetloplava vodoravna linija na slici 7a). Na razini sustava to daje rezoluciju od 4° i točnost od 10° za objekte koji se nalaze 50 cm ispred senzorskog sustava. Ova vrijednost je usporediva s neuromorfnim sustavima lokalizacije zvuka prijavljenim u ref. 67. Usporedba predloženog sustava sa stanjem tehnike može se pronaći u Dodatnoj tablici 1. Dodavanje dodatnih pMUT-ova, povećanje razine akustičnog signala i smanjenje elektroničkog šuma mogući su načini za daljnje poboljšanje točnosti lokalizacije. ) procjenjuje se na 9,7. nz. 55. S obzirom na 40 CD jedinica na računskom grafikonu, SPICE simulacija je procijenila energiju po operaciji (tj. energiju pozicioniranja objekta) na 21,6 nJ. Neuromorfni sustav se aktivira samo kada dođe ulazni događaj, tj. kada akustični val dođe do bilo kojeg pMUT prijamnika i prijeđe prag detekcije, inače ostaje neaktivan. Time se izbjegava nepotrebna potrošnja energije kada nema ulaznog signala. Uzimajući u obzir učestalost operacija lokalizacije od 100 Hz i period aktivacije od 300 µs po operaciji (maksimalni mogući ITD), potrošnja energije neuromorfnog računalnog grafa je 61,7 nW. Uz neuromorfnu predobradu primijenjenu na svaki pMUT prijemnik, potrošnja energije cijelog sustava doseže 81,6 nW. Kako bismo razumjeli energetsku učinkovitost predloženog neuromorfnog pristupa u usporedbi s konvencionalnim hardverom, usporedili smo ovaj broj s energijom potrebnom za obavljanje istog zadatka na modernom mikrokontroleru male snage koristeći bilo neuromorfnu ili konvencionalnu vještinu oblikovanja snopa68. Neuromorfni pristup razmatra stupanj analogno-digitalnog pretvarača (ADC), nakon kojeg slijedi pojasni filtar i stupanj ekstrakcije ovojnice (Teeger-Kaiserova metoda). Konačno, izvršava se operacija praga za izdvajanje ToF-a. Izostavili smo izračun ITD-a na temelju ToF-a i pretvorbu u procijenjeni kutni položaj jer se to događa jednom za svako mjerenje (vidi Metode). Uz pretpostavku brzine uzorkovanja od 250 kHz na oba kanala (pMUT prijemnici), 18 operacija pojasnog filtra, 3 operacije ekstrakcije omotnice i 1 radnju praga po uzorku, ukupna potrošnja energije procijenjena je na 245 mikrovata. Ovo koristi način rada niske potrošnje69 mikrokontrolera, koji se uključuje kada se algoritmi ne izvršavaju, što smanjuje potrošnju energije na 10,8 µW. Potrošnja energije rješenja za obradu signala za oblikovanje snopa predloženog u referenci. 31, s 5 pMUT prijamnika i 11 zraka ravnomjerno raspoređenih u azimutnoj ravnini [-50°, +50°], iznosi 11,71 mW (za detalje pogledajte odjeljak Metode). Osim toga, izvještavamo o potrošnji energije FPGA47-temeljenog enkodera vremenske razlike (TDE) procijenjenoj na 1,5 mW kao zamjena za Jeffressov model za lokalizaciju objekata. Na temelju ovih procjena, predloženi neuromorfni pristup smanjuje potrošnju energije za pet redova veličine u usporedbi s mikrokontrolerom koji koristi klasične tehnike oblikovanja snopa za operacije lokalizacije objekta. Usvajanje neuromorfnog pristupa obradi signala na klasičnom mikrokontroleru smanjuje potrošnju energije za oko dva reda veličine. Učinkovitost predloženog sustava može se objasniti kombinacijom asinkronog analognog kruga s rezistivnom memorijom sposobnog za izvođenje proračuna u memoriji i nedostatkom analogno-digitalne pretvorbe potrebne za opažanje signala.
a Kutna razlučivost (plavo) i potrošnja energije (zeleno) operacije lokalizacije ovisno o broju CD modula. Tamnoplava vodoravna traka predstavlja kutnu točnost PMUT-a, a svijetloplava vodoravna traka predstavlja kutnu točnost neuromorfnog računskog grafa. b Potrošnja energije predloženog sustava i usporedba s dvije razmatrane implementacije mikrokontrolera i digitalnom implementacijom enkodera vremenske razlike (TDE)47 FPGA.
Kako bismo smanjili potrošnju energije sustava za lokalizaciju cilja, osmislili smo, dizajnirali i implementirali učinkovit neuromorfni krug RRAM-a temeljen na događajima koji obrađuje informacije o signalu koje generiraju ugrađeni senzori za izračunavanje položaja ciljanog objekta u stvarnom vremenu vrijeme. . Dok tradicionalne metode obrade kontinuirano uzorkuju detektirane signale i izvode izračune za izdvajanje korisnih informacija, predloženo neuromorfno rješenje izvodi izračune asinkrono kako korisne informacije pristižu, maksimizirajući energetsku učinkovitost sustava za pet redova veličine. Osim toga, ističemo fleksibilnost neuromorfnih sklopova temeljenih na RRAM-u. Sposobnost RRAM-a da mijenja vodljivost na postojan način (plastičnost) kompenzira inherentnu varijabilnost sinaptičkih i neuralnih krugova analognog DPI-ja ultra male snage. To čini ovaj krug temeljen na RRAM-u svestranim i moćnim. Naš cilj nije izvući složene funkcije ili uzorke iz signala, već lokalizirati objekte u stvarnom vremenu. Naš sustav također može učinkovito komprimirati signal i na kraju ga poslati u daljnje korake obrade za donošenje složenijih odluka kada je to potrebno. U kontekstu lokalizacijskih aplikacija, naš neuromorfni korak pretprocesiranja može pružiti informacije o lokaciji objekata. Ove informacije mogu se koristiti, na primjer, za detekciju pokreta ili prepoznavanje pokreta. Naglašavamo važnost kombiniranja senzora ultra male snage kao što su pMUT s elektronikom ultra male snage. Za to su neuromorfni pristupi bili ključni jer su nas doveli do razvoja novih implementacija sklopova biološki inspiriranih računalnih metoda kao što je Jeffressov model. U kontekstu aplikacija za spajanje senzora, naš se sustav može kombinirati s nekoliko različitih senzora temeljenih na događajima kako bi se dobile točnije informacije. Iako su sove izvrsne u pronalaženju plijena u mraku, one imaju izvrstan vid i obavljaju kombiniranu slušnu i vizualnu pretragu prije nego što uhvate plijen70. Kada se aktivira određeni slušni neuron, sova prima informaciju koja joj je potrebna da odredi u kojem smjeru započeti svoju vizualnu potragu, fokusirajući tako svoju pozornost na mali dio vizualne scene. Treba istražiti kombinaciju vizualnih senzora (DVS kamera) i predloženog senzora za slušanje (temeljenog na pMUT) za razvoj budućih autonomnih agenata.
Senzor pMUT nalazi se na tiskanoj ploči s dva prijemnika udaljena približno 10 cm, a odašiljač se nalazi između prijemnika. U ovom radu, svaka membrana je suspendirana bimorfna struktura koja se sastoji od dva sloja piezoelektričnog aluminijevog nitrida (AlN) debljine 800 nm u sendviču između tri sloja molibdena (Mo) debljine 200 nm i presvučena slojem debljine 200 nm. gornji pasivirajući SiN sloj kao što je opisano u referenci. 71. Unutarnja i vanjska elektroda nanose se na donji i gornji sloj molibdena, dok je srednja molibdenska elektroda bez uzorka i koristi se kao uzemljenje, što rezultira membranom s četiri para elektroda.
Ova arhitektura omogućuje korištenje zajedničke deformacije membrane, što rezultira poboljšanom osjetljivošću odašiljanja i primanja. Takav pMUT tipično pokazuje osjetljivost ekscitacije od 700 nm/V kao emiter, osiguravajući površinski tlak od 270 Pa/V. Kao prijemnik, jedan pMUT film pokazuje osjetljivost na kratki spoj od 15 nA/Pa, što je izravno povezano s piezoelektričnim koeficijentom AlN. Tehnička varijabilnost napona u AlN sloju dovodi do promjene u rezonantnoj frekvenciji, koja se može kompenzirati primjenom istosmjernog prednapona na pMUT. DC osjetljivost izmjerena je na 0,5 kHz/V. Za akustičku karakterizaciju koristi se mikrofon ispred pMUT-a.
Kako bismo izmjerili puls odjeka, postavili smo pravokutnu ploču površine oko 50 cm2 ispred pMUT-a kako bi reflektirala emitirane zvučne valove. I razmak između ploča i kut u odnosu na ravninu pMUT kontroliraju se posebnim držačima. Tectronix CPX400DP izvor napona pokreće tri pMUT membrane, podešavajući rezonantnu frekvenciju na 111,9 kHz31, dok odašiljače pokreće Tectronix AFG 3102 generator impulsa podešen na rezonantnu frekvenciju (111,9 kHz) i radni ciklus od 0,01. Struje očitane s četiri izlazna priključka svakog pMUT prijamnika pretvaraju se u napone pomoću posebne arhitekture diferencijalne struje i napona, a rezultirajući signali se digitaliziraju pomoću sustava za prikupljanje podataka Spektrum. Granica detekcije karakterizirana je akvizicijom pMUT signala pod različitim uvjetima: pomaknuli smo reflektor na različite udaljenosti [30, 40, 50, 60, 80, 100] cm i promijenili kut potpore pMUT ([0, 20, 40] o ) Slika 2b prikazuje vremensku razlučivost detekcije ITD ovisno o odgovarajućem kutnom položaju u stupnjevima.
Ovaj članak koristi dva različita gotova RRAM sklopa. Prvi je niz od 16 384 (16 000) uređaja (128 × 128 uređaja) u konfiguraciji 1T1R s jednim tranzistorom i jednim otpornikom. Drugi čip je neuromorfna platforma prikazana na slici 4a. RRAM ćelija sastoji se od 5 nm debelog HfO2 filma umetnutog u hrpu TiN/HfO2/Ti/TiN. RRAM skup integriran je u back-of-line (BEOL) standardnog 130nm CMOS procesa. Neuromorfni sklopovi temeljeni na RRAM-u predstavljaju izazov dizajna za potpuno analogne elektroničke sustave u kojima RRAM uređaji koegzistiraju s tradicionalnom CMOS tehnologijom. Konkretno, stanje vodljivosti RRAM uređaja mora se očitati i koristiti kao funkcijska varijabla za sustav. U tu je svrhu dizajniran, proizveden i testiran krug koji očitava struju iz uređaja kada se primi ulazni impuls i koristi tu struju za određivanje odgovora sinapse diferencijalnog integratora para (DPI). Ovaj sklop je prikazan na slici 3a, koja predstavlja osnovne građevne blokove neuromorfne platforme na slici 4a. Ulazni impuls aktivira vrata uređaja 1T1R, inducirajući struju kroz RRAM proporcionalnu vodljivosti uređaja G (Iweight = G(Vtop – Vx)). Invertirajući ulaz kruga operacijskog pojačala (op-amp) ima konstantan istosmjerni prednapon Vtop. Negativna povratna sprega operacijskog pojačala osigurat će Vx = Vtop pružanjem jednake struje iz M1. Trenutačna Iweight dohvaćena s uređaja ubrizgava se u DPI sinapsu. Jača struja rezultirat će većom depolarizacijom, tako da vodljivost RRAM-a učinkovito implementira sinaptičke težine. Ova eksponencijalna sinaptička struja ubrizgava se kroz membranski kondenzator neurona Leaky Integration and Excitation (LIF), gdje se integrira kao napon. Ako se napon praga membrane (napon preklapanja pretvarača) prevlada, aktivira se izlazni dio neurona, stvarajući izlazni skok. Ovaj puls se vraća i spaja membranski kondenzator neurona na masu, uzrokujući njegovo pražnjenje. Ovaj krug se zatim nadopunjuje ekspanderom impulsa (nije prikazan na slici 3a), koji oblikuje izlazni impuls LIF neurona prema ciljnoj širini impulsa. Multiplekseri su također ugrađeni u svaku liniju, omogućujući dovođenje napona na gornju i donju elektrodu RRAM uređaja.
Električno ispitivanje uključuje analizu i snimanje dinamičkog ponašanja analognih sklopova, kao i programiranje i očitavanje RRAM uređaja. Oba koraka zahtijevaju posebne alate koji su svi spojeni na senzorsku ploču u isto vrijeme. Pristup RRAM uređajima u neuromorfnim sklopovima provodi se iz vanjskih alata preko multipleksera (MUX). MUX odvaja 1T1R ćeliju od ostatka strujnog kruga kojem pripada, omogućujući čitanje i/ili programiranje uređaja. Za programiranje i čitanje RRAM uređaja koristi se Keithley 4200 SCS stroj u kombinaciji s Arduino mikrokontrolerom: prvi za precizno generiranje impulsa i očitavanje struje, a drugi za brzi pristup pojedinačnim 1T1R elementima u memorijskom nizu. Prva operacija je formiranje RRAM uređaja. Ćelije se biraju jedna po jedna i pozitivni napon se primjenjuje između gornje i donje elektrode. U ovom slučaju, struja je ograničena na red desetaka mikroampera zbog dovoda odgovarajućeg napona vrata na selektorski tranzistor. RRAM ćelija tada može kružiti između stanja niske vodljivosti (LCS) i stanja visoke vodljivosti (HCS) korištenjem operacija RESET i SET. Operacija SET provodi se primjenom pravokutnog naponskog impulsa u trajanju od 1 μs i vršnog napona od 2,0-2,5 V na gornju elektrodu, te sinkronizirajućeg impulsa sličnog oblika s vršnim naponom od 0,9-1,3 V na vrata selektorskog tranzistora. Ove vrijednosti dopuštaju modulaciju RRAM vodljivosti u intervalima od 20-150 µs. Za RESET, vršni impuls od 1 µs, 3 V primjenjuje se na donju elektrodu (linija bitova) ćelije kada je napon vrata u rasponu od 2,5-3,0 V. Ulazi i izlazi analognih krugova su dinamički signali . Za unos smo isprepleli dva HP 8110 generatora impulsa s Tektronix AFG3011 generatorima signala. Ulazni impuls ima širinu od 1 µs i rub porasta/pada od 50 ns. Pretpostavlja se da je ova vrsta impulsa tipična pogreška u analognim sklopovima koji se temelje na pogrešci. Što se tiče izlaznog signala, izlazni signal je snimljen Teledyne LeCroy 1 GHz osciloskopom. Dokazano je da brzina prikupljanja podataka osciloskopa nije ograničavajući čimbenik u analizi i prikupljanju podataka o krugu.
Korištenje dinamike analogne elektronike za simulaciju ponašanja neurona i sinapsi elegantno je i učinkovito rješenje za poboljšanje računalne učinkovitosti. Nedostatak ove računske podloge je da će se razlikovati od sheme do sheme. Kvantificirali smo varijabilnost neurona i sinaptičkih krugova (dodatna slika 2a,b). Od svih manifestacija varijabilnosti, one povezane s vremenskim konstantama i ulaznim dobitkom imaju najveći utjecaj na razini sustava. Vremenska konstanta LIF neurona i DPI sinapse određena je RC krugom, gdje je vrijednost R kontrolirana prednaponom primijenjenim na vrata tranzistora (Vlk za neuron i Vtau za sinapsu), određujući brzina curenja. Ulazno pojačanje definira se kao vršni napon koji postižu sinaptički i neuronski membranski kondenzatori stimulirani ulaznim impulsom. Ulazno pojačanje kontrolira drugi prednaponski tranzistor koji modulira ulaznu struju. Izvedena je Monte Carlo simulacija kalibrirana na 130nm procesu ST Microelectronicsa kako bi se prikupile neke statistike ulaznog dobitka i vremenske konstante. Rezultati su prikazani na Dodatnoj slici 2, gdje su ulazni dobitak i vremenska konstanta kvantificirani kao funkcija prednapona koji kontrolira brzinu curenja. Zeleni markeri kvantificiraju standardnu devijaciju vremenske konstante od srednje vrijednosti. I neuroni i sinaptički krugovi bili su u stanju izraziti širok raspon vremenskih konstanti u rasponu od 10-5-10-2 s, kao što je prikazano u shemi Dodatne slike. Ulazno pojačanje (dodatna slika 2e,d) varijabilnosti neurona i sinapsi bilo je približno 8%, odnosno 3%. Takav nedostatak je dobro dokumentiran u literaturi: različita mjerenja su provedena na nizu DYNAP čipova kako bi se procijenila nepodudarnost između populacija LIF63 neurona. Izmjerene su sinapse u čipu miješanog signala BrainScale i analizirane su njihove nedosljednosti, a predložen je postupak kalibracije kako bi se smanjio učinak varijabilnosti na razini sustava64.
Funkcija RRAM-a u neuromorfnim sklopovima je dvostruka: definicija arhitekture (usmjeravanje ulaza na izlaze) i implementacija sinaptičkih težina. Potonje svojstvo može se koristiti za rješavanje problema varijabilnosti modeliranih neuromorfnih sklopova. Razvili smo jednostavnu proceduru kalibracije koja uključuje reprogramiranje RRAM uređaja dok krug koji se analizira ne ispuni određene zahtjeve. Za određeni ulaz, izlaz se prati i RRAM se reprogramira dok se ne postigne ciljno ponašanje. Uvedeno je vrijeme čekanja od 5 s između operacija programiranja kako bi se riješio problem opuštanja RRAM-a koji rezultira prolaznim fluktuacijama vodljivosti (dodatne informacije). Sinaptičke težine se prilagođavaju ili kalibriraju prema zahtjevima neuromorfnog kruga koji se modelira. Postupak kalibracije sažet je u dodatnim algoritmima [1, 2] koji se fokusiraju na dvije temeljne značajke neuromorfnih platformi, linije kašnjenja i CD neosjetljiv na smjer. Za sklop s linijom odgode ciljno ponašanje je osigurati izlazni impuls s odgodom Δt. Ako je stvarno kašnjenje strujnog kruga manje od ciljne vrijednosti, sinaptičku težinu G3 treba smanjiti (G3 treba resetirati i zatim postaviti na nižu odgovarajuću struju Icc). Obrnuto, ako je stvarna odgoda veća od ciljane vrijednosti, vodljivost G3 mora se povećati (G3 se prvo mora resetirati, a zatim postaviti na višu vrijednost Icc). Ovaj se postupak ponavlja sve dok kašnjenje koje generira krug ne odgovara ciljanoj vrijednosti i dok se ne postavi tolerancija za zaustavljanje procesa kalibracije. Za CD-ove koji nisu osjetljivi na orijentaciju, dva RRAM uređaja, G1 i G3, uključena su u proces kalibracije. Ovaj sklop ima dva ulaza, Vin0 i Vin1, s kašnjenjem dt. Sklop bi trebao reagirati samo na kašnjenja ispod odgovarajućeg raspona [0,dtCD]. Ako nema izlaznog vrha, ali je ulazni vrh blizu, oba RRAM uređaja treba pojačati kako bi se pomoglo neuronu da dosegne prag. Suprotno tome, ako krug reagira na kašnjenje koje premašuje ciljani raspon dtCD, vodljivost se mora smanjiti. Ponavljajte postupak dok se ne postigne ispravno ponašanje. Struja usklađenosti može se modulirati pomoću ugrađenog analognog kruga u ref. 72.73. S ovim ugrađenim krugom takvi se postupci mogu izvoditi povremeno za kalibraciju sustava ili njegovu ponovnu upotrebu za drugu primjenu.
Procjenjujemo potrošnju energije našeg neuromorfnog pristupa obradi signala na standardnom 32-bitnom mikrokontroleru68. U ovoj procjeni pretpostavljamo rad s istim postavom kao u ovom radu, s jednim pMUT odašiljačem i dva pMUT prijemnika. Ova metoda koristi pojasni filtar, nakon čega slijedi korak izdvajanja omotnice (Teeger-Kaiser), a na kraju se na signal primjenjuje operacija određivanja praga za izdvajanje vremena leta. Izračun ITD-a i njegova pretvorba u kutove detekcije izostavljeni su u evaluaciji. Razmatramo implementaciju pojasnog filtra koristeći filtar beskonačnog impulsnog odziva 4. reda koji zahtijeva 18 operacija s pomičnim zarezom. Ekstrakcija omotnice koristi još tri operacije s pomičnim zarezom, a posljednja se operacija koristi za postavljanje praga. Za prethodnu obradu signala potrebne su ukupno 22 operacije s pomičnim zarezom. Odaslani signal je kratki niz sinusnog valnog oblika od 111,9 kHz koji se generira svakih 10 ms što rezultira radnom frekvencijom pozicioniranja od 100 Hz. Koristili smo brzinu uzorkovanja od 250 kHz kako bismo bili u skladu s Nyquistom i prozor od 6 ms za svako mjerenje kako bismo uhvatili raspon od 1 metra. Imajte na umu da je 6 milisekundi vrijeme leta objekta koji je udaljen 1 metar. To osigurava potrošnju energije od 180 µW za A/D pretvorbu pri 0,5 MSPS. Pretprocesiranje signala iznosi 6,60 MIPS (instrukcija po sekundi), generirajući 0,75 mW. Međutim, mikrokontroler se može prebaciti na način niske potrošnje 69 kada algoritam ne radi. Ovaj način rada osigurava statičku potrošnju energije od 10,8 μW i vrijeme buđenja od 113 μs. S obzirom na taktnu frekvenciju od 84 MHz, mikrokontroler dovršava sve operacije neuromorfnog algoritma unutar 10 ms, a algoritam izračunava radni ciklus od 6,3%, čime se koristi način niske potrošnje. Rezultirajuća disipacija snage je 244,7 μW. Imajte na umu da izostavljamo ITD izlaz iz ToF i pretvorbu u kut detekcije, čime podcjenjujemo potrošnju energije mikrokontrolera. Ovo daje dodatnu vrijednost za energetsku učinkovitost predloženog sustava. Kao dodatni uvjet usporedbe, procjenjujemo potrošnju energije klasičnih metoda oblikovanja snopa predloženih u referenci. 31.54 kada je ugrađen u isti mikrokontroler68 pri naponu napajanja od 1,8 V. Pet ravnomjerno raspoređenih pMUT membrana koristi se za prikupljanje podataka za oblikovanje snopa. Što se tiče same obrade, korištena metoda oblikovanja snopa je zbrajanje kašnjenja. Jednostavno se sastoji od primjene odgode na trake koja odgovara očekivanoj razlici u vremenu dolaska između jedne trake i referentne trake. Ako su signali u fazi, zbroj tih signala će imati visoku energiju nakon vremenskog pomaka. Ako nisu u fazi, destruktivne smetnje će ograničiti energiju njihovog zbroja. u vezi. Na sl. 31, odabrana je brzina uzorkovanja od 2 MHz za vremenski pomak podataka za cijeli broj uzoraka. Skromniji pristup je održavanje grublje brzine uzorkovanja od 250 kHz i korištenje filtra konačnog impulsnog odziva (FIR) za sintetiziranje frakcijskih kašnjenja. Pretpostavit ćemo da je složenost algoritma za oblikovanje snopa uglavnom određena vremenskim pomakom, budući da je svaki kanal savijen FIR filtrom sa 16 odvojaka u svakom smjeru. Kako bismo izračunali broj MIPS-a potrebnih za ovu operaciju, uzimamo u obzir prozor od 6 ms po mjerenju za hvatanje raspona od 1 metra, 5 kanala, 11 smjerova oblikovanja snopa (raspon +/- 50° u koracima od 10°). 75 mjerenja u sekundi poguralo je mikrokontroler do maksimalnih 100 MIPS. Link. 68, što je rezultiralo disipacijom snage od 11,26 mW za ukupnu disipaciju snage od 11,71 mW nakon dodavanja ugrađenog ADC doprinosa.
Podaci koji podupiru rezultate ove studije dostupni su od odgovarajućeg autora, FM, na razuman zahtjev.
Indiveri, G. & Sandamirskaya, Y. Važnost prostora i vremena za obradu signala u neuromorfnim agentima: izazov razvoja autonomnih agenata male snage koji su u interakciji s okolinom. Indiveri, G. & Sandamirskaya, Y. Važnost prostora i vremena za obradu signala u neuromorfnim agentima: izazov razvoja autonomnih agenata male snage koji su u interakciji s okolinom.Indiveri G. i Sandamirskaya Y. Važnost prostora i vremena za obradu signala u neuromorfnim agentima: izazov razvoja autonomnih agenata male snage u interakciji s okolinom. Indiveri, G. & Sandamirskaya, Y.空间和时间对于神经形态代理中信号处理的重要性：开发与环境交互的低功耗、自主代理的挑战。 Indiveri, G. & Sandamirskaya, Y.Indiveri G. i Sandamirskaya Y. Važnost prostora i vremena za obradu signala u neuromorfnim agentima: izazov razvoja autonomnih agenata male snage u interakciji s okolinom.IEEE obrada signala. Časopis 36, 16–28 (2019).
Thorpe, SJ Peak Arrival Time: Učinkovita shema kodiranja neuronske mreže. u Eckmiller, R., Hartmann, G. & Hauske, G. (ur.). u Eckmiller, R., Hartmann, G. & Hauske, G. (ur.).u Eckmiller, R., Hartmann, G. i Hauske, G. (ur.).U Eckmiller, R., Hartmann, G., i Hauske, G. (ur.). Paralelna obrada u neuronskim sustavima i računalima 91–94 (North-Holland Elsevier, 1990.).
Levy, WB & Calvert, VG Komunikacija troši 35 puta više energije nego računanje u ljudskom korteksu, ali oba su troška potrebna za predviđanje broja sinapsi. Levy, WB & Calvert, VG Komunikacija troši 35 puta više energije nego računanje u ljudskom korteksu, ali oba su troška potrebna za predviđanje broja sinapsi.Levy, WB i Calvert, WG Komunikacija troši 35 puta više energije nego računanje u ljudskom korteksu, ali oba su troška potrebna za predviđanje broja sinapsi. Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35 倍，但这两种成本都需要预测突触数量。 Levy, WB & Calvert, VG KomunikacijaLevy, WB i Calvert, WG Komunikacija troši 35 puta više energije nego računanje u ljudskom korteksu, ali oba troška zahtijevaju predviđanje broja sinapsi.proces. Nacionalna akademija znanosti. znanost. US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Neuromorfno računalstvo inspirirano kukcima. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Neuromorfno računalstvo inspirirano kukcima.Dalgati, T., Vianello, E., DeSalvo, B. i Casas, J. Neuromorfno računalstvo inspirirano kukcima.Dalgati T., Vianello E., DeSalvo B. i Casas J. Neuromorfno računalstvo inspirirano kukcima. Trenutni. Mišljenje. Znanost o kukcima. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Prema strojnoj inteligenciji temeljenoj na šiljcima s neuromorfnim računalstvom. Roy, K., Jaiswal, A. & Panda, P. Prema strojnoj inteligenciji temeljenoj na šiljcima s neuromorfnim računalstvom. Roy, K., Jaiswal, A. & Panda, P. Prema strojnoj inteligenciji temeljenoj na šiljcima s neuromorfnim računalstvom.Roy K, Jaiswal A i Panda P. Umjetna inteligencija temeljena na pulsu koja koristi neuromorfno računalstvo. Nature 575, 607-617 (2019).
Indiveri, G. i Liu, S.-C. Indiveri, G. i Liu, S.-C.Indiveri, G. i Liu, S.-K. Indiveri, G. i Liu, S.-C. Indiveri, G. i Liu, S.-C.Indiveri, G. i Liu, S.-K.Pamćenje i obrada informacija u neuromorfnim sustavima. procesuirati. IEEE 103, 1379-1397 (2015).
Akopyan F. i sur. Truenorth: Dizajn i set alata za programabilni sinaptički čip od 65 mW i 1 milijun neurona. IEEE transakcije. Računalno projektiranje sustava integriranih krugova. 34, 1537-1557 (2015).
Schemmel, J. i sur. Demo uživo: smanjena verzija neuromorfnog sustava BrainScaleS na mjerilu ploče. 2012. IEEE međunarodni simpozij o krugovima i sustavima (ISCAS), (ied. IEEE) 702–702 (2012.).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Skalabilna višejezgrena arhitektura s heterogenim memorijskim strukturama za dinamičke neuromorfne asinkrone procesore (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Skalabilna višejezgrena arhitektura s heterogenim memorijskim strukturama za dinamičke neuromorfne asinkrone procesore (DYNAP).Moradi S., Qiao N., Stefanini F. i Indiviri G. Skalabilna višejezgrena arhitektura s heterogenim memorijskim strukturama za dinamičke neuromorfne asinkrone procesore (DYNAP). Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. 一种可扩展的多核架构，具有用于动态神经形态异步处理器(DYNAP)的异构内存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Vrsta proširive višejezgrene arhitekture, s jedinstvenom memorijskom strukturom za dinamičku neuralnu obradu (DYNAP).Moradi S., Qiao N., Stefanini F. i Indiviri G. Skalabilna višejezgrena arhitektura s heterogenim memorijskim strukturama za dinamičke neuromorfne asinkrone procesore (DYNAP).IEEE Transactions on Biomedical Science. električni sustav. 12, 106–122 (2018).
Davis, M. i sur. Loihi: neuromorfni višejezgreni procesor s ugrađenim učenjem. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA Projekt SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA Projekt SpiNNaker.Ferber SB, Galluppi F., Temple S. i Plana LA SpiNNaker projekt.Ferber SB, Galluppi F., Temple S. i Plana LA SpiNNaker projekt. proces. IEEE 102, 652-665 (2014).
Liu, S.-K. & Delbruck, T. Neuromorfni senzorni sustavi. & Delbruck, T. Neuromorfni senzorni sustavi.i Delbrück T. Neuromorfni osjetilni sustavi. & Delbruck, T. 神经形态感觉系统。 & Delbruck, T.i Delbrück T. Neuromorfni osjetilni sustav.Trenutni. Mišljenje. Neurobiologija. 20, 288–295 (2010).
Chope, T. i sur. Neuromorfna senzorna integracija za kombiniranu lokalizaciju izvora zvuka i izbjegavanje sudara. 2019. na IEEE konferenciji o biomedicinskim sklopovima i sustavima (BioCAS), (IEEE Ed.) 1–4 (2019.).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Neuromorfna arhitektura stereo vizije temeljena na šiljcima. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Neuromorfna arhitektura stereo vizije temeljena na šiljcima.Risi N, Aymar A, Donati E, Solinas S i Indiveri G. Neuromorfna stereovizijska arhitektura zasnovana na šiljcima. Risi, N., Aimar, A., Donati, E., Solinas, S. i Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. i Indiveri, G.Risi N, Aimar A, Donati E, Solinas S i Indiveri G. Spike-based neuromorphic architecture for stereo vision.sprijeda. Neurorobotika 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Šiljasti model neuronske mreže 3Dpercepcije za neuromorfne sustave stereo vida temeljene na događajima. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Šiljasti model neuronske mreže 3Dpercepcije za neuromorfne sustave stereo vida temeljene na događajima.Oswald, M., Ieng, S.-H., Benosman, R., i Indiveri, G. Model percepcije 3D pulsirajuće neuronske mreže za neuromorfne stereovizijske sustave temeljene na događajima. Osswald, M., Ieng, S.-H., Benosman, R. i Indiveri, G. 基于事件的神经形态立体视觉系统的3Dperception 脉冲神经网络模型。 Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dpercepcija 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R. i Indiveri, G. Spiked 3Dperception model neuronske mreže za neuromorfni sustav stereovizije temeljen na događajima.znanost. Izvješće 7, 1–11 (2017).
Dalgaty, T. i sur. Osnovna detekcija pokreta inspirirana kukcima uključuje rezistivnu memoriju i burst neuronske mreže. Bionički biohibridni sustav. 10928, 115–128 (2018).
D'Angelo, G. i sur. Detekcija ekscentričnog pokreta temeljena na događaju pomoću vremenskog diferencijalnog kodiranja. ispred. Neurologija. 14, 451 (2020).
Vrijeme objave: 17. studenoga 2022