Vijesti

Realne aplikacije za obradu podataka zahtevaju kompaktne računarske sisteme sa malom latencijom i malom potrošnjom. Sa računarskim mogućnostima vođenim događajima, komplementarne hibridne metal-oksid-poluprovodnik hibridne memristivne neuromorfne arhitekture pružaju idealnu hardversku osnovu za takve zadatke. Da bismo demonstrirali puni potencijal takvih sistema, predlažemo i eksperimentalno demonstriramo sveobuhvatno rješenje za obradu senzora za aplikacije lokalizacije objekata u stvarnom svijetu. Crpeći inspiraciju iz neuroanatomije sove ušare, razvili smo bioinspiriran, događajima vođen sistem lokalizacije objekata koji kombinuje najsavremeniji piezoelektrični mikromehanički pretvarač pretvarača sa računarskom neuromorfnom otpornom memorijom zasnovanom na grafovima. Prikazujemo mjerenja fabrikovanog sistema koji uključuje otporni detektor koincidencije baziran na memoriji, kola za odlaganje linije i potpuno prilagodljiv ultrazvučni pretvarač. Koristimo ove eksperimentalne rezultate za kalibraciju simulacija na nivou sistema. Ove simulacije se zatim koriste za procjenu kutne rezolucije i energetske efikasnosti modela lokalizacije objekta. Rezultati pokazuju da naš pristup može biti nekoliko redova veličine energetski efikasniji od mikrokontrolera koji obavljaju isti zadatak.
Ulazimo u eru sveprisutnog računarstva u kojem broj uređaja i sistema koji se koriste eksponencijalno raste kako bi nam pomogli u svakodnevnom životu. Od ovih sistema se očekuje da rade neprekidno, trošeći što je moguće manje energije dok uče da tumače podatke koje prikupljaju od više senzora u realnom vremenu i proizvode binarni izlaz kao rezultat zadataka klasifikacije ili prepoznavanja. Jedan od najvažnijih koraka potrebnih za postizanje ovog cilja je izdvajanje korisnih i kompaktnih informacija iz bučnih i često nepotpunih senzornih podataka. Konvencionalni inženjerski pristupi obično uzorkuju signale senzora konstantnom i velikom brzinom, generišući velike količine podataka čak i u odsustvu korisnih ulaza. Osim toga, ove metode koriste složene tehnike digitalne obrade signala za prethodnu obradu (često bučnih) ulaznih podataka. Umjesto toga, biologija nudi alternativna rješenja za obradu bučnih senzornih podataka koristeći energetski efikasne, asinhrone pristupe vođene događajima (šiljci)2,3. Neuromorfno računarstvo uzima inspiraciju iz bioloških sistema kako bi smanjilo troškove računara u smislu energetskih i memorijskih zahteva u poređenju sa tradicionalnim metodama obrade signala4,5,6. Nedavno su demonstrirani inovativni sistemi opšte namene zasnovani na mozgu koji implementiraju impulsne neuronske mreže (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Ovi procesori pružaju rješenja male snage i male latencije za strojno učenje i modeliranje kortikalnih kola. Da bi u potpunosti iskoristili svoju energetsku efikasnost, ovi neuromorfni procesori moraju biti direktno povezani sa senzorima vođenim događajima12,13. Međutim, danas postoji samo nekoliko uređaja osjetljivih na dodir koji direktno pružaju podatke vođene događajima. Istaknuti primjeri su dinamički vizualni senzori (DVS) za primjene vida kao što su praćenje i detekcija pokreta14,15,16,17, silikonska pužnica18 i neuromorfni slušni senzori (NAS)19 za obradu slušnih signala, olfaktorni senzori20 i brojni primjeri21,22 dodira. . senzori teksture.
U ovom radu predstavljamo novorazvijeni sistem slušne obrade vođen događajima primenjen na lokalizaciju objekata. Ovdje po prvi put opisujemo end-to-end sistem za lokalizaciju objekta koji se dobija povezivanjem najsavremenijeg piezoelektričnog mikromašinskog ultrazvučnog pretvarača (pMUT) sa računarskim grafom zasnovanim na neuromorfnoj otpornoj memoriji (RRAM). Arhitekture računara u memoriji koje koriste RRAM su obećavajuće rešenje za smanjenje potrošnje energije23,24,25,26,27,28,29. Njihova inherentna nepromjenjivost – ne zahtijeva aktivnu potrošnju energije za pohranjivanje ili ažuriranje informacija – savršeno se uklapa u asinkronu, događajima vođenu prirodu neuromorfnog računarstva, što rezultira skoro nikakvom potrošnjom energije kada je sistem neaktivan. Piezoelektrični mikromašinski ultrazvučni pretvarači (pMUT) su jeftini, minijaturizirani ultrazvučni pretvarači na bazi silikona koji mogu djelovati kao predajnici i prijemnici30,31,32,33,34. Za obradu signala koje primaju ugrađeni senzori, crpili smo inspiraciju iz neuroanatomije ušarene sove35,36,37. Sova ušarka Tyto alba poznata je po svojim izuzetnim sposobnostima noćnog lova zahvaljujući vrlo efikasnom sistemu slušne lokalizacije. Da bi izračunao lokaciju plijena, sistem lokalizacije sove ušare kodira vrijeme leta (ToF) kada zvučni valovi iz plijena dođu do svakog od sovinih ušiju ili zvučnih receptora. S obzirom na udaljenost između ušiju, razlika između dva ToF mjerenja (Interaural Time Difference, ITD) omogućava analitički izračunavanje azimutske pozicije mete. Iako biološki sistemi nisu pogodni za rješavanje algebarskih jednačina, oni mogu vrlo efikasno riješiti probleme lokalizacije. Nervni sistem sove ušare koristi skup neurona detektora slučajnosti (CD)35 (tj. neurona sposobnih da detektuju vremenske korelacije između šiljaka koji se šire do konvergentnih ekscitatornih završetaka)38,39 organizovanih u računarske grafove za rešavanje problema pozicioniranja.
Prethodna istraživanja su pokazala da je komplementarni hardver metal-oksid-poluprovodnik (CMOS) i neuromorfni hardver baziran na RRAM-u inspirisan inferiornim kolikulusom („slušnim korteksom“) sove efikasna metoda za izračunavanje položaja pomoću ITD13, 40, 41, 42, 43, 44, 45, 46. Međutim, potencijal kompletnih neuromorfnih sistema koji povezuju slušne znakove sa neuromorfnim kompjuterskim grafovima tek treba da se demonstrira. Glavni problem je inherentna varijabilnost analognih CMOS kola, što utiče na tačnost detekcije podudaranja. Nedavno su demonstrirane alternativne numeričke implementacije procjena ITD47. U ovom radu predlažemo korištenje sposobnosti RRAM-a da promijeni vrijednost provodljivosti na nepostojan način kako bi se suprotstavio varijabilnosti u analognim kolima. Implementirali smo eksperimentalni sistem koji se sastoji od jedne pMUT odašiljačke membrane koja radi na frekvenciji od 111,9 kHz, dvije pMUT prijemne membrane (senzora) koje simuliraju uši sove i jedne . Eksperimentalno smo okarakterizirali sistem detekcije pMUT i ITD računarski graf baziran na RRAM-u kako bismo testirali naš sistem lokalizacije i procijenili njegovu kutnu rezoluciju.
Našu metodu upoređujemo sa digitalnom implementacijom na mikrokontroleru koji obavlja isti zadatak lokalizacije koristeći konvencionalne metode oblikovanja zraka ili neuromorfne metode, kao i polje programabilnih gate array (FPGA) za ITD procjenu predloženu u referenci. 47. Ovo poređenje naglašava konkurentnu energetsku efikasnost predloženog analognog neuromorfnog sistema zasnovanog na RRAM-u.
Jedan od najupečatljivijih primjera preciznog i efikasnog sistema za lokalizaciju objekata može se naći u sova ušara35,37,48. U sumrak i zoru, sova ušarka (Tyto Alba) prvenstveno se oslanja na pasivno slušanje, aktivno tražeći mali plijen poput voluharica ili miševa. Ovi slušni stručnjaci mogu lokalizirati slušne signale plijena sa zapanjujućom preciznošću (oko 2°)35, kao što je prikazano na slici 1a. Sove ušare zaključuju lokaciju izvora zvuka u azimutnoj (horizontalnoj) ravni na osnovu razlike u dolaznom vremenu leta (ITD) od izvora zvuka do dva uha. ITD računski mehanizam je predložio Jeffress49,50 koji se oslanja na neuralnu geometriju i zahtijeva dvije ključne komponente: akson, nervno vlakno neurona koje djeluje kao linija kašnjenja i niz neurona detektora slučajnosti organiziranih u računski sistem. grafikon kao što je prikazano na slici 1b. Zvuk dopire do uha s vremenskim kašnjenjem ovisnom o azimutu (ITD). Zvuk se zatim pretvara u uzorak šiljaka u svakom uhu. Aksoni lijevog i desnog uha djeluju kao linije kašnjenja i konvergiraju na CD neuronima. Teoretski, samo jedan neuron u nizu podudarnih neurona će primati ulaz u isto vrijeme (gdje se kašnjenje tačno poništava) i aktivirat će se maksimalno (susjedne ćelije će se također aktivirati, ali na nižoj frekvenciji). Aktiviranje određenih neurona kodira poziciju mete u prostoru bez daljeg pretvaranja ITD u uglove. Ovaj koncept je sažet na slici 1c: na primjer, ako zvuk dolazi s desne strane kada ulazni signal iz desnog uha putuje dužom putanjom od puta iz lijevog uha, kompenzujući broj ITD-ova, na primjer, kada se neuron 2 poklopi. Drugim riječima, svaki CD odgovara na određeni ITD (također poznat kao optimalno kašnjenje) zbog aksonskog kašnjenja. Dakle, mozak pretvara vremenske informacije u prostorne. Pronađeni su anatomski dokazi za ovaj mehanizam37,51. Fazno zaključani makronukleusni neuroni pohranjuju vremenske informacije o dolaznim zvukovima: kao što njihovo ime implicira, aktiviraju određene faze signala. Neuroni detektora slučajnosti Jeffressovog modela mogu se naći u laminarnom jezgru. Oni primaju informacije od makronuklearnih neurona, čiji aksoni djeluju kao linije kašnjenja. Količina kašnjenja koju daje linija kašnjenja može se objasniti dužinom aksona, kao i drugim uzorkom mijelinizacije koji mijenja brzinu provođenja. Inspirisani slušnim sistemom sove ušare, razvili smo biomimetički sistem za lokalizaciju objekata. Dva uha su predstavljena sa dva pMUT prijemnika. Izvor zvuka je pMUT odašiljač koji se nalazi između njih (slika 1a), a računski graf je formiran mrežom CD kola baziranih na RRAM-u (slika 1b, zelena), koji igraju ulogu CD neurona čiji ulazi kasne. kroz kolo, linije kašnjenja (plave) djeluju kao aksoni u biološkom paru. Predloženi senzorni sistem razlikuje se po radnoj frekvenciji od onog kod sove, čiji slušni sistem radi u opsegu 1-8 kHz, ali su u ovom radu korišćeni pMUT senzori koji rade na oko 117 kHz. Izbor ultrazvučnog pretvarača razmatra se prema tehničkim i optimizacijskim kriterijima. Prvo, ograničavanje propusnog opsega prijema na jednu frekvenciju idealno poboljšava tačnost mjerenja i pojednostavljuje korak naknadne obrade. Osim toga, rad u ultrazvuku ima prednost u tome što se emitirani impulsi ne čuju, pa stoga ne uznemiravaju ljude, jer je njihov slušni opseg ~20-20 kHz.
sova ušarka prima zvučne valove od mete, u ovom slučaju plijen koji se kreće. Vrijeme leta (ToF) zvučnog vala je različito za svako uho (osim ako je plijen direktno ispred sove). Isprekidana linija pokazuje put kojim zvučni talasi stignu do ušiju sove. Plen se može precizno lokalizovati u horizontalnoj ravni na osnovu razlike u dužini između dva akustična putanja i odgovarajuće interauralne vremenske razlike (ITD) (leva slika inspirisana ref. 74, autorska prava 2002, Society for Neuroscience). U našem sistemu, pMUT predajnik (tamno plavi) generiše zvučne talase koji se odbijaju od mete. Reflektirane ultrazvučne talase primaju dva pMUT prijemnika (svetlo zelena) i obrađuju neuromorfni procesor (desno). b Računski model ITD (Jeffress) koji opisuje kako se zvuci koji ulaze u uši sove prvo kodiraju kao fazno zaključani šiljci u velikom jezgru (NM), a zatim koriste geometrijski raspoređenu mrežu podudarnih detektorskih neurona u lamelarnom jezgru. Obrada (Holandija) (lijevo). Ilustracija neuroITD računarskog grafa koji kombinuje linije kašnjenja i neurone detektora slučajnosti, biosenzorski sistem sove može se modelovati korišćenjem neuromorfnih kola zasnovanih na RRAM-u (desno). c Šematski prikaz glavnog Jeffressovog mehanizma, zbog razlike u ToF, dva uha primaju zvučne nadražaje u različito vrijeme i šalju aksone sa oba kraja do detektora. Aksoni su dio serije neurona detektora slučajnosti (CD), od kojih svaki selektivno reagira na jako vremenski korelirane ulaze. Kao rezultat, samo CD-ovi čiji ulazi dolaze sa najmanjom vremenskom razlikom su maksimalno uzbuđeni (ITD je tačno kompenzovan). CD će tada kodirati kutnu poziciju mete.
Piezoelektrični mikromehanički ultrazvučni pretvarači su skalabilni ultrazvučni pretvarači koji se mogu integrirati s naprednom CMOS tehnologijom31,32,33,52 i imaju niži početni napon i potrošnju energije od tradicionalnih volumetrijskih pretvarača53. U našem radu, prečnik membrane je 880 µm, a rezonantna frekvencija je raspoređena u opsegu od 110–117 kHz (slika 2a, za detalje videti Metode). U seriji od deset uređaja za testiranje, prosječni faktor kvaliteta bio je oko 50 (ref. 31). Tehnologija je dostigla industrijsku zrelost i sama po sebi nije bioinspirisana. Kombinovanje informacija iz različitih pMUT filmova je dobro poznata tehnika, a informacije o uglovima mogu se dobiti od pMUT-ova koristeći, na primjer, tehnike formiranja zraka31,54. Međutim, obrada signala potrebna za izdvajanje informacija o kutu nije prikladna za mjerenja male snage. Predloženi sistem kombinuje neuromorfno kolo za pretprocesiranje podataka pMUT sa neuromorfnim računarskim grafom baziranim na RRAM-u inspirisanim Jeffressovim modelom (slika 2c), pružajući alternativno energetski efikasno i hardversko rešenje ograničeno na resurse. Izveli smo eksperiment u kojem su dva pMUT senzora postavljena na udaljenosti od otprilike 10 cm kako bi se iskoristili različiti ToF zvukovi koje primaju dvije prijemne membrane. Jedan pMUT koji djeluje kao predajnik nalazi se između prijemnika. Meta je bila PVC ploča širine 12 cm, smještena na udaljenosti D ispred pMUT uređaja (slika 2b). Prijemnik snima zvuk koji se reflektuje od objekta i reaguje što je više moguće tokom prolaska zvučnog talasa. Ponovite eksperiment promjenom položaja objekta, određen rastojanjem D i kutom θ. Inspirisan linkom. 55, predlažemo neuromorfnu prethodnu obradu pMUT neobrađenih signala za pretvaranje reflektovanih talasa u vrhove za unos neuromorfnog računarskog grafa. ToF koji odgovara amplitudi vrha se izdvaja iz svakog od dva kanala i kodira kao tačan tajming pojedinačnih pikova. Na sl. 2c prikazuje strujno kolo potrebno za povezivanje pMUT senzora sa računarskim grafom baziranim na RRAM-u: za svaki od dva pMUT prijemnika, sirovi signal se filtrira po opsegu kako bi se izgladio, ispravio, a zatim proslijedio do propusnog integratora u načinu prevladavanja. dinamički prag (slika 2d) stvara izlazni događaj (šiljak) i neuron okidanja (LIF): vrijeme izlaznog skoka kodira detektovano vrijeme leta. LIF prag je kalibriran prema pMUT odgovoru, čime se smanjuje pMUT varijabilnost od uređaja do uređaja. Ovim pristupom, umjesto da pohranjujemo cijeli zvučni val u memoriju i kasnije ga obrađujemo, jednostavno generišemo vrh koji odgovara ToF zvučnog vala, koji formira ulaz u računski graf otporne memorije. Šiljci se šalju direktno na linije kašnjenja i paraleliziraju s modulima za detekciju podudaranja u neuromorfnim računskim grafovima. Budući da se šalju na kapije tranzistora, nisu potrebna dodatna kola za pojačavanje (pogledajte dodatnu sliku 4 za detalje). Da bismo procenili ugaonu tačnost lokalizacije koju obezbeđuje pMUT i predložena metoda obrade signala, izmerili smo ITD (tj. razliku u vremenu između vršnih događaja generisanih od strane dva prijemnika) kako su udaljenost i ugao objekta varirali. ITD analiza je zatim pretvorena u uglove (vidi Metode) i ucrtana u odnosu na položaj objekta: nesigurnost u izmjerenom ITD se povećavala s rastojanjem i uglom prema objektu (slika 2e,f). Glavni problem je omjer vrha i šuma (PNR) u pMUT odgovoru. Što je objekt udaljeniji, to je niži akustični signal, čime se smanjuje PNR (slika 2f, zelena linija). Smanjenje PNR-a dovodi do povećanja nesigurnosti u ITD procjeni, što rezultira povećanjem točnosti lokalizacije (slika 2f, plava linija). Za objekat na udaljenosti od 50 cm od predajnika, kutna tačnost sistema je približno 10°. Ovo ograničenje koje nameću karakteristike senzora može se poboljšati. Na primjer, pritisak koji šalje emiter može se povećati, čime se povećava napon koji pokreće pMUT membranu. Drugo rješenje za pojačanje odašiljanog signala je povezivanje više predajnika 56. Ova rješenja će povećati domet detekcije na račun povećanih troškova energije. Dodatna poboljšanja se mogu napraviti na strani koja prima. Nivo buke prijemnika pMUT-a može se značajno smanjiti poboljšanjem veze između pMUT-a i prvostepenog pojačala, što se trenutno radi sa žičanim vezama i RJ45 kablovima.
a Slika pMUT kristala sa šest integrisanih membrana od 880 µm na 1,5 mm koraka. b Dijagram mjerne postavke. Cilj se nalazi na azimutskoj poziciji θ i na udaljenosti D. pMUT predajnik generiše signal od 117,6 kHz koji se odbija od mete i stiže do dva pMUT prijemnika sa različitim vremenom leta (ToF). Ova razlika, definirana kao inter-auralna vremenska razlika (ITD), kodira poziciju objekta i može se procijeniti procjenom vršnog odziva dva senzora prijemnika. c Šematski prikaz koraka prethodne obrade za pretvaranje sirovog pMUT signala u šiljkove sekvence (tj. ulaz u neuromorfni računski graf). PMUT senzori i neuromorfni računarski grafovi su proizvedeni i testirani, a neuromorfna pretprocesiranje se zasniva na softverskoj simulaciji. d Odgovor pMUT membrane nakon prijema signala i njegova transformacija u spike domen. e Ugaona točnost eksperimentalne lokalizacije kao funkcija ugla objekta (Θ) i udaljenosti (D) do ciljanog objekta. Metoda ekstrakcije ITD zahtijeva minimalnu kutnu rezoluciju od približno 4°C. f Ugaona tačnost (plava linija) i odgovarajući omjer vrha i šuma (zelena linija) u odnosu na udaljenost objekta za Θ = 0.
Otporna memorija pohranjuje informacije u nepromenljivom provodljivom stanju. Osnovni princip metode je da modifikacija materijala na atomskom nivou uzrokuje promjenu njegove električne provodljivosti57. Ovdje koristimo otpornu memoriju zasnovanu na oksidu koja se sastoji od 5nm sloja hafnijum dioksida u sendviču između gornje i donje elektrode od titanijuma i titanijum nitrida. Provodljivost RRAM uređaja može se promijeniti primjenom talasnog oblika struje/napona koji stvara ili razbija provodne filamente kisika između elektroda. Kointegrisali smo takve uređaje58 u standardni 130 nm CMOS proces kako bismo stvorili fabrikovano rekonfigurabilno neuromorfno kolo koje implementira detektor slučajnosti i kolo linije kašnjenja (slika 3a). Neisparljiva i analogna priroda uređaja, u kombinaciji sa prirodom neuromorfnog kola vođenom događajima, minimizira potrošnju energije. Kolo ima funkciju trenutnog uključivanja/isključivanja: radi odmah nakon uključivanja, omogućavajući potpuno isključenje napajanja kada je kolo neaktivno. Glavni gradivni blokovi predložene šeme prikazani su na sl. 3b. Sastoji se od N paralelnih struktura sa jednim otpornikom i jednim tranzistorom (1T1R) koje kodiraju sinaptičke težine iz kojih se uzimaju ponderisane struje, ubrizgavaju se u zajedničku sinapsu integratora diferencijalnog para (DPI)59 i konačno se ubrizgavaju u sinapsu integracijom i curenje. aktivirani (LIF) neuron 60 (pogledajte Metode za detalje). Ulazni udari se primjenjuju na kapiju strukture 1T1R u obliku niza naponskih impulsa s trajanjem reda stotine nanosekundi. Otporna memorija se može staviti u stanje visoke provodljivosti (HCS) primjenom eksterne pozitivne reference na Vtop kada je Vbottom uzemljen, i resetirati u stanje niske provodljivosti (LCS) primjenom pozitivnog napona na Vbottom kada je Vtop uzemljen. Prosječna vrijednost HCS-a može se kontrolisati ograničavanjem struje programiranja (usklađenosti) SET-a (ICC) naponom gejta-izvora serijskog tranzistora (slika 3c). Funkcije RRAM-a u kolu su dvostruke: usmjeravaju i ponderišu ulazne impulse.
Slika sa skenirajućim elektronskim mikroskopom (SEM) plavog HfO2 1T1R RRAM uređaja integrisanog u 130 nm CMOS tehnologiju sa selektorskim tranzistorima (širine 650 nm) u zelenoj boji. b Osnovni gradivni blokovi predložene neuromorfne šeme. Impulsi ulaznog napona (vrhovi) Vin0 i Vin1 troše struju Iweight, koja je proporcionalna stanjima provodljivosti G0 i G1 strukture 1T1R. Ova struja se ubrizgava u DPI sinapse i pobuđuje LIF neurone. RRAM G0 i G1 su instalirani u HCS odnosno LCS. c Funkcija kumulativne gustine provodljivosti za grupu od 16K RRAM uređaja kao funkcija ICC strujnog usklađivanja, koja efektivno kontroliše nivo provodljivosti. d Mjerenja kola u (a) pokazuju da G1 (u LCS) efektivno blokira ulaz iz Vin1 (zeleno), i zaista napon membrane izlaznog neurona reaguje samo na plavi ulaz iz Vin0. RRAM efektivno određuje veze u kolu. e Mjerenje kola u (b) koje pokazuje učinak vrijednosti provodljivosti G0 na napon membrane Vmem nakon primjene naponskog impulsa Vin0. Što je veća provodljivost, jači je odgovor: tako, RRAM uređaj implementira ponderisanje I/O veze. Mjerenja su izvršena na kolu i demonstriraju dvostruku funkciju RRAM-a, usmjeravanje i ponderiranje ulaznih impulsa.
Prvo, pošto postoje dva osnovna stanja provodljivosti (HCS i LCS), RRAM-ovi mogu blokirati ili propustiti ulazne impulse kada su u LCS ili HCS stanjima, respektivno. Kao rezultat toga, RRAM efektivno određuje veze u kolu. Ovo je osnova za mogućnost rekonfiguracije arhitekture. Da bismo to demonstrirali, opisat ćemo fabrikovanu implementaciju sklopa bloka na slici 3b. RRAM koji odgovara G0 je programiran u HCS, a drugi RRAM G1 je programiran u LCS. Ulazni impulsi se primjenjuju na Vin0 i Vin1. Efekti dva niza ulaznih impulsa analizirani su u izlaznim neuronima prikupljanjem napona neuronske membrane i izlaznog signala pomoću osciloskopa. Eksperiment je bio uspješan kada je samo HCS uređaj (G0) bio spojen na puls neurona da bi stimulirao napetost membrane. Ovo je prikazano na slici 3d, gdje plavi niz impulsa uzrokuje nakupljanje membranskog napona na membranskom kondenzatoru, dok niz zelenih impulsa održava napon membrane konstantnim.
Druga važna funkcija RRAM-a je implementacija težine veze. Koristeći RRAM analogno podešavanje provodljivosti, I/O konekcije se mogu ponderisati u skladu s tim. U drugom eksperimentu, G0 uređaj je programiran na različite nivoe HCS-a, a ulazni impuls je primijenjen na VIn0 ulaz. Ulazni impuls izvlači struju (Iweight) iz uređaja, koja je proporcionalna provodljivosti i odgovarajućem padu potencijala Vtop − Vbot. Ova ponderisana struja se zatim ubrizgava u DPI sinapse i LIF izlazne neurone. Napon membrane izlaznih neurona je snimljen pomoću osciloskopa i prikazan na slici 3d. Vrh napona neuronske membrane kao odgovor na jedan ulazni impuls proporcionalan je provodljivosti otporne memorije, što pokazuje da se RRAM može koristiti kao programabilni element sinaptičke težine. Ova dva preliminarna testa pokazuju da je predložena neuromorfna platforma zasnovana na RRAM-u u stanju da implementira osnovne elemente osnovnog Jeffressovog mehanizma, odnosno liniju kašnjenja i kolo detektora slučajnosti. Platforma kola je izgrađena slaganjem uzastopnih blokova jedan pored drugog, kao što su blokovi na slici 3b, i povezivanjem njihovih kapija na zajedničku ulaznu liniju. Dizajnirali smo, proizveli i testirali neuromorfnu platformu koja se sastoji od dva izlazna neurona koji primaju dva ulaza (slika 4a). Šema strujnog kola prikazana je na slici 4b. Gornja 2 × 2 RRAM matrica omogućava usmjeravanje ulaznih impulsa na dva izlazna neurona, dok donja 2 × 2 matrica dozvoljava rekurentne veze dvaju neurona (N0, N1). Pokazali smo da se ova platforma može koristiti sa konfiguracijom linije kašnjenja i dvije različite funkcije detektora slučajnosti, kao što je prikazano eksperimentalnim mjerenjima na slici 4c-e.
Dijagram kola formiran od dva izlazna neurona N0 i N1 koji primaju dva ulaza 0 i 1. Gornja četiri uređaja niza definiraju sinaptičke veze od ulaza do izlaza, a donje četiri ćelije definiraju rekurentne veze između neurona. Obojeni RRAM-ovi predstavljaju uređaje konfigurisane u HCS-u na desnoj strani: uređaji u HCS-u dozvoljavaju veze i predstavljaju težine, dok uređaji u LCS-u blokiraju ulazne impulse i onemogućavaju veze sa izlazima. b Dijagram kola (a) sa osam RRAM modula označenih plavom bojom. c Linije kašnjenja se formiraju jednostavnim korištenjem dinamike DPI sinapsi i LIF neurona. Zeleni RRAM je podešen na dovoljno visoku provodljivost da može izazvati kvar na izlazu nakon ulaznog kašnjenja Δt. d Šematski prikaz CD detekcije vremenski zavisnih signala neosjetljivog na smjer. Izlazni neuron 1, N1, aktivira se na ulazima 0 i 1 sa kratkim zakašnjenjem. e CD kolo osjetljivo na smjer, kolo koje detektuje kada se ulaz 1 približi ulazu 0 i stigne nakon ulaza 0. Izlaz kola je predstavljen neuronom 1 (N1).
Linija kašnjenja (slika 4c) jednostavno koristi dinamičko ponašanje DPI sinapsi i LIF neurona za reprodukciju ulaznog skoka od Vin1 do Vout1 odlaganjem Tdel. Samo G3 RRAM spojen na Vin1 i Vout1 je programiran u HCS-u, ostali RRAM-ovi su programirani u LCS-u. G3 uređaj je programiran za 92,6 µs kako bi se osiguralo da svaki ulazni impuls povećava napon membrane izlaznog neurona dovoljno da dostigne prag i generiše odloženi izlazni impuls. Kašnjenje Tdel je određeno sinaptičkim i neuronskim vremenskim konstantama. Detektori slučajnosti detektuju pojavu vremenski koreliranih, ali prostorno raspoređenih ulaznih signala. CD koji nije osjetljiv na smjer oslanja se na pojedinačne ulaze koji konvergiraju zajedničkom izlaznom neuronu (slika 4d). Dva RRAM-a koji povezuju Vin0 i Vin1 sa Vout1, G2 i G4 su programirani za visoku provodljivost. Istovremeni dolazak šiljaka na Vin0 i Vin1 povećava napon membrane neurona N1 iznad praga potrebnog za generiranje izlaznog skoka. Ako su dva ulaza previše udaljena u vremenu, naboj na naponu membrane akumuliran na prvom ulazu može imati vremena da se raspadne, sprečavajući membranski potencijal N1 da dostigne graničnu vrijednost. G1 i G2 su programirani za približno 65 µs, što osigurava da jedan ulazni udar ne poveća napon membrane dovoljno da izazove izlazni udar. Detekcija slučajnosti između događaja raspoređenih u prostoru i vremenu je osnovna operacija koja se koristi u širokom spektru zadataka senzora kao što su izbjegavanje prepreka zasnovano na optičkom toku i lokalizacija izvora zvuka. Dakle, računarski diskovi osetljivi na pravac i neosetljivi su fundamentalni građevinski blok za izgradnju vizuelnih i audio sistema za lokalizaciju. Kao što pokazuju karakteristike vremenskih konstanti (vidi dodatnu sliku 2), predloženo kolo implementira odgovarajući raspon vremenskih skala od četiri reda veličine. Tako može istovremeno zadovoljiti zahtjeve vizuelnih i zvučnih sistema. CD osjetljiv na smjer je kolo koje je osjetljivo na prostorni redoslijed dolaska impulsa: s desna na lijevo i obrnuto. To je osnovni gradivni blok u osnovnoj mreži detekcije pokreta Drosophila vizuelnog sistema, koji se koristi za izračunavanje pravaca kretanja i otkrivanje sudara62. Da bi se postigao CD osjetljiv na smjer, dva ulaza moraju biti usmjerena na dva različita neurona (N0, N1) i između njih mora biti uspostavljena usmjerena veza (slika 4e). Kada se primi prvi ulaz, NO reaguje tako što povećava napon na svojoj membrani iznad granične vrednosti i šalje prenapon. Ovaj izlazni događaj, zauzvrat, pokreće N1 zahvaljujući usmjerenoj vezi označenoj zelenom bojom. Ako dođe do ulaznog događaja Vin1 i aktivira N1 dok je njegov membranski napon još uvijek visok, N1 generiše izlazni događaj koji pokazuje da je pronađeno podudaranje između dva ulaza. Usmjerene veze dozvoljavaju N1 da emituje izlaz samo ako ulaz 1 dolazi nakon ulaza 0. G0, G3 i G7 su programirani na 73,5 µS, 67,3 µS, odnosno 40,2 µS, osiguravajući da jedan šiljak na ulazu Vin0 uzrokuje kašnjenje izlazni skok, dok membranski potencijal N1 dostiže prag samo kada oba ulazna rafala stignu sinkronizirano. .
Varijabilnost je izvor nesavršenosti modeliranih neuromorfnih sistema63,64,65. To dovodi do heterogenog ponašanja neurona i sinapsi. Primjeri takvih nedostataka uključuju varijabilnost od 30% (srednja standardna devijacija) u ulaznom pojačanju, vremenskoj konstanti i refraktornom periodu, da spomenemo samo neke (vidjeti Metode). Ovaj problem je još izraženiji kada je više neuronskih kola povezano zajedno, kao što je CD osjetljiv na orijentaciju koji se sastoji od dva neurona. Da bi ispravno funkcionisali, vremenske konstante pojačanja i raspada dva neurona treba da budu što sličnije. Na primjer, velika razlika u ulaznom pojačanju može uzrokovati da jedan neuron pretjerano reaguje na ulazni impuls dok drugi neuron jedva reagira. Na sl. Slika 5a pokazuje da nasumično odabrani neuroni različito reaguju na isti ulazni impuls. Ova neuronska varijabilnost je relevantna, na primjer, za funkciju CD-a osjetljivih na smjer. U šemi prikazanoj na sl. 5b, c, ulazno pojačanje neurona 1 je mnogo veće od one neurona 0. Dakle, neuronu 0 su potrebna tri ulazna impulsa (umjesto 1) da bi dostigla prag, a neuronu 1, kako se i očekivalo, potrebna su dva ulazna događaja. Implementacija vremenski zavisne biomimetičke plastičnosti (STDP) je mogući način da se ublaži uticaj nepreciznih i sporih neuronskih i sinaptičkih kola na performanse sistema43. Ovdje predlažemo da se plastično ponašanje otporne memorije koristi kao sredstvo za utjecanje na poboljšanje neuronskog ulaza i smanjenje efekata varijabilnosti u neuromorfnim krugovima. Kao što je prikazano na sl. 4e, nivoi provodljivosti povezani sa RRAM sinaptičkom masom efektivno moduliraju odgovarajući naponski odgovor neuralne membrane. Koristimo iterativnu strategiju RRAM programiranja. Za dati ulaz, vrijednosti provodljivosti sinaptičkih težina se reprogramiraju dok se ne postigne ciljno ponašanje kola (pogledajte Metode).
a Eksperimentalna mjerenja odgovora devet nasumično odabranih pojedinačnih neurona na isti ulazni impuls. Reakcija se razlikuje u različitim populacijama, utičući na pojačanje inputa i vremensku konstantu. b Eksperimentalna mjerenja utjecaja neurona na varijabilnost neurona koji utiču na CD osjetljiv na smjer. Dva izlazna neurona CD-a osjetljiva na smjer različito reaguju na ulazne podražaje zbog varijabilnosti neurona na neuron. Neuron 0 ima niže ulazno pojačanje od neurona 1, tako da su potrebna tri ulazna impulsa (umjesto 1) da bi se stvorio izlazni skok. Kao što se i očekivalo, neuron 1 dostiže prag sa dva ulazna događaja. Ako ulaz 1 stigne Δt = 50 µs nakon aktiviranja neurona 0, CD ostaje tih jer je Δt veći od vremenske konstante neurona 1 (oko 22 µs). c se smanjuje za Δt = 20 µs, tako da ulaz 1 ima vrhunac kada je aktiviranje neurona 1 i dalje visoko, što rezultira istovremenom detekcijom dva ulazna događaja.
Dva elementa koja se koriste u koloni ITD proračuna su linija kašnjenja i CD neosjetljiv na smjer. Oba kruga zahtijevaju preciznu kalibraciju kako bi se osigurale dobre performanse pozicioniranja objekata. Linija kašnjenja mora isporučiti precizno odgođenu verziju ulaznog pika (slika 6a), a CD se mora aktivirati samo kada ulaz padne u opseg detekcije cilja. Za liniju kašnjenja, sinaptičke težine ulaznih veza (G3 na slici 4a) su reprogramirane dok se ne dobije ciljno kašnjenje. Postavite toleranciju oko ciljnog kašnjenja da zaustavite program: što je manja tolerancija, teže je uspješno postaviti liniju kašnjenja. Na sl. Na slici 6b prikazani su rezultati procesa kalibracije linije kašnjenja: može se vidjeti da predložena šema može tačno osigurati sva kašnjenja potrebna u projektnoj šemi (od 10 do 300 μs). Maksimalan broj iteracija kalibracije utiče na kvalitet procesa kalibracije: 200 iteracija može smanjiti grešku na manje od 5%. Jedna iteracija kalibracije odgovara operaciji postavljanja/resetovanja RRAM ćelije. Proces podešavanja je takođe kritičan za poboljšanje tačnosti detekcije trenutnog zatvaranja CD modula. Bilo je potrebno deset iteracija kalibracije da bi se postigla istinska pozitivna stopa (tj. stopa događaja koja je ispravno identifikovana kao relevantna) iznad 95% (plava linija na slici 6c). Međutim, proces podešavanja nije utjecao na lažno pozitivne događaje (to jest, na učestalost događaja koji su pogrešno identificirani kao relevantni). Drugi metod koji je primećen u biološkim sistemima za prevazilaženje vremenskih ograničenja puteva koji se brzo aktiviraju je redundantnost (to jest, mnogo kopija istog objekta se koristi za obavljanje date funkcije). Inspirisani biologijom66, postavili smo nekoliko CD kola u svaki CD modul između dve linije kašnjenja kako bismo smanjili uticaj lažnih pozitivnih rezultata. Kao što je prikazano na sl. 6c (zelena linija), postavljanje tri CD elementa u svaki CD modul može smanjiti stopu lažnih alarma na manje od 10–2.
a Utjecaj varijabilnosti neurona na kola linija kašnjenja. b Kola linije kašnjenja mogu se skalirati na velika kašnjenja postavljanjem vremenskih konstanti odgovarajućih LIF neurona i DPI sinapsi na velike vrijednosti. Povećanje broja iteracija postupka kalibracije RRAM-a omogućilo je značajno poboljšanje tačnosti ciljnog kašnjenja: 200 iteracija smanjilo je grešku na manje od 5%. Jedna iteracija odgovara operaciji SET/RESET na RRAM ćeliji. Svaki CD modul u c Jeffress modelu može se implementirati korištenjem N paralelnih CD elemenata za veću fleksibilnost u odnosu na sistemske kvarove. d Više iteracija kalibracije RRAM-a povećava pravu pozitivnu stopu (plava linija), dok je stopa lažno pozitivna nezavisna od broja iteracija (zelena linija). Paralelno postavljanje više CD elemenata izbjegava lažno otkrivanje podudaranja CD modula.
Sada procjenjujemo performanse i potrošnju energije end-to-end integrisanog sistema lokalizacije objekata prikazanog na Slici 2 koristeći mjerenja akustičkih svojstava pMUT senzora, CD-a i kola linije kašnjenja koja čine neuromorfni računarski graf. Jeffressov model (slika 1a). Što se tiče neuromorfnog računarskog grafa, što je veći broj CD modula, to je bolja ugaona rezolucija, ali i veća energija sistema (slika 7a). Kompromis se može postići poređenjem tačnosti pojedinačnih komponenti (pMUT senzora, neurona i sinaptičkih kola) sa tačnošću čitavog sistema. Rezolucija linije kašnjenja ograničena je vremenskim konstantama simuliranih sinapsi i neurona, koje u našoj shemi prelaze 10 µs, što odgovara kutnoj rezoluciji od 4° (vidi Metode). Napredniji čvorovi sa CMOS tehnologijom će omogućiti dizajn neuronskih i sinaptičkih kola sa nižim vremenskim konstantama, što će rezultirati većom preciznošću elemenata linije kašnjenja. Međutim, u našem sistemu, tačnost je ograničena greškom pMUT u proceni ugaone pozicije, odnosno 10° (plava horizontalna linija na slici 7a). Fiksirali smo broj CD modula na 40, što odgovara ugaonoj rezoluciji od oko 4°, odnosno kutnoj tačnosti računskog grafa (svetloplava horizontalna linija na slici 7a). Na nivou sistema, ovo daje rezoluciju od 4° i tačnost od 10° za objekte koji se nalaze 50 cm ispred senzorskog sistema. Ova vrijednost je uporediva sa neuromorfnim sistemima lokalizacije zvuka navedenim u ref. 67. Poređenje predloženog sistema sa stanjem tehnike može se naći u Dodatnoj tabeli 1. Dodavanje dodatnih pMUT-ova, povećanje nivoa akustičnog signala i smanjenje elektronskog šuma mogući su načini za dalje poboljšanje tačnosti lokalizacije. ) procjenjuje se na 9,7. nz. 55. S obzirom na 40 CD jedinica na računarskom grafu, SPICE simulacija je procijenila energiju po operaciji (tj. energiju pozicioniranja objekta) na 21,6 nJ. Neuromorfni sistem se aktivira samo kada dođe ulazni događaj, tj. kada akustični talas dosegne bilo koji pMUT prijemnik i pređe prag detekcije, inače ostaje neaktivan. Time se izbjegava nepotrebna potrošnja energije kada nema ulaznog signala. Uzimajući u obzir frekvenciju lokalizacijskih operacija od 100 Hz i period aktivacije od 300 µs po operaciji (maksimalni mogući ITD), potrošnja energije neuromorfnog računarskog grafa je 61,7 nW. Sa neuromorfnom predprocesiranjem primijenjenom na svaki pMUT prijemnik, potrošnja energije cijelog sistema dostiže 81,6 nW. Da bismo razumjeli energetsku efikasnost predloženog neuromorfnog pristupa u poređenju sa konvencionalnim hardverom, uporedili smo ovaj broj sa energijom potrebnom za obavljanje istog zadatka na modernom mikrokontroleru male snage koristeći neuromorfno ili konvencionalno formiranje zraka68 Skill. Neuromorfni pristup razmatra fazu analogno-digitalnog pretvarača (ADC), nakon čega slijede band-pass filter i faza ekstrakcije omotača (Teeger-Kaiser metoda). Konačno, vrši se operacija praga za izdvajanje ToF-a. Izostavili smo izračunavanje ITD-a na osnovu ToF-a i konverziju u procijenjenu ugaonu poziciju jer se to dešava jednom za svako mjerenje (pogledajte Metode). Pod pretpostavkom da je brzina uzorkovanja od 250 kHz na oba kanala (pMUT prijemnici), 18 operacija propusnog filtera, 3 operacije ekstrakcije omotača i 1 operacija praga po uzorku, ukupna potrošnja energije je procijenjena na 245 mikrovati. Ovo koristi režim male snage mikrokontrolera69, koji se uključuje kada se algoritmi ne izvode, što smanjuje potrošnju energije na 10,8 µW. Potrošnja energije rješenja za obradu signala oblikovanja zraka predloženog u referenci. 31, sa 5 pMUT prijemnika i 11 zraka ravnomjerno raspoređenih u ravni azimuta [-50°, +50°], je 11,71 mW (pogledajte odjeljak Metode za detalje). Osim toga, izvještavamo o potrošnji energije FPGA47 baziranog kodera vremenske razlike (TDE) procijenjenu na 1,5 mW kao zamjenu za Jeffressov model za lokalizaciju objekata. Na osnovu ovih procjena, predloženi neuromorfni pristup smanjuje potrošnju energije za pet redova veličine u poređenju sa mikrokontrolerom koji koristi klasične tehnike oblikovanja zraka za operacije lokalizacije objekata. Usvajanje neuromorfnog pristupa obradi signala na klasičnom mikrokontroleru smanjuje potrošnju energije za oko dva reda veličine. Efikasnost predloženog sistema može se objasniti kombinacijom asinhronog analognog kola otporne memorije sposobnog da izvrši proračune u memoriji i nedostatkom analogno-digitalne konverzije potrebne za percepciju signala.
a Kutna rezolucija (plava) i potrošnja energije (zelena) operacije lokalizacije ovisno o broju CD modula. Tamnoplava horizontalna traka predstavlja ugaonu tačnost PMUT-a, a svetloplava horizontalna traka predstavlja ugaonu tačnost neuromorfnog računarskog grafa. b Potrošnja energije predloženog sistema i poređenje sa dva razmatrana mikrokontrolerska implementacija i digitalna implementacija Time Difference Encoder (TDE)47 FPGA.
Da bismo smanjili potrošnju energije sistema za lokalizaciju cilja, osmislili smo, dizajnirali i implementirali efikasno neuromorfno kolo bazirano na RRAM-u koji obrađuje informacije o signalu koje generiraju ugrađeni senzori kako bi izračunali položaj ciljnog objekta u stvarnom vremenu. vrijeme. . Dok tradicionalne metode obrade kontinuirano uzorkuju otkrivene signale i izvode proračune za izdvajanje korisnih informacija, predloženo neuromorfno rješenje izvodi proračune asinhrono kako korisne informacije pristižu, maksimizirajući energetsku efikasnost sistema za pet redova veličine. Osim toga, ističemo fleksibilnost neuromorfnih kola baziranih na RRAM-u. Sposobnost RRAM-a da promijeni provodljivost na nepromjenjiv način (plastičnost) kompenzuje inherentnu varijabilnost sinaptičkih i neuronskih kola ultra male snage analognog DPI. Ovo čini ovo kolo zasnovano na RRAM-u svestranim i moćnim. Naš cilj nije izdvajanje složenih funkcija ili obrazaca iz signala, već lokalizacija objekata u realnom vremenu. Naš sistem takođe može efikasno komprimovati signal i na kraju ga poslati u dalje korake obrade kako bi se donele složenije odluke kada je to potrebno. U kontekstu aplikacija za lokalizaciju, naš korak neuromorfne preprocesiranja može pružiti informacije o lokaciji objekata. Ove informacije se mogu koristiti, na primjer, za detekciju pokreta ili prepoznavanje pokreta. Naglašavamo važnost kombinovanja senzora ultra male snage kao što su pMUT-ovi sa elektronikom ultra male snage. Za ovo, neuromorfni pristupi su bili ključni jer su nas doveli do razvoja novih implementacija kola biološki inspirisanih računskih metoda kao što je Jeffressov model. U kontekstu aplikacija fuzije senzora, naš sistem se može kombinovati sa nekoliko različitih senzora zasnovanih na događajima kako bi se dobile preciznije informacije. Iako su sove odlične u pronalaženju plijena u mraku, imaju odličan vid i obavljaju kombiniranu slušnu i vizualnu pretragu prije nego što ulove plijen70. Kada se određeni slušni neuron aktivira, sova prima informacije koje su joj potrebne da odredi u kojem smjeru da započne svoju vizualnu pretragu, usmjeravajući tako svoju pažnju na mali dio vizualne scene. Kombinacija vizuelnih senzora (DVS kamera) i predloženog senzora za slušanje (baziranog na pMUT-u) treba istražiti za razvoj budućih autonomnih agenata.
PMUT senzor se nalazi na PCB-u sa dva prijemnika na udaljenosti od oko 10 cm, a predajnik se nalazi između prijemnika. U ovom radu svaka membrana je suspendovana bimorfna struktura koja se sastoji od dva sloja piezoelektričnog aluminijum nitrida (AlN) debljine 800 nm u sendviču između tri sloja molibdena (Mo) debljine 200 nm i obloženog slojem debljine 200 nm. gornji pasivirajući SiN sloj kao što je opisano u referenci. 71. Unutrašnja i vanjska elektroda se nanose na donji i gornji sloj molibdena, dok je srednja molibdenska elektroda bez uzorka i koristi se kao uzemljenje, što rezultira membranom sa četiri para elektroda.
Ova arhitektura omogućava korištenje uobičajene deformacije membrane, što rezultira poboljšanom osjetljivošću prijenosa i prijema. Takav pMUT tipično pokazuje osjetljivost ekscitacije od 700 nm/V kao emiter, pružajući površinski pritisak od 270 Pa/V. Kao prijemnik, jedan pMUT film pokazuje osjetljivost na kratki spoj od 15 nA/Pa, što je direktno povezano s piezoelektričnim koeficijentom AlN. Tehnička varijabilnost napona u AlN sloju dovodi do promjene rezonantne frekvencije, koja se može kompenzirati primjenom DC bias-a na pMUT. DC osjetljivost je izmjerena na 0,5 kHz/V. Za akustičku karakterizaciju, mikrofon se koristi ispred pMUT-a.
Da bismo izmjerili eho puls, postavili smo pravokutnu ploču s površinom od oko 50 cm2 ispred pMUT-a da reflektira emitirane zvučne valove. I rastojanje između ploča i ugao u odnosu na ravan pMUT kontrolišu se pomoću posebnih držača. Tectronix CPX400DP izvor napona pokreće tri pMUT membrane, podešavajući rezonantnu frekvenciju na 111,9 kHz31, dok predajnike pokreće Tectronix AFG 3102 generator impulsa podešen na rezonantnu frekvenciju (111,9 kHz) i radni ciklus od 10 Struje očitane sa četiri izlazna porta svakog pMUT prijemnika se pretvaraju u napone koristeći posebnu arhitekturu diferencijalne struje i napona, a rezultirajući signali se digitaliziraju pomoću Spektrum sistema za prikupljanje podataka. Granicu detekcije karakteriše akvizicija pMUT signala pod različitim uslovima: pomerali smo reflektor na različite udaljenosti [30, 40, 50, 60, 80, 100] cm i menjali pMUT potporni ugao ([0, 20, 40] o ) Slika 2b prikazuje vremensku rezoluciju detekcije ITD u zavisnosti od odgovarajuće ugaone pozicije u stepenima.
Ovaj članak koristi dva različita gotova RRAM kola. Prvi je niz od 16.384 (16.000) uređaja (128 × 128 uređaja) u 1T1R konfiguraciji s jednim tranzistorom i jednim otpornikom. Drugi čip je neuromorfna platforma prikazana na slici 4a. RRAM ćelija se sastoji od HfO2 filma debljine 5 nm ugrađenog u TiN/HfO2/Ti/TiN stog. RRAM stog je integrisan u back-of-line (BEOL) standardnog 130nm CMOS procesa. Neuromorfna kola zasnovana na RRAM-u predstavljaju izazov dizajna za potpuno analogne elektronske sisteme u kojima RRAM uređaji koegzistiraju sa tradicionalnom CMOS tehnologijom. Konkretno, stanje provodljivosti RRAM uređaja mora se pročitati i koristiti kao funkcionalna varijabla za sistem. U tu svrhu, dizajnirano je, proizvedeno i testirano kolo koje očitava struju iz uređaja kada se primi ulazni impuls i koristi ovu struju da odmjeri odgovor sinapse integratora diferencijalnog para (DPI). Ovo kolo je prikazano na slici 3a, koja predstavlja osnovne građevne blokove neuromorfne platforme na slici 4a. Ulazni impuls aktivira kapiju uređaja 1T1R, indukujući struju kroz RRAM proporcionalnu provodljivosti uređaja G (Iweight = G(Vtop – Vx)). Invertujući ulaz kruga operativnog pojačala (op-amp) ima konstantan DC prednapon Vtop. Negativna povratna sprega op-pojačala će osigurati Vx = Vtop obezbjeđujući jednaku struju iz M1. Trenutna Iweight preuzeta iz uređaja se ubrizgava u DPI sinapsu. Jača struja će rezultirati većom depolarizacijom, tako da RRAM provodljivost efikasno implementira sinaptičke težine. Ova eksponencijalna sinaptička struja se ubrizgava kroz membranski kondenzator neurona propusne integracije i ekscitacije (LIF), gdje je integrirana kao napon. Ako se prevlada prag napona membrane (preklopni napon pretvarača), aktivira se izlazni dio neurona, stvarajući izlazni skok. Ovaj impuls se vraća i šantira membranski kondenzator neurona na masu, uzrokujući njegovo pražnjenje. Ovo kolo se zatim dopunjuje sa ekspanderom impulsa (nije prikazan na slici 3a), koji oblikuje izlazni impuls LIF neurona prema ciljnoj širini impulsa. Multiplekseri su takođe ugrađeni u svaku liniju, omogućavajući da se napon primeni na gornju i donju elektrodu RRAM uređaja.
Električno testiranje uključuje analizu i snimanje dinamičkog ponašanja analognih kola, kao i programiranje i čitanje RRAM uređaja. Oba koraka zahtijevaju posebne alate, koji su svi povezani na senzorsku ploču u isto vrijeme. Pristup RRAM uređajima u neuromorfnim kolima se vrši iz eksternih alata preko multipleksera (MUX). MUX odvaja 1T1R ćeliju od ostatka kola kojem pripada, omogućavajući uređaju da se čita i/ili programira. Za programiranje i čitanje RRAM uređaja, Keithley 4200 SCS mašina se koristi u kombinaciji sa Arduino mikrokontrolerom: prvi za precizno generisanje impulsa i očitavanje struje, a drugi za brz pristup pojedinačnim 1T1R elementima u memorijskom nizu. Prva operacija je formiranje RRAM uređaja. Ćelije se biraju jedna po jedna i primjenjuje se pozitivan napon između gornje i donje elektrode. U ovom slučaju, struja je ograničena na desetine mikroampera zbog dovoda odgovarajućeg napona gejta na selektorski tranzistor. RRAM ćelija tada može ciklirati između niskog provodljivog stanja (LCS) i stanja visoke provodljivosti (HCS) koristeći operacije RESET i SET, respektivno. Operacija SET se izvodi primjenom pravokutnog impulsa napona u trajanju od 1 μs i vršnog napona od 2,0-2,5 V na gornju elektrodu, a sinhronizacijski impuls sličnog oblika sa vršnim naponom od 0,9-1,3 V na kapija tranzistora selektora. Ove vrijednosti omogućavaju modulaciju RRAM provodljivosti u intervalima od 20-150 µs. Za RESET, 1 µs širok, vršni impuls od 3 V primjenjuje se na donju elektrodu (bitnu liniju) ćelije kada je napon gejta u rasponu od 2,5-3,0 V. Ulazi i izlazi analognih kola su dinamički signali . Za ulaz smo spojili dva HP 8110 generatora impulsa sa Tektronix AFG3011 generatorima signala. Ulazni impuls ima širinu od 1 µs i ivicu porasta/pada od 50 ns. Pretpostavlja se da je ovaj tip impulsa tipičan kvar u analognim kolima zasnovanim na kvarovima. Što se tiče izlaznog signala, izlazni signal je snimljen pomoću Teledyne LeCroy 1 GHz osciloskopa. Dokazano je da brzina akvizicije osciloskopa nije ograničavajući faktor u analizi i akviziciji podataka kola.
Korišćenje dinamike analogne elektronike za simulaciju ponašanja neurona i sinapsi je elegantno i efikasno rešenje za poboljšanje računarske efikasnosti. Nedostatak ove računske podloge je što će varirati od šeme do šeme. Kvantifikovali smo varijabilnost neurona i sinaptičkih kola (dopunska slika 2a,b). Od svih manifestacija varijabilnosti, one povezane sa vremenskim konstantama i ulaznim dobitkom imaju najveći uticaj na nivou sistema. Vremenska konstanta LIF neurona i DPI sinapse određena je RC krugom, gdje je vrijednost R kontrolirana naponom pristrasnosti koji se primjenjuje na kapiju tranzistora (Vlk za neuron i Vtau za sinapsu), određujući stopa curenja. Ulazni dobitak je definiran kao vršni napon koji dosežu kondenzatori sinaptičke i neuronske membrane stimulirani ulaznim impulsom. Ulazno pojačanje je kontrolirano drugim bias tranzistorom koji modulira ulaznu struju. Monte Carlo simulacija kalibrirana na ST Microelectronics-ovom 130nm procesu je izvedena kako bi se prikupila neka statistika ulaznog pojačanja i vremenske konstante. Rezultati su predstavljeni na dodatnoj slici 2, gdje su ulazno pojačanje i vremenska konstanta kvantificirani kao funkcija prednapona koji kontrolira brzinu curenja. Zeleni markeri kvantifikuju standardnu ​​devijaciju vremenske konstante od srednje vrednosti. I neuroni i sinaptički krugovi bili su u stanju da izraze širok raspon vremenskih konstanti u rasponu od 10-5-10-2 s, kao što je prikazano u dodatnoj shemi na slici. Ulazno pojačanje (dopunska slika 2e,d) varijabilnosti neurona i sinapse bilo je približno 8% i 3%, respektivno. Takav nedostatak je dobro dokumentovan u literaturi: izvršena su različita mjerenja na nizu DYNAP čipova kako bi se procijenila neusklađenost između populacija neurona LIF63. Izmjerene su sinapse u mješovitom signalnom čipu BrainScale i analizirane su njihove nedosljednosti, a predložena je procedura kalibracije kako bi se smanjio efekat varijabilnosti na nivou sistema64.
Funkcija RRAM-a u neuromorfnim kolima je dvojaka: definicija arhitekture (usmjeravanje ulaza na izlaze) i implementacija sinaptičkih težina. Ovo posljednje svojstvo se može koristiti za rješavanje problema varijabilnosti modeliranih neuromorfnih kola. Razvili smo jednostavnu proceduru kalibracije koja uključuje reprogramiranje RRAM uređaja sve dok krug koji se analizira ne ispuni određene zahtjeve. Za dati ulaz, izlaz se prati i RRAM se reprogramira dok se ne postigne ciljno ponašanje. Vrijeme čekanja od 5 s je uvedeno između operacija programiranja kako bi se riješio problem relaksacije RRAM-a što je rezultiralo prolaznim fluktuacijama provodljivosti (dodatne informacije). Sinaptičke težine se podešavaju ili kalibriraju prema zahtjevima neuromorfnog kola koje se modelira. Procedura kalibracije je sažeta u dodatnim algoritmima [1, 2] koji se fokusiraju na dvije fundamentalne karakteristike neuromorfnih platformi, linije kašnjenja i CD neosjetljiv na smjer. Za kolo s linijom kašnjenja, ciljno ponašanje je osigurati izlazni impuls s kašnjenjem Δt. Ako je stvarno kašnjenje kruga manje od ciljne vrijednosti, sinaptičku težinu G3 treba smanjiti (G3 treba resetirati, a zatim postaviti na nižu odgovarajuću struju Icc). Suprotno tome, ako je stvarno kašnjenje veće od ciljne vrijednosti, provodljivost G3 se mora povećati (G3 se prvo mora resetirati, a zatim postaviti na višu Icc vrijednost). Ovaj proces se ponavlja sve dok se kašnjenje koje je generiralo kolo ne poklopi sa ciljnom vrijednošću i dok se ne postavi tolerancija za zaustavljanje procesa kalibracije. Za CD-ove koji nisu osjetljivi na orijentaciju, dva RRAM uređaja, G1 i G3, uključena su u proces kalibracije. Ovo kolo ima dva ulaza, Vin0 i Vin1, sa kašnjenjem za dt. Kolo bi trebalo da reaguje samo na kašnjenja ispod opsega podudaranja [0,dtCD]. Ako nema izlaznog vrha, ali je ulazni pik blizu, oba RRAM uređaja bi trebala biti pojačana kako bi pomogli neuronu da dosegne prag. Suprotno tome, ako kolo reaguje na kašnjenje koje premašuje ciljni opseg dtCD, provodljivost se mora smanjiti. Ponavljajte postupak dok se ne postigne ispravno ponašanje. Struja usklađenosti može se modulirati pomoću ugrađenog analognog kola u ref. 72.73. Sa ovim ugrađenim kolom, takve procedure se mogu izvoditi periodično za kalibraciju sistema ili ponovno korištenje za drugu aplikaciju.
Procjenjujemo potrošnju energije našeg pristupa neuromorfnoj obradi signala na standardnom 32-bitnom mikrokontroleru68. U ovoj evaluaciji pretpostavljamo rad sa istim podešavanjem kao u ovom radu, sa jednim pMUT predajnikom i dva pMUT prijemnika. Ova metoda koristi propusni filter, nakon čega slijedi korak ekstrakcije omotača (Teeger-Kaiser), a na kraju se na signal primjenjuje operacija praga za izdvajanje vremena leta. Proračun ITD-a i njegova konverzija u uglove detekcije su izostavljeni u evaluaciji. Razmatramo implementaciju filtera opsega koji koristi filter beskonačnog impulsnog odziva 4. reda koji zahtijeva 18 operacija s pomičnim zarezom. Ekstrakcija omotnice koristi još tri operacije s pomičnim zarezom, a posljednja operacija se koristi za postavljanje praga. Za predobradu signala potrebne su ukupno 22 operacije s pomičnim zarezom. Emitirani signal je kratki niz od 111,9 kHz sinusnog talasa koji se generira svakih 10 ms, što rezultira radnom frekvencijom pozicioniranja od 100 Hz. Koristili smo brzinu uzorkovanja od 250 kHz da bismo bili u skladu sa Nyquistom i prozor od 6 ms za svako mjerenje da bismo uhvatili raspon od 1 metra. Imajte na umu da je 6 milisekundi vrijeme leta objekta koji je udaljen 1 metar. Ovo obezbeđuje potrošnju energije od 180 µW za A/D konverziju pri 0,5 MSPS. Prethodna obrada signala je 6,60 MIPS (instrukcije u sekundi), generirajući 0,75 mW. Međutim, mikrokontroler se može prebaciti u režim male snage 69 kada algoritam ne radi. Ovaj način rada osigurava statičku potrošnju energije od 10,8 μW i vrijeme buđenja od 113 μs. Uz frekvenciju takta od 84 MHz, mikrokontroler završava sve operacije neuromorfnog algoritma u roku od 10 ms, a algoritam izračunava radni ciklus od 6,3%, koristeći način rada male snage. Rezultirajuća disipacija snage je 244,7 μW. Imajte na umu da izostavljamo ITD izlaz iz ToF-a i konverziju u ugao detekcije, čime se potcjenjuje potrošnja energije mikrokontrolera. Ovo daje dodatnu vrijednost za energetsku efikasnost predloženog sistema. Kao dodatni uvjet za usporedbu, procjenjujemo potrošnju energije klasičnih metoda oblikovanja zraka predloženih u referenci. 31,54 kada je ugrađen u isti mikrokontroler68 na 1,8V napona napajanja. Pet ravnomjerno raspoređenih pMUT membrana se koristi za prikupljanje podataka za formiranje zraka. Što se tiče same obrade, korištena metoda oblikovanja zraka je zbrajanje kašnjenja. Jednostavno se sastoji od primjene kašnjenja na trake koje odgovara očekivanoj razlici u vremenu dolaska između jedne trake i referentne trake. Ako su signali u fazi, zbir ovih signala će imati visoku energiju nakon vremenskog pomaka. Ako su van faze, destruktivna interferencija će ograničiti energiju njihovog zbira. u vezi. Na sl. 31, odabrana je brzina uzorkovanja od 2 MHz za vremenski pomak podataka za cijeli broj uzoraka. Skromniji pristup je održavanje grublje brzine uzorkovanja od 250 kHz i korištenje filtera s konačnim impulsnim odzivom (FIR) za sintetizaciju frakcijskih kašnjenja. Pretpostavićemo da je složenost algoritma za formiranje zraka uglavnom određena vremenskim pomakom, budući da je svaki kanal konvolviran sa FIR filterom sa 16 tapova u svakom smjeru. Da bismo izračunali broj MIPS-a potrebnih za ovu operaciju, uzimamo u obzir prozor od 6 ms po mjerenju kako bismo uhvatili raspon od 1 metar, 5 kanala, 11 smjerova formiranja zraka (opseg +/- 50° u koracima od 10°). 75 mjerenja u sekundi gurnulo je mikrokontroler do svojih maksimalnih 100 MIPS. Link. 68, što rezultira disipacijom snage od 11,26 mW za ukupnu disipaciju snage od 11,71 mW nakon dodavanja doprinosa ugrađenog ADC-a.
Podaci koji podržavaju rezultate ove studije dostupni su od odgovarajućeg autora, FM, na razuman zahtjev.
Indiveri, G. & Sandamirskaya, Y. Važnost prostora i vremena za obradu signala u neuromorfnim agensima: Izazov razvoja autonomnih agenasa male snage koji su u interakciji sa okolinom. Indiveri, G. & Sandamirskaya, Y. Važnost prostora i vremena za obradu signala u neuromorfnim agensima: Izazov razvoja autonomnih agenasa male snage koji su u interakciji sa okolinom.Indiveri G. and Sandamirskaya Y. Važnost prostora i vremena za procesiranje signala u neuromorfnim agensima: izazov razvoja autonomnih agenasa male snage u interakciji sa okolinom. Indiveri, G. & Sandamirskaya, Y.主代理的挑战。 Indiveri, G. i Sandamirskaja, Y.Indiveri G. and Sandamirskaya Y. Važnost prostora i vremena za procesiranje signala u neuromorfnim agensima: izazov razvoja autonomnih agenasa male snage u interakciji sa okolinom.IEEE obrada signala. Časopis 36, 16–28 (2019).
Thorpe, SJ Peak Arrival Time: Efficient Neural Network Coding Scheme. u Eckmiller, R., Hartmann, G. & Hauske, G. (ur.). u Eckmiller, R., Hartmann, G. & Hauske, G. (ur.).u Eckmiller, R., Hartmann, G. i Hauske, G. (ur.).U Eckmiller, R., Hartmann, G., i Hauske, G. (ur.). Paralelna obrada u neuronskim sistemima i računarima 91–94 (North-Holland Elsevier, 1990).
Levy, WB & Calvert, VG Communication troši 35 puta više energije od računanja u ljudskom korteksu, ali su oba troška potrebna za predviđanje broja sinapsi. Levy, WB & Calvert, VG Communication troši 35 puta više energije od računanja u ljudskom korteksu, ali su oba troška potrebna za predviđanje broja sinapsi.Levy, WB i Calvert, WG Communication troše 35 puta više energije od računanja u ljudskom korteksu, ali su oba troška potrebna za predviđanje broja sinapsi. Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35 的 Levy, WB & Calvert, VG CommunicationLevy, WB i Calvert, WG Communication troše 35 puta više energije od računanja u ljudskom korteksu, ali oba troška zahtijevaju predviđanje broja sinapsi.proces. Nacionalna akademija nauka. nauku. US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Neuromorfno računarstvo inspirirano insektima. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Neuromorfno računarstvo inspirirano insektima.Dalgati, T., Vianello, E., DeSalvo, B. i Casas, J. Neuromorfno računarstvo inspirisano insektima.Dalgati T., Vianello E., DeSalvo B. i Casas J. Neuromorfno računarstvo inspirisano insektima. Current. Mišljenje. Nauka o insektima. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Ka mašinskoj inteligenciji zasnovanoj na šiljcima sa neuromorfnim računarstvom. Roy, K., Jaiswal, A. & Panda, P. Ka mašinskoj inteligenciji zasnovanoj na šiljcima sa neuromorfnim računarstvom. Roy, K., Jaiswal, A. & Panda, P. Towards Machine Intelligence-based with Neuromorphic Computing.Roy K, Jaiswal A i Panda P. Veštačka inteligencija zasnovana na pulsu koristeći neuromorfno računarstvo. Nature 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. i Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. i Liu, S.-K.Memorija i obrada informacija u neuromorfnim sistemima. proces. IEEE 103, 1379–1397 (2015).
Akopyan F. et al. Truenorth: Dizajn i komplet alata za sinaptički čip od 65 mW od 1 milion neurona koji se može programirati. IEEE transakcije. Računarsko projektovanje sistema integrisanih kola. 34, 1537–1557 (2015).
Schemmel, J. et al. Demo uživo: smanjena verzija neuromorfnog sistema BrainScaleS na skali ploče. 2012 IEEE međunarodni simpozijum o krugovima i sistemima (ISCAS), (IEEE ur.) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Skalabilna višejezgarna arhitektura sa heterogenim memorijskim strukturama za dinamičke neuromorfne asinhrone procesore (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Skalabilna višejezgarna arhitektura sa heterogenim memorijskim strukturama za dinamičke neuromorfne asinhrone procesore (DYNAP).Moradi S., Qiao N., Stefanini F. i Indiviri G. Skalabilna višejezgarna arhitektura sa heterogenim memorijskim strukturama za dinamičke neuromorfne asinhrone procesore (DYNAP). Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. 一种可扩展的多核架构, 具有用于动态神经形歁可扩展的多核架构, 具有用于动态神经形歁可扩展的多核架构, 具有用于动态神经形歁可扩展的多核架构异构内存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Vrsta proširive višejezgrene arhitekture, sa jedinstvenom memorijskom strukturom za dinamičku neuronsku obradu (DYNAP).Moradi S., Qiao N., Stefanini F. i Indiviri G. Skalabilna višejezgarna arhitektura sa heterogenim memorijskim strukturama za dinamičke neuromorfne asinhrone procesore (DYNAP).IEEE Transactions on Biomedical science. električni sistem. 12, 106–122 (2018).
Davis, M. et al. Loihi: Neuromorfni višejezgarni procesor sa ugrađenim učenjem. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA Projekat SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA Projekat SpiNNaker.Ferber SB, Galluppi F., Temple S. i Plana LA SpiNNaker projekat.Ferber SB, Galluppi F., Temple S. i Plana LA SpiNNaker projekat. proces. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Neuromorfni senzorni sistemi. & Delbruck, T. Neuromorfni senzorni sistemi.i Delbrück T. Neuromorfni senzorni sistemi. & Delbruck, T. 神经形态感觉系统。 & Delbruck, T.i Delbrück T. Neuromorfni senzorni sistem.Current. Mišljenje. Neurobiology. 20, 288–295 (2010).
Chope, T. et al. Neuromorfna senzorna integracija za kombinovanu lokalizaciju izvora zvuka i izbegavanje sudara. 2019. na IEEE konferenciji o biomedicinskim krugovima i sistemima (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Neuromorfna arhitektura stereo vida zasnovana na šiljcima. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Neuromorfna arhitektura stereo vida zasnovana na šiljcima.Risi N, Aymar A, Donati E, Solinas S i Indiveri G. Neuromorfna stereovizijska arhitektura zasnovana na šiljcima. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S i Indiveri G. Neuromorfna arhitektura zasnovana na šiljcima za stereo vid.front. Neurorobotika 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Model 3D percepcije spiking neuronske mreže za neuromorfne stereo vizijske sisteme zasnovane na događajima. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Model 3D percepcije spiking neuronske mreže za neuromorfne stereo vizijske sisteme zasnovane na događajima.Oswald, M., Ieng, S.-H., Benosman, R., i Indiveri, G. Model percepcije 3D impulsne neuronske mreže za neuromorfne stereovidne sisteme zasnovane na događajima. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 基于事件的神经形态立体视觉系统的3Dperception 脉冲神经冲神经 Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R., i Indiveri, G. Model neuronske mreže 3Dpercepcije sa šiljcima za neuromorfni stereo vidni sistem zasnovan na događajima.nauku. Izvještaj 7, 1–11 (2017).
Dalgaty, T. et al. Osnovna detekcija pokreta inspirisana insektima uključuje otpornu memoriju i rasprsnute neuronske mreže. Biohibridni sistem. 10928, 115–128 (2018).
D'Angelo, G. et al. Detekcija ekscentričnog pokreta zasnovana na događajima koristeći vremensko diferencijalno kodiranje. front. Neurologija. 14, 451 (2020).