Databehandlingsapplikasjoner i den virkelige verden krever kompakte datasystemer med lav latens og lavt strømforbruk. Med hendelsesdrevne databehandlingsevner gir komplementære metall-oksid-halvleder hybrid memristive nevromorfe arkitekturer et ideelt maskinvaregrunnlag for slike oppgaver. For å demonstrere det fulle potensialet til slike systemer, foreslår og demonstrerer vi eksperimentelt en omfattende sensorbehandlingsløsning for objektlokaliseringsapplikasjoner i den virkelige verden. Med inspirasjon fra perleugleneuroanatomi har vi utviklet et bioinspirert, hendelsesdrevet objektlokaliseringssystem som kombinerer en toppmoderne piezoelektrisk mikromekanisk transdusertransduser med beregningsgrafbasert nevromorfisk resistivt minne. Vi viser målinger av et fabrikkert system som inkluderer en minnebasert resistiv tilfeldighetsdetektor, forsinkelseslinjekretser og en fullt tilpassbar ultralydsvinger. Vi bruker disse eksperimentelle resultatene til å kalibrere simuleringer på systemnivå. Disse simuleringene brukes deretter til å evaluere vinkeloppløsningen og energieffektiviteten til objektlokaliseringsmodellen. Resultatene viser at vår tilnærming kan være flere størrelsesordener mer energieffektiv enn mikrokontrollere som utfører samme oppgave.
Vi går inn i en æra med allestedsnærværende databehandling hvor antallet enheter og systemer som er distribuert vokser eksponentielt for å hjelpe oss i hverdagen. Disse systemene forventes å kjøre kontinuerlig og forbruke så lite strøm som mulig mens de lærer å tolke dataene de samler inn fra flere sensorer i sanntid og produsere binær utgang som et resultat av klassifiserings- eller gjenkjenningsoppgaver. Et av de viktigste trinnene som kreves for å nå dette målet er å trekke ut nyttig og kompakt informasjon fra støyende og ofte ufullstendige sensoriske data. Konvensjonelle tekniske tilnærminger sampler typisk sensorsignaler med en konstant og høy hastighet, og genererer store mengder data selv i fravær av nyttige innganger. I tillegg bruker disse metodene komplekse digitale signalbehandlingsteknikker for å forhåndsbehandle (ofte støyende) inngangsdata. I stedet tilbyr biologi alternative løsninger for behandling av støyende sensoriske data ved å bruke energieffektive, asynkrone, hendelsesdrevne tilnærminger (spikes)2,3. Nevromorf databehandling henter inspirasjon fra biologiske systemer for å redusere beregningskostnader når det gjelder energi- og minnekrav sammenlignet med tradisjonelle signalbehandlingsmetoder4,5,6. Nylig har innovative hjernebaserte systemer for generell bruk som implementerer impulsnevrale nettverk (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11) blitt demonstrert. Disse prosessorene gir løsninger med lav effekt og lav latens for maskinlæring og kortikale kretsmodellering. For å utnytte energieffektiviteten deres fullt ut, må disse nevromorfe prosessorene kobles direkte til hendelsesdrevne sensorer12,13. Imidlertid er det i dag bare noen få berøringsenheter som direkte gir hendelsesdrevne data. Fremtredende eksempler er dynamiske visuelle sensorer (DVS) for synsapplikasjoner som sporing og bevegelsesdeteksjon14,15,16,17 silisiumcochlea18 og nevromorfe auditive sensorer (NAS)19 for auditiv signalbehandling, luktesensorer20 og en rekke eksempler21,22 på berøring. . tekstursensorer.
I denne artikkelen presenterer vi et nyutviklet hendelsesdrevet auditivt prosesseringssystem brukt på objektlokalisering. Her beskriver vi for første gang et ende-til-ende-system for objektlokalisering oppnådd ved å koble en toppmoderne piezoelektrisk mikromaskinert ultralydstransduser (pMUT) med en beregningsgraf basert på nevromorfisk resistivt minne (RRAM). In-memory databehandlingsarkitekturer som bruker RRAM er en lovende løsning for å redusere strømforbruket23,24,25,26,27,28,29. Deres iboende ikke-flyktighet – som ikke krever aktivt strømforbruk for å lagre eller oppdatere informasjon – passer perfekt med den asynkrone, hendelsesdrevne naturen til nevromorfisk databehandling, noe som resulterer i nesten intet strømforbruk når systemet er inaktivt. Piezoelektriske mikromaskinerte ultralydtransdusere (pMUTs) er rimelige, miniatyriserte silisiumbaserte ultralydtransdusere som kan fungere som sendere og mottakere30,31,32,33,34. For å behandle signalene mottatt av de innebygde sensorene, hentet vi inspirasjon fra perleuglenevroanatomi35,36,37. Løvugla Tyto alba er kjent for sine bemerkelsesverdige nattjaktevner takket være et meget effektivt auditivt lokaliseringssystem. For å beregne byttets plassering, koder perleuglens lokaliseringssystem flytiden (ToF) når lydbølger fra byttet når hver av uglens ører eller lydreseptorer. Gitt avstanden mellom ørene, gjør forskjellen mellom de to ToF-målingene (Interaural Time Difference, ITD) det mulig å analytisk beregne asimutposisjonen til målet. Selv om biologiske systemer er dårlig egnet til å løse algebraiske ligninger, kan de løse lokaliseringsproblemer veldig effektivt. Løvuglenervesystemet bruker et sett med tilfeldighetsdetektor (CD)35-nevroner (dvs. nevroner som er i stand til å oppdage tidsmessige korrelasjoner mellom pigger som forplanter seg nedover til konvergerende eksitatoriske avslutninger)38,39 organisert i beregningsgrafer for å løse posisjoneringsproblemer.
Tidligere forskning har vist at komplementær metall-oksid-halvleder (CMOS) maskinvare og RRAM-basert nevromorf maskinvare inspirert av inferior colliculus ("auditiv cortex") til perleuglen er en effektiv metode for å beregne posisjon ved hjelp av ITD13, 40, 41, 42, 43, 44, 45, 46. Men potensialet for fullføre nevromorfe systemer som kobler auditive signaler til nevromorfe beregningsgrafer, har ennå ikke blitt demonstrert. Hovedproblemet er den iboende variasjonen til analoge CMOS-kretser, som påvirker nøyaktigheten av matchdeteksjon. Nylig har alternative numeriske implementeringer av ITD47-estimatene blitt demonstrert. I denne artikkelen foreslår vi å bruke evnen til RRAM til å endre konduktansverdien på en ikke-flyktig måte for å motvirke variasjon i analoge kretser. Vi implementerte et eksperimentelt system som består av en pMUT-overføringsmembran som opererer med en frekvens på 111,9 kHz, to pMUT-mottakende membraner (sensorer) som simulerer perleugleører, og en . Vi karakteriserte eksperimentelt pMUT-deteksjonssystemet og RRAM-basert ITD-beregningsgraf for å teste lokaliseringssystemet vårt og evaluere dets vinkeloppløsning.
Vi sammenligner metoden vår med en digital implementering på en mikrokontroller som utfører den samme lokaliseringsoppgaven ved bruk av konvensjonelle stråleforming eller nevromorfe metoder, samt en feltprogrammerbar portarray (FPGA) for ITD-estimering foreslått i referansen. 47. Denne sammenligningen fremhever den konkurransedyktige krafteffektiviteten til det foreslåtte RRAM-baserte analoge nevromorfe systemet.
Et av de mest slående eksemplene på et nøyaktig og effektivt objektlokaliseringssystem finner du i perleugle35,37,48. Ved skumring og daggry er perleugla (Tyto Alba) først og fremst avhengig av passiv lytting, og søker aktivt etter små byttedyr som voles eller mus. Disse auditive ekspertene kan lokalisere auditive signaler fra byttedyr med forbløffende nøyaktighet (ca. 2°)35, som vist i fig. 1a. Barnugler utleder plasseringen av lydkilder i asimutplanet (horisontalt) fra forskjellen i innkommende flytid (ITD) fra lydkilden til de to ørene. ITD-beregningsmekanismen ble foreslått av Jeffress49,50 som er avhengig av nevral geometri og krever to nøkkelkomponenter: et akson, en nevrons nervefiber som fungerer som en forsinkelseslinje, og en rekke tilfeldighetsdetektorneuroner organisert i et beregningssystem. graf som vist i figur 1b. Lyden når øret med en asimutavhengig tidsforsinkelse (ITD). Lyden konverteres deretter til et piggmønster i hvert øre. Aksonene til venstre og høyre øre fungerer som forsinkelseslinjer og konvergerer på CD-neuroner. Teoretisk sett vil bare ett nevron i en rekke samsvarende nevroner motta input om gangen (der forsinkelsen kansellerer nøyaktig) og vil avfyre maksimalt (naboceller vil også skyte, men med en lavere frekvens). Aktivering av visse nevroner koder for posisjonen til målet i rommet uten ytterligere å konvertere ITD til vinkler. Dette konseptet er oppsummert i figur 1c: for eksempel hvis lyden kommer fra høyre side når inngangssignalet fra høyre øre går en lengre vei enn veien fra venstre øre, for eksempel kompenserer for antall ITD-er, når nevron 2 matcher. Med andre ord, hver CD reagerer på en viss ITD (også kjent som optimal forsinkelse) på grunn av aksonal forsinkelse. Dermed konverterer hjernen tidsinformasjon til romlig informasjon. Anatomiske bevis for denne mekanismen er funnet37,51. Faselåste makronukleusnevroner lagrer tidsmessig informasjon om innkommende lyder: som navnet tilsier, skyter de på visse signalfaser. Tilfeldighetsdetektorneuroner av Jeffress-modellen kan finnes i den laminære kjernen. De mottar informasjon fra makronukleære nevroner, hvis aksoner fungerer som forsinkelseslinjer. Mengden forsinkelse gitt av forsinkelseslinjen kan forklares av lengden på aksonet, samt et annet myeliniseringsmønster som endrer ledningshastigheten. Inspirert av hørselssystemet til perleuglen har vi utviklet et biomimetisk system for lokalisering av objekter. De to ørene er representert av to pMUT-mottakere. Lydkilden er pMUT-senderen plassert mellom dem (fig. 1a), og beregningsgrafen er dannet av et rutenett av RRAM-baserte CD-kretser (fig. 1b, grønn), som spiller rollen som CD-neuroner hvis innganger er forsinket. gjennom kretsen virker forsinkelseslinjene (blå) som aksoner i den biologiske motparten. Det foreslåtte sensoriske systemet skiller seg i driftsfrekvens fra den til uglen, hvis hørselssystem opererer i området 1–8 kHz, men pMUT-sensorer som opererer ved omtrent 117 kHz brukes i dette arbeidet. Valget av en ultralydsvinger vurderes i henhold til tekniske kriterier og optimaliseringskriterier. For det første, å begrense mottaksbåndbredden til en enkelt frekvens forbedrer ideelt sett målenøyaktigheten og forenkler etterbehandlingstrinnet. I tillegg har operasjon i ultralyd den fordelen at de utsendte pulsene ikke er hørbare, derfor forstyrrer ikke mennesker, siden deres auditive rekkevidde er ~20-20 kHz.
perleugla mottar lydbølger fra et mål, i dette tilfellet flyttende byttedyr. Flytiden (ToF) for lydbølgen er forskjellig for hvert øre (med mindre byttet er rett foran uglen). Den stiplede linjen viser banen lydbølgene tar for å nå ørene til perleugla. Byttedyr kan lokaliseres nøyaktig i horisontalplanet basert på lengdeforskjellen mellom de to akustiske banene og den tilsvarende interaurale tidsforskjellen (ITD) (bilde til venstre inspirert av ref. 74, copyright 2002, Society for Neuroscience). I vårt system genererer pMUT-senderen (mørkeblå) lydbølger som spretter fra målet. Reflekterte ultralydbølger mottas av to pMUT-mottakere (lysegrønn) og behandles av den nevromorfe prosessoren (til høyre). b En ITD (Jeffress) beregningsmodell som beskriver hvordan lyder som kommer inn i ørene til perleuglen først kodes som faselåste pigger i den store kjernen (NM) og deretter ved hjelp av et geometrisk arrangert rutenett av matchede detektorneuroner i lamellkjernen. Bearbeiding (Nederland) (til venstre). Illustrasjon av en neuroITD-beregningsgraf som kombinerer forsinkelseslinjer og tilfeldighetsdetektorneuroner, uglebiosensorsystemet kan modelleres ved hjelp av RRAM-baserte nevromorfe kretser (til høyre). c Skjematisk av Jeffress-hovedmekanismen, på grunn av forskjellen i ToF, mottar de to ørene lydstimuli til forskjellige tider og sender aksoner fra begge ender til detektoren. Aksonene er en del av en serie med tilfeldighetsdetektor (CD) nevroner, som hver reagerer selektivt på sterkt tidskorrelerte innganger. Som et resultat er det bare CD-er hvis innganger kommer med den minste tidsforskjellen som er maksimalt begeistret (ITD er nøyaktig kompensert). CD-en vil da kode målets vinkelposisjon.
Piezoelektriske mikromekaniske ultralydsvingere er skalerbare ultralydsvingere som kan integreres med avansert CMOS-teknologi31,32,33,52 og har lavere startspenning og strømforbruk enn tradisjonelle volumetriske transdusere53. I vårt arbeid er membrandiameteren 880 µm, og resonansfrekvensen er fordelt i området 110–117 kHz (fig. 2a, se Metoder for detaljer). I en batch på ti testenheter var gjennomsnittlig kvalitetsfaktor ca. 50 (ref. 31). Teknologien har nådd industriell modenhet og er ikke bioinspirert i seg selv. Å kombinere informasjon fra forskjellige pMUT-filmer er en velkjent teknikk, og vinkelinformasjon kan hentes fra pMUT-er ved å bruke for eksempel stråleformingsteknikker31,54. Signalbehandlingen som kreves for å trekke ut vinkelinformasjonen er imidlertid ikke egnet for laveffektmålinger. Det foreslåtte systemet kombinerer den nevromorfe dataforbehandlingskretsen pMUT med en RRAM-basert nevromorfisk datagraf inspirert av Jeffress-modellen (Figur 2c), og gir en alternativ energieffektiv og ressursbegrenset maskinvareløsning. Vi utførte et eksperiment der to pMUT-sensorer ble plassert omtrent 10 cm fra hverandre for å utnytte de forskjellige ToF-lydene mottatt av de to mottaksmembranene. En pMUT som fungerer som en sender sitter mellom mottakerne. Målet var en PVC-plate 12 cm bred, plassert i en avstand D foran pMUT-anordningen (fig. 2b). Mottakeren registrerer lyden som reflekteres fra objektet og reagerer så mye som mulig under lydbølgens passasje. Gjenta eksperimentet ved å endre posisjonen til objektet, bestemt av avstanden D og vinkelen θ. Inspirert av en link. 55, foreslår vi en nevromorf forbehandling av pMUT-råsignaler for å konvertere reflekterte bølger til topper for å legge inn en nevromorf beregningsgraf. ToF som tilsvarer toppamplituden trekkes ut fra hver av de to kanalene og kodes som den nøyaktige timingen for de individuelle toppene. På fig. 2c viser kretsen som kreves for å koble pMUT-sensoren til en RRAM-basert beregningsgraf: for hver av de to pMUT-mottakerne blir råsignalet båndpassfiltrert for å jevne ut, rette opp og deretter sendes til den lekkende integratoren i overvinnelsesmodus. den dynamiske terskelen (fig. 2d) skaper en utgangshendelse (spike) og avfyring (LIF) nevron: utgangsspiketiden koder for den detekterte flytiden. LIF-terskelen kalibreres mot pMUT-responsen, og reduserer derved pMUT-variabiliteten fra enhet til enhet. Med denne tilnærmingen, i stedet for å lagre hele lydbølgen i minnet og behandle den senere, genererer vi ganske enkelt en topp tilsvarende ToF til lydbølgen, som danner inngangen til den resistive minneberegningsgrafen. Piggene sendes direkte til forsinkelseslinjene og parallelliseres med matchdeteksjonsmoduler i nevromorfe beregningsgrafer. Fordi de sendes til portene til transistorene, er det ikke nødvendig med ytterligere forsterkningskretser (se tilleggsfigur 4 for detaljer). For å evaluere lokaliseringsvinkelnøyaktigheten gitt av pMUT og den foreslåtte signalbehandlingsmetoden, målte vi ITD (det vil si forskjellen i tid mellom topphendelser generert av to mottakere) ettersom avstanden og vinkelen til objektet varierte. ITD-analysen ble deretter konvertert til vinkler (se Metoder) og plottet mot objektets posisjon: usikkerheten i den målte ITD økte med avstand og vinkel til objektet (Fig. 2e,f). Hovedproblemet er topp-til-støy-forholdet (PNR) i pMUT-responsen. Jo lengre objektet er, desto lavere er det akustiske signalet, og dermed reduseres PNR (fig. 2f, grønn linje). En nedgang i PNR fører til en økning i usikkerhet i ITD-estimatet, noe som resulterer i en økning i lokaliseringsnøyaktighet (fig. 2f, blå linje). For et objekt i en avstand på 50 cm fra senderen er vinkelnøyaktigheten til systemet omtrent 10°. Denne begrensningen pålagt av egenskapene til sensoren kan forbedres. For eksempel kan trykket som sendes av emitteren økes, og dermed øke spenningen som driver pMUT-membranen. En annen løsning for å forsterke det overførte signalet er å koble sammen flere sendere 56. Disse løsningene vil øke deteksjonsområdet på bekostning av økte energikostnader. Ytterligere forbedringer kan gjøres på mottakersiden. pMUTs mottakerstøygulv kan reduseres betydelig ved å forbedre forbindelsen mellom pMUT og førstetrinnsforsterkeren, noe som i dag gjøres med ledningsforbindelser og RJ45-kabler.
et bilde av en pMUT-krystall med seks 880 µm membraner integrert med 1,5 mm stigning. b Diagram over måleoppsettet. Målet er plassert i asimutposisjon θ og i avstand D. pMUT-senderen genererer et 117,6 kHz-signal som spretter av målet og når to pMUT-mottakere med ulik flytid (ToF). Denne forskjellen, definert som den inter-aurale tidsforskjellen (ITD), koder for posisjonen til et objekt og kan estimeres ved å estimere toppresponsen til de to mottakersensorene. c Skjematisk over forbehandlingstrinn for å konvertere det rå pMUT-signalet til spikesekvenser (dvs. input til den nevromorfe beregningsgrafen). pMUT-sensorene og nevromorfe beregningsgrafer er produsert og testet, og den nevromorfe forprosesseringen er basert på programvaresimulering. d Respons av pMUT-membranen ved mottak av et signal og dets transformasjon til et spikedomene. e Eksperimentell lokalisering vinkelnøyaktighet som en funksjon av objektvinkel (Θ) og avstand (D) til målobjektet. ITD-ekstraksjonsmetoden krever en minimumsvinkeloppløsning på ca. 4°C. f Vinkelnøyaktighet (blå linje) og tilsvarende topp-til-støy-forhold (grønn linje) kontra objektavstand for Θ = 0.
Resistivt minne lagrer informasjon i en ikke-flyktig ledende tilstand. Det grunnleggende prinsippet for metoden er at modifikasjonen av materialet på atomnivå forårsaker en endring i dets elektriske ledningsevne57. Her bruker vi et oksidbasert resistivt minne som består av et 5nm lag med hafniumdioksid klemt mellom topp og bunn titan- og titannitridelektroder. Konduktiviteten til RRAM-enheter kan endres ved å bruke en strøm/spenningsbølgeform som skaper eller bryter ledende filamenter av oksygenvakanser mellom elektrodene. Vi co-integrerte slike enheter58 i en standard 130 nm CMOS-prosess for å lage en fabrikkert rekonfigurerbar nevromorf krets som implementerer en tilfeldighetsdetektor og en forsinkelseslinjekrets (fig. 3a). Den ikke-flyktige og analoge naturen til enheten, kombinert med den hendelsesdrevne naturen til den nevromorfe kretsen, minimerer strømforbruket. Kretsen har en øyeblikkelig av/på-funksjon: den fungerer umiddelbart etter at den er slått på, slik at strømmen kan slås helt av når kretsen er inaktiv. Hovedbyggesteinene i den foreslåtte ordningen er vist i fig. 3b. Den består av N parallelle enkelt-motstand enkelt-transistor (1T1R) strukturer som koder for synaptiske vekter som vektede strømmer tas fra, injiseres inn i den felles synapsen til en differensialparintegrator (DPI)59, og til slutt injiseres i synapsen med integrasjon og lekkasje. aktivert (LIF) nevron 60 (se Metoder for detaljer). Inngangsstøtene påføres porten til 1T1R-strukturen i form av en sekvens av spenningspulser med en varighet i størrelsesorden hundrevis av nanosekunder. Resistivt minne kan plasseres i en høy ledende tilstand (HCS) ved å bruke en ekstern positiv referanse til Vtop når Vbottom er jordet, og tilbakestille til en lav ledende tilstand (LCS) ved å påføre en positiv spenning til Vbottom når Vtop er jordet. Gjennomsnittsverdien til HCS kan kontrolleres ved å begrense programmeringsstrømmen (compliance) til SET (ICC) med portkildespenningen til serietransistoren (fig. 3c). Funksjonene til RRAM i kretsen er todelt: de styrer og vekter inngangspulsene.
Skanneelektronmikroskop (SEM) bilde av en blå HfO2 1T1R RRAM-enhet integrert i 130 nm CMOS-teknologi med velgertransistorer (650 nm brede) i grønt. b Grunnleggende byggeklosser i det foreslåtte nevromorfe skjemaet. Inngangsspenningspulsene (toppene) Vin0 og Vin1 bruker strøm Iweight, som er proporsjonal med ledningstilstandene G0 og G1 til 1T1R-strukturen. Denne strømmen injiseres i DPI-synapsene og begeistrer LIF-nevronene. RRAM G0 og G1 er installert i henholdsvis HCS og LCS. c Funksjon av kumulativ konduktanstetthet for en gruppe 16K RRAM-enheter som en funksjon av ICC-strømtilpasning, som effektivt kontrollerer ledningsnivået. d Kretsmålinger i (a) som viser at G1 (i LCS) effektivt blokkerer inngang fra Vin1 (grønn), og faktisk reagerer utgangsnevronens membranspenning bare på den blå inngangen fra Vin0. RRAM bestemmer effektivt forbindelsene i kretsen. e Måling av kretsen i (b) som viser effekten av konduktansverdien G0 på membranspenningen Vmem etter påføring av en spenningspuls Vin0. Jo mer konduktans, desto sterkere er responsen: RRAM-enheten implementerer derfor I/O-tilkoblingsvekting. Målinger ble gjort på kretsen og demonstrerer den doble funksjonen til RRAM, ruting og vekting av inngangspulser.
For det første, siden det er to grunnleggende ledningstilstander (HCS og LCS), kan RRAM-er blokkere eller gå glipp av inngangspulser når de er i henholdsvis LCS- eller HCS-tilstandene. Som et resultat bestemmer RRAM effektivt forbindelsene i kretsen. Dette er grunnlaget for å kunne rekonfigurere arkitekturen. For å demonstrere dette vil vi beskrive en fabrikkert kretsimplementering av kretsblokken i fig. 3b. RRAM som tilsvarer GO er programmert inn i HCS, og den andre RRAM G1 er programmert inn i LCS. Inngangspulser påføres både Vin0 og Vin1. Effektene av to sekvenser av inngangspulser ble analysert i utgangsnevronene ved å samle nevronmembranspenningen og utgangssignalet ved hjelp av et oscilloskop. Eksperimentet var vellykket da bare HCS-enheten (G0) ble koblet til nevronets puls for å stimulere membranspenning. Dette er demonstrert i figur 3d, der det blå pulstoget får membranspenningen til å bygge seg opp på membrankondensatoren, mens det grønne pulstoget holder membranspenningen konstant.
Den andre viktige funksjonen til RRAM er implementeringen av tilkoblingsvekter. Ved å bruke RRAMs analoge konduktansjustering kan I/O-forbindelser vektes tilsvarende. I det andre eksperimentet ble G0-enheten programmert til forskjellige nivåer av HCS, og inngangspulsen ble tilført VIn0-inngangen. Inngangspulsen trekker en strøm (Iweight) fra enheten, som er proporsjonal med konduktansen og det tilsvarende potensialfallet Vtop − Vbot. Denne vektede strømmen injiseres deretter i DPI-synapsene og LIF-utgangsneuronene. Membranspenningen til utgangsnevronene ble registrert ved hjelp av et oscilloskop og vist i fig. 3d. Spenningstoppen til nevronmembranen som respons på en enkelt inngangspuls er proporsjonal med konduktansen til det resistive minnet, noe som viser at RRAM kan brukes som et programmerbart element med synaptisk vekt. Disse to foreløpige testene viser at den foreslåtte RRAM-baserte nevromorfe plattformen er i stand til å implementere de grunnleggende elementene i den grunnleggende Jeffress-mekanismen, nemlig forsinkelseslinjen og tilfeldighetsdetektorkretsen. Kretsplattformen er bygget ved å stable påfølgende blokker side ved side, slik som blokkene i figur 3b, og koble deres porter til en felles inngangslinje. Vi designet, produserte og testet en nevromorf plattform bestående av to utgangsneuroner som mottar to innganger (fig. 4a). Kretsskjemaet er vist i figur 4b. Den øvre 2 × 2 RRAM-matrisen gjør at inngangspulser kan rettes til to utgående nevroner, mens den nedre 2 × 2-matrisen tillater tilbakevendende koblinger av to nevroner (N0, N1). Vi demonstrerer at denne plattformen kan brukes med en forsinkelseslinjekonfigurasjon og to forskjellige tilfeldighetsdetektorfunksjoner, som vist ved eksperimentelle målinger i fig. 4c-e.
Kretsdiagram dannet av to utgangsnevroner N0 og N1 som mottar to innganger 0 og 1. De fire øverste enhetene i arrayet definerer synaptiske forbindelser fra inngang til utgang, og de fire nederste cellene definerer tilbakevendende forbindelser mellom nevroner. De fargede RRAM-ene representerer enhetene som er konfigurert i HCS til høyre: enhetene i HCS tillater tilkoblinger og representerer vekter, mens enhetene i LCS blokkerer inngangspulser og deaktiverer tilkoblinger til utganger. b Diagram av krets (a) med åtte RRAM-moduler uthevet i blått. c Forsinkelseslinjer dannes ved ganske enkelt å bruke dynamikken til DPI-synapser og LIF-neuroner. Den grønne RRAM er satt til konduktans høy nok til å kunne indusere en feil ved utgangen etter inngangsforsinkelsen Δt. d Skjematisk illustrasjon av retningsufølsom CD-deteksjon av tidsavhengige signaler. Utgangsnevron 1, N1, skytes på innganger 0 og 1 med en kort forsinkelse. e Retningssensitiv CD-krets, en krets som oppdager når inngang 1 nærmer seg inngang 0 og kommer etter inngang 0. Utgangen til kretsen er representert av nevron 1 (N1).
Forsinkelseslinjen (Figur 4c) bruker ganske enkelt den dynamiske oppførselen til DPI-synapser og LIF-neuroner for å reprodusere inngangspiken fra Vin1 til Vout1 ved å forsinke Tdel. Bare G3 RRAM koblet til Vin1 og Vout1 er programmert i HCS, resten av RRAM er programmert i LCS. G3-enheten ble programmert til 92,6 µs for å sikre at hver inngangspuls øker membranspenningen til utgangsneuronen tilstrekkelig til å nå terskelen og generere en forsinket utgangspuls. Forsinkelsen Tdel bestemmes av de synaptiske og nevrale tidskonstantene. Tilfeldighetsdetektorer oppdager forekomsten av tidsmessig korrelerte, men romlig fordelte inngangssignaler. Retningsufølsom CD er avhengig av individuelle innganger som konvergerer til et felles utgangsnevron (figur 4d). De to RRAM-ene som kobler Vin0 og Vin1 til henholdsvis Vout1, G2 og G4 er programmert for høy ledning. Samtidig ankomst av pigger på Vin0 og Vin1 øker spenningen til N1-nevronmembranen over terskelen som kreves for å generere utgangsspiken. Hvis de to inngangene er for langt fra hverandre i tid, kan ladningen på membranspenningen akkumulert av den første inngangen ha tid til å avta, og hindre membranpotensialet N1 i å nå terskelverdien. G1 og G2 er programmert til omtrent 65 µs, noe som sikrer at en enkelt inngangsstøt ikke øker membranspenningen nok til å forårsake en utgangsstøt. Tilfeldighetsdeteksjon mellom hendelser fordelt i rom og tid er en grunnleggende operasjon som brukes i et bredt spekter av sanseoppgaver som for eksempel optisk flytbasert hindring unngåelse og lydkildelokalisering. Derfor er dataretningsfølsomme og ufølsomme CD-er en grunnleggende byggestein for å konstruere visuelle og lydlokaliseringssystemer. Som vist av egenskapene til tidskonstantene (se tilleggsfigur 2), implementerer den foreslåtte kretsen et passende område på fire størrelsesordener tidsskalaer. Dermed kan den samtidig oppfylle kravene til visuelle og lydsystemer. Retningsfølsom CD er en krets som er følsom for den romlige rekkefølgen for ankomst av pulser: fra høyre til venstre og omvendt. Det er en grunnleggende byggestein i det grunnleggende bevegelsesdeteksjonsnettverket til Drosophila visuelle system, brukt til å beregne bevegelsesretninger og oppdage kollisjoner62. For å oppnå en retningssensitiv CD må to innganger rettes til to forskjellige nevroner (N0, N1) og det må etableres en retningsforbindelse mellom dem (fig. 4e). Når den første inngangen mottas, reagerer NO ved å øke spenningen over membranen over terskelverdien og sende ut en støt. Denne utgangshendelsen utløser på sin side N1 takket være retningsforbindelsen uthevet i grønt. Hvis en inngangshendelse Vin1 ankommer og energiserer N1 mens membranspenningen fortsatt er høy, genererer N1 en utgangshendelse som indikerer at det er funnet samsvar mellom de to inngangene. Retningsforbindelser lar N1 bare gi ut utgang hvis inngang 1 kommer etter inngang 0. G0, G3 og G7 er programmert til henholdsvis 73,5 µS, 67,3 µS og 40,2 µS, noe som sikrer at en enkelt spike på inngangen Vin0 forårsaker en forsinket utgangsspike, mens N1s membranpotensial bare når terskelen når begge innganger serier kommer synkronisert. .
Variabilitet er en kilde til ufullkommenhet i modellerte nevromorfe systemer63,64,65. Dette fører til heterogen oppførsel av nevroner og synapser. Eksempler på slike ulemper inkluderer 30 % (gjennomsnittlig standardavvik) variasjon i inngangsforsterkning, tidskonstant og refraktærperiode, for å nevne noen få (se Metoder). Dette problemet er enda mer uttalt når flere nevrale kretser er koblet sammen, for eksempel en orienteringssensitiv CD som består av to nevroner. For å fungere riktig, bør forsterknings- og forfallstidskonstantene til de to nevronene være så like som mulig. For eksempel kan en stor forskjell i inngangsforsterkning føre til at en nevron overreagerer på en inngangspuls mens den andre nevronen knapt reagerer. På fig. Figur 5a viser at tilfeldig valgte nevroner reagerer forskjellig på den samme inngangspulsen. Denne nevrale variabiliteten er relevant, for eksempel for funksjonen til retningsfølsomme CD-er. I skjemaet vist i fig. 5b, c, er inngangsforsterkningen til nevron 1 mye høyere enn for nevron 0. Nevron 0 krever således tre inngangspulser (i stedet for 1) for å nå terskelen, og nevron 1 trenger som forventet to inngangshendelser. Implementering av spike-tidsavhengig biomimetisk plastisitet (STDP) er en mulig måte å redusere virkningen av upresise og trege nevrale og synaptiske kretser på systemytelsen43. Her foreslår vi å bruke den plastiske oppførselen til resistivt minne som et middel til å påvirke forbedringen av nevrale input og redusere effekten av variasjon i nevromorfe kretser. Som vist i fig. 4e, modulerte konduktansnivåer assosiert med RRAM synaptisk masse effektivt den tilsvarende nevrale membranspenningsresponsen. Vi bruker en iterativ RRAM-programmeringsstrategi. For en gitt inngang blir konduktansverdiene til de synaptiske vektene omprogrammert til måloppførselen til kretsen er oppnådd (se Metoder).
a Eksperimentelle målinger av responsen til ni tilfeldig utvalgte individuelle nevroner på samme inngangspuls. Responsen varierer på tvers av populasjoner, og påvirker inputforsterkning og tidskonstant. b Eksperimentelle målinger av påvirkning av nevroner på variabiliteten til nevroner som påvirker retningsfølsom CD. De to retningsfølsomme CD-utgangsnevronene reagerer forskjellig på inputstimuli på grunn av nevron-til-nevron-variabilitet. Neuron 0 har en lavere inngangsforsterkning enn nevron 1, så det tar tre inngangspulser (i stedet for 1) for å lage en utgangsspike. Som forventet når nevron 1 terskelen med to inngangshendelser. Hvis inngang 1 kommer Δt = 50 µs etter at nevron 0 avfyrer, forblir CD stille fordi Δt er større enn tidskonstanten til nevron 1 (omtrent 22 µs). c reduseres med Δt = 20 µs, slik at inngang 1 topper seg når nevron 1s avfyring fortsatt er høy, noe som resulterer i samtidig deteksjon av to inngangshendelser.
De to elementene som brukes i ITD-beregningskolonnen er forsinkelseslinjen og den retningsufølsomme CDen. Begge kretsene krever presis kalibrering for å sikre god objektposisjoneringsytelse. Forsinkelseslinjen må levere en presist forsinket versjon av inngangstoppen (fig. 6a), og CD-en må bare aktiveres når inngangen faller innenfor måldeteksjonsområdet. For forsinkelseslinjen ble de synaptiske vektene til inngangsforbindelsene (G3 i fig. 4a) omprogrammert inntil målforsinkelsen ble oppnådd. Sett en toleranse rundt målforsinkelsen for å stoppe programmet: jo mindre toleransen er, desto vanskeligere er det å sette forsinkelseslinjen. På fig. Figur 6b viser resultatene av forsinkelseslinjekalibreringsprosessen: det kan sees at det foreslåtte opplegget nøyaktig kan gi alle forsinkelsene som kreves i designskjemaet (fra 10 til 300 μs). Maksimalt antall kalibreringsiterasjoner påvirker kvaliteten på kalibreringsprosessen: 200 iterasjoner kan redusere feilen til mindre enn 5 %. Én kalibreringsiterasjon tilsvarer en innstillings-/tilbakestillingsoperasjon av en RRAM-celle. Innstillingsprosessen er også avgjørende for å forbedre nøyaktigheten til CD-modulens øyeblikkelig lukkehendelse. Det tok ti kalibreringsiterasjoner for å oppnå en sann positiv rate (dvs. frekvensen av hendelser korrekt identifisert som relevant) over 95 % (blå linje i figur 6c). Justeringsprosessen påvirket imidlertid ikke falske positive hendelser (det vil si frekvensen av hendelser som feilaktig ble identifisert som relevante). En annen metode som er observert i biologiske systemer for å overvinne tidsbegrensningene til hurtigaktiverende veier er redundans (det vil si at mange kopier av det samme objektet brukes til å utføre en gitt funksjon). Inspirert av biology66 plasserte vi flere CD-kretser i hver CD-modul mellom de to forsinkelseslinjene for å redusere virkningen av falske positiver. Som vist i fig. 6c (grønn linje), kan å plassere tre CD-elementer i hver CD-modul redusere antallet falske alarmer til mindre enn 10–2.
a Effekt av nevronal variabilitet på forsinkelseslinjekretser. b Forsinkelseslinjekretser kan skaleres til store forsinkelser ved å sette tidskonstantene til de tilsvarende LIF-nevronene og DPI-synapsene til store verdier. Å øke antall iterasjoner av RRAM-kalibreringsprosedyren gjorde det mulig å forbedre nøyaktigheten til målforsinkelsen betydelig: 200 iterasjoner reduserte feilen til mindre enn 5 %. En iterasjon tilsvarer en SET/RESET-operasjon på en RRAM-celle. Hver CD-modul i c Jeffress-modellen kan implementeres ved å bruke N parallelle CD-elementer for større fleksibilitet med hensyn til systemfeil. d Flere RRAM-kalibreringsiterasjoner øker den sanne positive frekvensen (blå linje), mens den falske positive frekvensen er uavhengig av antall iterasjoner (grønn linje). Plassering av flere CD-elementer parallelt unngår falsk gjenkjenning av CD-modulmatcher.
Vi evaluerer nå ytelsen og strømforbruket til det ende-til-ende integrerte objektlokaliseringssystemet vist i figur 2 ved å bruke målinger av de akustiske egenskapene til pMUT-sensoren, CD-en og forsinkelseslinjekretsene som utgjør den nevromorfe databehandlingsgrafen. Jeffress-modell (fig. 1a). Når det gjelder den nevromorfe databehandlingsgrafen, jo større antall CD-moduler, desto bedre er vinkeloppløsningen, men også jo høyere energi er systemet (fig. 7a). Et kompromiss kan oppnås ved å sammenligne nøyaktigheten til individuelle komponenter (pMUT-sensorer, nevroner og synaptiske kretsløp) med nøyaktigheten til hele systemet. Oppløsningen til forsinkelseslinjen er begrenset av tidskonstantene til de simulerte synapsene og nevronene, som i vårt skjema overstiger 10 µs, som tilsvarer en vinkeloppløsning på 4° (se Metoder). Mer avanserte noder med CMOS-teknologi vil tillate utforming av nevrale og synaptiske kretser med lavere tidskonstanter, noe som resulterer i høyere nøyaktighet av forsinkelseslinjeelementene. I vårt system er imidlertid nøyaktigheten begrenset av feilen pMUT ved estimering av vinkelposisjonen, dvs. 10° (blå horisontal linje i fig. 7a). Vi fastsatte antallet CD-moduler til 40, som tilsvarer en vinkeloppløsning på ca. 4°, dvs. vinkelnøyaktigheten til beregningsgrafen (lyseblå horisontal linje i fig. 7a). På systemnivå gir dette en oppløsning på 4° og en nøyaktighet på 10° for objekter som befinner seg 50 cm foran sensorsystemet. Denne verdien er sammenlignbar med de nevromorfe lydlokaliseringssystemene rapportert i ref. 67. En sammenligning av det foreslåtte systemet med teknikkens stand finnes i tilleggstabell 1. Å legge til ytterligere pMUT-er, øke det akustiske signalnivået og redusere elektronisk støy er mulige måter å forbedre lokaliseringsnøyaktigheten ytterligere. ) er beregnet til 9,7. nz. 55. Gitt 40 CD-enheter på beregningsgrafen, estimerte SPICE-simuleringen energien per operasjon (dvs. objektposisjoneringsenergi) til å være 21,6 nJ. Det nevromorfe systemet aktiveres kun når en inngangshendelse kommer, dvs. når en akustisk bølge når en hvilken som helst pMUT-mottaker og overskrider deteksjonsterskelen, ellers forblir den inaktiv. Dette unngår unødvendig strømforbruk når det ikke er noe inngangssignal. Tatt i betraktning en frekvens for lokaliseringsoperasjoner på 100 Hz og en aktiveringsperiode på 300 µs per operasjon (maksimalt mulig ITD), er strømforbruket til den nevromorfe databehandlingsgrafen 61,7 nW. Med nevromorf forbehandling brukt på hver pMUT-mottaker, når strømforbruket til hele systemet 81,6 nW. For å forstå energieffektiviteten til den foreslåtte nevromorfe tilnærmingen sammenlignet med konvensjonell maskinvare, sammenlignet vi dette tallet med energien som kreves for å utføre den samme oppgaven på en moderne mikrokontroller med lav effekt ved bruk av enten nevromorf eller konvensjonell stråleforming68 Skill. Den nevromorfe tilnærmingen vurderer et analog-til-digital omformer (ADC) trinn, etterfulgt av et båndpassfilter og et konvoluttekstraksjonstrinn (Teeger-Kaiser-metoden). Til slutt utføres en terskeloperasjon for å trekke ut ToF. Vi har utelatt beregningen av ITD basert på ToF og konverteringen til estimert vinkelposisjon siden dette skjer én gang for hver måling (se Metoder). Forutsatt en samplingshastighet på 250 kHz på begge kanaler (pMUT-mottakere), 18 båndpassfilteroperasjoner, 3 envelope-ekstraksjonsoperasjoner og 1 terskeloperasjon per sample, er det totale strømforbruket estimert til 245 mikrowatt. Denne bruker mikrokontrollerens laveffektmodus69, som slås på når algoritmene ikke kjører, noe som reduserer strømforbruket til 10,8 µW. Strømforbruket til den stråleformende signalbehandlingsløsningen foreslått i referansen. 31, med 5 pMUT-mottakere og 11 stråler jevnt fordelt i asimutplanet [-50°, +50°], er 11,71 mW (se metodeseksjonen for detaljer). I tillegg rapporterer vi strømforbruket til en FPGA47-basert Time Difference Encoder (TDE) estimert til 1,5 mW som en erstatning for Jeffress-modellen for objektlokalisering. Basert på disse estimatene, reduserer den foreslåtte nevromorfe tilnærmingen strømforbruket med fem størrelsesordener sammenlignet med en mikrokontroller som bruker klassiske stråleformingsteknikker for objektlokaliseringsoperasjoner. Ved å ta i bruk en nevromorf tilnærming til signalbehandling på en klassisk mikrokontroller reduseres strømforbruket med omtrent to størrelsesordener. Effektiviteten til det foreslåtte systemet kan forklares med kombinasjonen av en asynkron resistiv-minne analog krets som er i stand til å utføre in-memory beregninger og mangelen på analog-til-digital konvertering som kreves for å oppfatte signaler.
a Vinkeloppløsning (blå) og strømforbruk (grønn) for lokaliseringsoperasjonen avhengig av antall CD-moduler. Den mørkeblå horisontale linjen representerer vinkelnøyaktigheten til PMUT og den lyseblå horisontale linjen representerer vinkelnøyaktigheten til den nevromorfe beregningsgrafen. b Strømforbruk for det foreslåtte systemet og sammenligning med de to diskuterte mikrokontrollerimplementeringene og digital implementering av Time Difference Encoder (TDE)47 FPGA.
For å minimere strømforbruket til mållokaliseringssystemet, utviklet, designet og implementerte vi en effektiv, hendelsesdrevet RRAM-basert nevromorf krets som behandler signalinformasjonen generert av de innebygde sensorene for å beregne posisjonen til målobjektet i virkeligheten. tid. . Mens tradisjonelle behandlingsmetoder kontinuerlig sampler oppdagede signaler og utfører beregninger for å trekke ut nyttig informasjon, utfører den foreslåtte nevromorfe løsningen beregninger asynkront etter hvert som nyttig informasjon kommer, og maksimerer systemets strømeffektivitet med fem størrelsesordener. I tillegg fremhever vi fleksibiliteten til RRAM-baserte nevromorfe kretser. RRAMs evne til å endre konduktans på en ikke-flyktig måte (plastisitet) kompenserer for den iboende variasjonen til analoge DPIs synaptiske og nevrale kretser med ultralav effekt. Dette gjør denne RRAM-baserte kretsen allsidig og kraftig. Målet vårt er ikke å trekke ut komplekse funksjoner eller mønstre fra signaler, men å lokalisere objekter i sanntid. Systemet vårt kan også effektivt komprimere signalet og til slutt sende det til videre behandlingstrinn for å ta mer komplekse beslutninger når det er nødvendig. I sammenheng med lokaliseringsapplikasjoner kan vårt nevromorfe forbehandlingstrinn gi informasjon om plasseringen av objekter. Denne informasjonen kan for eksempel brukes til bevegelsesdeteksjon eller gestgjenkjenning. Vi understreker viktigheten av å kombinere ultralaveffektsensorer som pMUTs med ultralaveffektselektronikk. For dette har nevromorfe tilnærminger vært nøkkelen da de har ført oss til å utvikle nye kretsimplementeringer av biologisk inspirerte beregningsmetoder som Jeffress-modellen. I sammenheng med sensorfusjonsapplikasjoner kan systemet vårt kombineres med flere forskjellige hendelsesbaserte sensorer for å få mer nøyaktig informasjon. Selv om ugler er gode til å finne byttedyr i mørket, har de utmerket syn og utfører et kombinert auditivt og visuelt søk før de fanger byttedyr70. Når en bestemt auditiv nevron avfyrer, mottar uglen informasjonen den trenger for å bestemme i hvilken retning den skal starte sitt visuelle søk, og fokuserer dermed oppmerksomheten på en liten del av den visuelle scenen. En kombinasjon av visuelle sensorer (DVS-kamera) og en foreslått lyttesensor (basert på pMUT) bør utforskes for utvikling av fremtidige autonome agenter.
pMUT-sensoren er plassert på et PCB med to mottakere ca. 10 cm fra hverandre, og senderen er plassert mellom mottakerne. I dette arbeidet er hver membran en suspendert bimorf struktur bestående av to lag med piezoelektrisk aluminiumnitrid (AlN) 800 nm tykt klemt mellom tre lag med molybden (Mo) 200 nm tykt og belagt med et lag 200 nm tykt. det øverste passiverende SiN-laget som beskrevet i referansen. 71. De indre og ytre elektrodene påføres bunn- og topplaget av molybden, mens den midtre molybdenelektroden er umønstret og brukes som jord, noe som resulterer i en membran med fire par elektroder.
Denne arkitekturen tillater bruk av en felles membrandeformasjon, noe som resulterer i forbedret sende- og mottaksfølsomhet. En slik pMUT viser typisk en eksitasjonsfølsomhet på 700 nm/V som en emitter, og gir et overflatetrykk på 270 Pa/V. Som mottaker viser en pMUT-film en kortslutningsfølsomhet på 15 nA/Pa, som er direkte relatert til den piezoelektriske koeffisienten til AlN. Den tekniske variasjonen av spenningen i AlN-laget fører til en endring i resonansfrekvensen, som kan kompenseres ved å påføre en DC-bias til pMUT. DC-følsomhet ble målt til 0,5 kHz/V. For akustisk karakterisering brukes en mikrofon foran pMUT.
For å måle ekkopulsen plasserte vi en rektangulær plate med et areal på omtrent 50 cm2 foran pMUT for å reflektere de utsendte lydbølgene. Både avstanden mellom platene og vinkelen i forhold til pMUT-planet styres ved hjelp av spesielle holdere. En Tectronix CPX400DP spenningskilde forspenner tre pMUT-membraner, og justerer resonansfrekvensen til 111,9 kHz31, mens senderne drives av en Tectronix AFG 3102 pulsgenerator innstilt til resonansfrekvensen (111,9 kHz) på 1,0 kHz. Strømmene som leses fra de fire utgangsportene til hver pMUT-mottaker konverteres til spenninger ved hjelp av en spesiell differensialstrøm- og spenningsarkitektur, og de resulterende signalene digitaliseres av Spektrums datainnsamlingssystem. Deteksjonsgrensen ble preget av pMUT-signalinnsamling under forskjellige forhold: vi flyttet reflektoren til forskjellige avstander [30, 40, 50, 60, 80, 100] cm og endret pMUT-støttevinkelen ([0, 20, 40] o ) Figur 2b viser den tidsmessige ITD-deteksjonsoppløsningen avhengig av den tilsvarende vinkelposisjonen i grader.
Denne artikkelen bruker to forskjellige RRAM-kretser. Den første er en rekke av 16 384 (16 000) enheter (128 × 128 enheter) i en 1T1R-konfigurasjon med en transistor og en motstand. Den andre brikken er den nevromorfe plattformen vist i fig. 4a. RRAM-cellen består av en 5 nm tykk HfO2-film innebygd i en TiN/HfO2/Ti/TiN-stabel. RRAM-stakken er integrert i back-of-line (BEOL) av standard 130nm CMOS-prosessen. RRAM-baserte nevromorfe kretser utgjør en designutfordring for helt analoge elektroniske systemer der RRAM-enheter sameksisterer med tradisjonell CMOS-teknologi. Spesielt må ledningstilstanden til RRAM-enheten leses og brukes som funksjonsvariabel for systemet. For dette formål ble en krets designet, produsert og testet som leser strømmen fra enheten når en inngangspuls mottas og bruker denne strømmen til å vekte responsen til en differensialparintegrator (DPI) synapse. Denne kretsen er vist i figur 3a, som representerer de grunnleggende byggesteinene til den nevromorfe plattformen i figur 4a. En inngangspuls aktiverer porten til 1T1R-enheten, og induserer en strøm gjennom RRAM proporsjonal med enhetens konduktans G (Iweight = G(Vtop – Vx)). Den inverterende inngangen til operasjonsforsterkeren (op-amp) kretsen har en konstant likespenning Vtop. Op-ampens negative tilbakemelding vil gi Vx = Vtop ved å gi lik strøm fra M1. Gjeldende Iweight hentet fra enheten injiseres i DPI-synapsen. En sterkere strøm vil resultere i mer depolarisering, så RRAM-konduktans implementerer effektivt synaptiske vekter. Denne eksponentielle synaptiske strømmen injiseres gjennom membrankondensatoren til Leaky Integration and Excitation (LIF) nevronene, hvor den er integrert som en spenning. Hvis terskelspenningen til membranen (svitsjespenningen til omformeren) overvinnes, aktiveres utgangsdelen av nevronet, og produserer en utgangsspike. Denne pulsen går tilbake og shunter nevronets membrankondensator til jord, noe som får den til å utlades. Denne kretsen blir deretter supplert med en pulsekspander (ikke vist i fig. 3a), som former utgangspulsen til LIF-neuronen til målpulsbredden. Multipleksere er også innebygd i hver linje, slik at spenning kan påføres topp- og bunnelektrodene til RRAM-enheten.
Elektrisk testing inkluderer å analysere og registrere den dynamiske oppførselen til analoge kretser, samt programmere og lese RRAM-enheter. Begge trinn krever spesialverktøy, som alle er koblet til sensorkortet samtidig. Tilgang til RRAM-enheter i nevromorfe kretser utføres fra eksterne verktøy gjennom en multiplekser (MUX). MUX skiller 1T1R-cellen fra resten av kretsen som den tilhører, slik at enheten kan leses og/eller programmeres. For å programmere og lese RRAM-enheter brukes en Keithley 4200 SCS-maskin sammen med en Arduino-mikrokontroller: den første for nøyaktig pulsgenerering og strømavlesning, og den andre for rask tilgang til individuelle 1T1R-elementer i minnearrayen. Den første operasjonen er å danne RRAM-enheten. Cellene velges en etter en og en positiv spenning påføres mellom topp- og bunnelektrodene. I dette tilfellet er strømmen begrenset til størrelsesorden titalls mikroampere på grunn av tilførselen av den tilsvarende portspenningen til velgertransistoren. RRAM-cellen kan deretter sykle mellom en lav ledende tilstand (LCS) og en høy ledende tilstand (HCS) ved å bruke henholdsvis RESET og SET operasjoner. SET-operasjonen utføres ved å påføre en rektangulær spenningspuls med en varighet på 1 μs og en toppspenning på 2,0-2,5 V til den øvre elektroden, og en synkroniseringspuls av lignende form med en toppspenning på 0,9-1,3 V til porten til velgertransistoren. Disse verdiene tillater modulering av RRAM-konduktans med 20-150 µs intervaller. For RESET påføres en 1 µs bred, 3 V topppuls til bunnelektroden (bitlinjen) i cellen når portspenningen er i området 2,5-3,0 V. Inn- og utgangene til de analoge kretsene er dynamiske signaler . For input interleaved vi to HP 8110 pulsgeneratorer med Tektronix AFG3011 signalgeneratorer. Inngangspulsen har en bredde på 1 µs og en stige/fallkant på 50 ns. Denne typen puls antas å være en typisk feil i analoge glitchbaserte kretser. Når det gjelder utgangssignalet, ble utgangssignalet registrert ved hjelp av et Teledyne LeCroy 1 GHz oscilloskop. Innsamlingshastigheten til et oscilloskop har vist seg å ikke være en begrensende faktor i analysen og innsamlingen av kretsdata.
Å bruke dynamikken til analog elektronikk for å simulere oppførselen til nevroner og synapser er en elegant og effektiv løsning for å forbedre beregningseffektiviteten. Ulempen med dette beregningsbaserte underlaget er at det vil variere fra opplegg til opplegg. Vi kvantifiserte variabiliteten til nevroner og synaptiske kretsløp (Supplerende Fig. 2a,b). Av alle manifestasjoner av variabilitet har de assosiert med tidskonstanter og inngangsforsterkning størst innvirkning på systemnivå. Tidskonstanten til LIF-nevronet og DPI-synapsen bestemmes av en RC-krets, der verdien av R styres av en forspenning påført transistorens port (Vlk for nevronet og Vtau for synapsen), som bestemmer lekkasjehastighet. Input gain er definert som toppspenningen nådd av de synaptiske og neuronale membrankondensatorene stimulert av en inngangspuls. Inngangsforsterkningen styres av en annen forspenningstransistor som modulerer inngangsstrømmen. En Monte Carlo-simulering kalibrert på ST Microelectronics' 130nm-prosess ble utført for å samle inn noe inngangsforsterkning og tidskonstantstatistikk. Resultatene er presentert i tilleggsfigur 2, hvor inngangsforsterkningen og tidskonstanten kvantifiseres som en funksjon av forspenningen som styrer lekkasjehastigheten. Grønne markører kvantifiserer standardavviket til tidskonstanten fra gjennomsnittet. Både nevroner og synaptiske kretser var i stand til å uttrykke et bredt spekter av tidskonstanter i området 10-5-10-2 s, som vist i Supplerende Fig.-skjema. Inputamplifikasjon (tilleggsfigur 2e,d) av nevronal og synapsevariabilitet var henholdsvis ca. 8 % og 3 %. En slik mangel er godt dokumentert i litteraturen: forskjellige målinger ble utført på utvalget av DYNAP-brikker for å vurdere misforholdet mellom populasjoner av LIF63-nevroner. Synapsene i BrainScale blandet signalbrikke ble målt og deres inkonsekvens analysert, og en kalibreringsprosedyre ble foreslått for å redusere effekten av systemnivåvariabilitet64.
Funksjonen til RRAM i nevromorfe kretser er todelt: arkitekturdefinisjon (ruting av innganger til utganger) og implementering av synaptiske vekter. Sistnevnte egenskap kan brukes til å løse problemet med variabiliteten til de modellerte nevromorfe kretsene. Vi har utviklet en enkel kalibreringsprosedyre som innebærer omprogrammering av RRAM-enheten til kretsen som analyseres oppfyller visse krav. For en gitt inngang overvåkes utgangen og RRAM omprogrammeres til måloppførselen er oppnådd. En ventetid på 5 s ble introdusert mellom programmeringsoperasjoner for å løse problemet med RRAM-avslapning som resulterte i transiente konduktansfluktuasjoner (tilleggsinformasjon). Synaptiske vekter justeres eller kalibreres i henhold til kravene til den nevromorfe kretsen som modelleres. Kalibreringsprosedyren er oppsummert i tilleggsalgoritmer [1, 2] som fokuserer på to grunnleggende funksjoner ved nevromorfe plattformer, forsinkelseslinjer og retningsufølsom CD. For en krets med en forsinkelseslinje er måloppførselen å gi en utgangspuls med en forsinkelse Δt. Hvis den faktiske kretsforsinkelsen er mindre enn målverdien, bør den synaptiske vekten til G3 reduseres (G3 bør tilbakestilles og deretter settes til en lavere matchende strøm Icc). Omvendt, hvis den faktiske forsinkelsen er større enn målverdien, må konduktansen til G3 økes (G3 må først tilbakestilles og deretter settes til en høyere Icc-verdi). Denne prosessen gjentas til forsinkelsen generert av kretsen samsvarer med målverdien og en toleranse er satt for å stoppe kalibreringsprosessen. For orienteringsufølsomme CD-er er to RRAM-enheter, G1 og G3, involvert i kalibreringsprosessen. Denne kretsen har to innganger, Vin0 og Vin1, forsinket med dt. Kretsen skal bare reagere på forsinkelser under samsvarsområdet [0,dtCD]. Hvis det ikke er noen utgangstopp, men inngangstoppen er nær, bør begge RRAM-enhetene forsterkes for å hjelpe nevronet med å nå terskelen. Omvendt, hvis kretsen reagerer på en forsinkelse som overskrider målområdet til dtCD, må konduktansen reduseres. Gjenta prosessen til riktig oppførsel er oppnådd. Samsvarsstrøm kan moduleres av den innebygde analoge kretsen i ref. 72,73. Med denne innebygde kretsen kan slike prosedyrer utføres med jevne mellomrom for å kalibrere systemet eller gjenbruke det til en annen applikasjon.
Vi evaluerer strømforbruket til vår nevromorfe signalbehandlingsmetode på en standard 32-bits mikrokontroller68. I denne evalueringen antar vi drift med samme oppsett som i denne artikkelen, med en pMUT-sender og to pMUT-mottakere. Denne metoden bruker et båndpassfilter, etterfulgt av et konvoluttekstraksjonstrinn (Teeger-Kaiser), og til slutt påføres en terskeloperasjon på signalet for å trekke ut flytiden. Beregningen av ITD og dens konvertering til deteksjonsvinkler er utelatt i evalueringen. Vi vurderer en båndpassfilterimplementering som bruker et 4. ordens uendelig impulsresponsfilter som krever 18 flytepunktoperasjoner. Konvoluttutvinning bruker ytterligere tre flyttalloperasjoner, og den siste operasjonen brukes til å angi terskelen. Det kreves totalt 22 flyttalloperasjoner for å forhåndsbehandle signalet. Det overførte signalet er en kort skur på 111,9 kHz sinusbølgeform generert hver 10. ms, noe som resulterer i en posisjoneringsdriftsfrekvens på 100 Hz. Vi brukte en samplingshastighet på 250 kHz for å overholde Nyquist og et 6 ms-vindu for hver måling for å fange et område på 1 meter. Merk at 6 millisekunder er flytetiden til et objekt som er 1 meter unna. Dette gir et strømforbruk på 180 µW for A/D-konvertering ved 0,5 MSPS. Signalforbehandling er 6,60 MIPS (instruksjoner per sekund), og genererer 0,75 mW. Imidlertid kan mikrokontrolleren bytte til en laveffektmodus 69 når algoritmen ikke kjører. Denne modusen gir et statisk strømforbruk på 10,8 μW og en vekketid på 113 μs. Gitt en klokkefrekvens på 84 MHz, fullfører mikrokontrolleren alle operasjoner av den nevromorfe algoritmen innen 10 ms, og algoritmen beregner en driftssyklus på 6,3 %, og bruker dermed en laveffektmodus. Den resulterende effekttapet er 244,7 μW. Merk at vi utelater ITD-utgangen fra ToF og konverteringen til deteksjonsvinkel, og undervurderer dermed strømforbruket til mikrokontrolleren. Dette gir merverdi for energieffektiviteten til det foreslåtte systemet. Som en ekstra sammenligningsbetingelse evaluerer vi strømforbruket til de klassiske stråleformingsmetodene foreslått i referansen. 31,54 når den er innebygd i samme mikrokontroller68 ved 1,8V forsyningsspenning. Fem jevnt fordelte pMUT-membraner brukes til å innhente data for stråleforming. Når det gjelder selve behandlingen, er stråleformingsmetoden som brukes forsinkelsessummering. Det består ganske enkelt av å legge på en forsinkelse på banene som tilsvarer forventet forskjell i ankomsttider mellom ett kjørefelt og referansebanen. Hvis signalene er i fase, vil summen av disse signalene ha høy energi etter en tidsforskyvning. Hvis de er ute av fase, vil destruktiv interferens begrense energien til summen deres. i et forhold. På fig. 31 velges en samplingshastighet på 2 MHz for å tidsforskyve dataene med et heltall av sampler. En mer beskjeden tilnærming er å opprettholde en grovere samplingshastighet på 250 kHz og bruke et FIR-filter (Finite Impulse Response) for å syntetisere fraksjonelle forsinkelser. Vi vil anta at kompleksiteten til stråleformingsalgoritmen hovedsakelig bestemmes av tidsforskyvningen, siden hver kanal er konvolvert med et FIR-filter med 16 trykk i hver retning. For å beregne antall MIPS som kreves for denne operasjonen, vurderer vi et vindu på 6ms per måling for å fange et område på 1 meter, 5 kanaler, 11 stråleformingsretninger (område +/- 50° i 10° trinn). 75 målinger per sekund presset mikrokontrolleren til sitt maksimum på 100 MIPS. Link. 68, noe som resulterer i et effekttap på 11,26 mW for et totalt effekttap på 11,71 mW etter å ha lagt til ADC-bidraget ombord.
Data som støtter resultatene av denne studien er tilgjengelig fra den respektive forfatteren, FM, på rimelig forespørsel.
Indiveri, G. & Sandamirskaya, Y. Betydningen av rom og tid for signalbehandling i nevromorfe midler: Utfordringen med å utvikle laveffekt, autonome midler som samhandler med miljøet. Indiveri, G. & Sandamirskaya, Y. Betydningen av rom og tid for signalbehandling i nevromorfe midler: Utfordringen med å utvikle laveffekt, autonome midler som samhandler med miljøet.Indiveri G. og Sandamirskaya Y. Betydningen av rom og tid for signalbehandling i nevromorfe midler: utfordringen med å utvikle autonome midler med lav effekt som samhandler med miljøet. Indiveri, G. & Sandamirskaya, Y.空间和时间对于神经形态代理中信号处理的重要性：开发与环境交互的低功耗、自主代理的挑战。 Indiveri, G. & Sandamirskaya, Y.Indiveri G. og Sandamirskaya Y. Betydningen av rom og tid for signalbehandling i nevromorfe midler: utfordringen med å utvikle autonome midler med lav effekt som samhandler med miljøet.IEEE signalbehandling. Journal 36, 16–28 (2019).
Thorpe, SJ Peak Arrival Time: An Efficient Neural Network Coding Scheme. i Eckmiller, R., Hartmann, G. & Hauske, G. (red). i Eckmiller, R., Hartmann, G. & Hauske, G. (red).i Eckmiller, R., Hartmann, G. og Hauske, G. (red.).I Eckmiller, R., Hartmann, G. og Hauske, G. (red.). Parallell prosessering i nevrale systemer og datamaskiner 91–94 (North-Holland Elsevier, 1990).
Levy, WB & Calvert, VG Communication bruker 35 ganger mer energi enn beregninger i den menneskelige cortex, men begge kostnadene er nødvendige for å forutsi synapsetall. Levy, WB & Calvert, VG Communication bruker 35 ganger mer energi enn beregninger i den menneskelige cortex, men begge kostnadene er nødvendige for å forutsi synapsetall.Levy, WB og Calvert, WG Communication bruker 35 ganger mer energi enn beregninger i den menneskelige cortex, men begge kostnadene er nødvendige for å forutsi antall synapser. Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35 倍，但这两种成本都需要预测突 Levy, WB & Calvert, VG KommunikasjonLevy, WB og Calvert, WG Communication bruker 35 ganger mer energi enn beregninger i den menneskelige cortex, men begge kostnadene krever å forutsi antall synapser.behandle. National Academy of Science. vitenskapen. US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insekt-inspirert nevromorf databehandling. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insekt-inspirert nevromorf databehandling.Dalgati, T., Vianello, E., DeSalvo, B. og Casas, J. Insekt-inspirert nevromorf databehandling.Dalgati T., Vianello E., DeSalvo B. og Casas J. Insektinspirert nevromorf databehandling. Nåværende. Mening. Insektvitenskap. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Mot piggbasert maskinintelligens med nevromorf databehandling. Roy, K., Jaiswal, A. & Panda, P. Mot piggbasert maskinintelligens med nevromorf databehandling. Roy, K., Jaiswal, A. & Panda, P. Towards Spike-Based Machine Intelligence with Neuromorphic Computing.Roy K, Jaiswal A og Panda P. Pulsbasert kunstig intelligens ved bruk av nevromorf databehandling. Nature 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. og Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. og Liu, S.-K.Minne og informasjonsbehandling i nevromorfe systemer. behandle. IEEE 103, 1379–1397 (2015).
Akopyan F. et al. Truenorth: Design og verktøysett for en 65 mW 1 million nevronprogrammerbar synaptisk brikke. IEEE-transaksjoner. Datamaskindesign av integrerte kretssystemer. 34, 1537–1557 (2015).
Schemmel, J. et al. Live demo: nedskalert versjon av BrainScaleS nevromorfe system i plateskala. 2012 IEEE International Symposium on Circuits and Systems (ISCAS), (IEEE ed.) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. En skalerbar flerkjernearkitektur med heterogene minnestrukturer for dynamiske nevromorfe asynkrone prosessorer (DYNAPs). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. En skalerbar flerkjernearkitektur med heterogene minnestrukturer for dynamiske nevromorfe asynkrone prosessorer (DYNAPs).Moradi S., Qiao N., Stefanini F. og Indiviri G. En skalerbar flerkjernearkitektur med heterogene minnestrukturer for dynamiske nevromorfe asynkrone prosessorer (DYNAP). Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G.的异构内存结构. Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. En slags utvidbar flerkjernearkitektur, med en unik minnestruktur for dynamisk neural prosessering (DYNAP).Moradi S., Qiao N., Stefanini F. og Indiviri G. En skalerbar flerkjernearkitektur med heterogene minnestrukturer for dynamiske nevromorfe asynkrone prosessorer (DYNAP).IEEE-transaksjoner på biomedisinsk vitenskap. elektrisk system. 12, 106–122 (2018).
Davis, M. et al. Loihi: En nevromorf flerkjerneprosessor med innebygd læring. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA SpiNNaker-prosjektet. Furber, SB, Galluppi, F., Temple, S. & Plana, LA SpiNNaker-prosjektet.Ferber SB, Galluppi F., Temple S. og Plana LA SpiNNaker-prosjektet.Ferber SB, Galluppi F., Temple S. og Plana LA SpiNNaker-prosjektet. behandle. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Nevromorfe sensoriske systemer. & Delbruck, T. Nevromorfe sensoriske systemer.og Delbrück T. Nevromorfe sansesystemer. & Delbruck, T. 神经形态感觉系统。 & Delbruck, T.og Delbrück T. Nevromorfisk sansesystem.Nåværende. Mening. Nevrobiologi. 20, 288–295 (2010).
Chope, T. et al. Nevromorf sensorisk integrasjon for kombinert lydkildelokalisering og kollisjonsunngåelse. I 2019 på IEEE Conference on Biomedical Circuits and Systems (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. En piggbasert nevromorf arkitektur for stereosyn. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. En piggbasert nevromorf arkitektur for stereosyn.Risi N, Aymar A, Donati E, Solinas S og Indiveri G. En piggbasert nevromorf stereovisjonsarkitektur. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S og Indiveri G. Spike-basert nevromorf arkitektur for stereosyn.front. Neurorobotics 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. En spike nevrale nettverksmodell av 3D-perception for hendelsesbaserte nevromorfe stereosynssystemer. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. En spike nevrale nettverksmodell av 3D-perception for hendelsesbaserte nevromorfe stereosynssystemer.Oswald, M., Ieng, S.-H., Benosman, R., og Indiveri, G. En 3D-pulserende nevrale nettverksoppfatningsmodell for hendelsesbaserte nevromorfe stereosynssystemer. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R., og Indiveri, G. Spiked 3Dperception Neural Network Model for a Event-Based Neuromorphic Stereo Vision System.vitenskapen. Rapport 7, 1–11 (2017).
Dalgaty, T. et al. Insekt-inspirert grunnleggende bevegelsesdeteksjon inkluderer resistivt minne og sprengte nevrale nettverk. Bionisk biohybridsystem. 10928, 115–128 (2018).
D'Angelo, G. et al. Hendelsesbasert eksentrisk bevegelsesdeteksjon ved bruk av tidsdifferensiell koding. front. Nevrologi. 14, 451 (2020).
Innleggstid: 17. november 2022