Nyheder

Databehandlingsapplikationer fra den virkelige verden kræver kompakte computersystemer med lav latens og lavt strømforbrug. Med hændelsesdrevne computeregenskaber giver komplementære metal-oxid-halvleder hybrid memristive neuromorfe arkitekturer et ideelt hardwaregrundlag for sådanne opgaver. For at demonstrere det fulde potentiale af sådanne systemer, foreslår og demonstrerer vi eksperimentelt en omfattende sensorbehandlingsløsning til objektlokaliseringsapplikationer i den virkelige verden. Med inspiration fra perleugles neuroanatomi har vi udviklet et bioinspireret, hændelsesdrevet objektlokaliseringssystem, der kombinerer en state-of-the-art piezoelektrisk mikromekanisk transducertransducer med beregningsgrafbaseret neuromorf resistiv hukommelse. Vi viser målinger af et fremstillet system, der inkluderer en hukommelsesbaseret resistiv koincidensdetektor, forsinkelseslinjekredsløb og en fuldt tilpasselig ultralydstransducer. Vi bruger disse eksperimentelle resultater til at kalibrere simuleringer på systemniveau. Disse simuleringer bruges derefter til at evaluere vinkelopløsningen og energieffektiviteten af ​​objektlokaliseringsmodellen. Resultaterne viser, at vores tilgang kan være flere størrelsesordener mere energieffektiv end mikrocontrollere, der udfører den samme opgave.
Vi går ind i en æra med allestedsnærværende computing, hvor antallet af installerede enheder og systemer vokser eksponentielt for at hjælpe os i vores daglige liv. Disse systemer forventes at køre kontinuerligt og forbruge så lidt strøm som muligt, mens de lærer at fortolke de data, de indsamler fra flere sensorer i realtid og producere binært output som et resultat af klassificerings- eller genkendelsesopgaver. Et af de vigtigste trin, der kræves for at nå dette mål, er at udtrække nyttig og kompakt information fra støjende og ofte ufuldstændige sensoriske data. Konventionelle tekniske tilgange sampler typisk sensorsignaler med en konstant og høj hastighed, hvilket genererer store mængder data, selv i fravær af nyttige input. Derudover bruger disse metoder komplekse digitale signalbehandlingsteknikker til at forbehandle de (ofte støjende) inputdata. I stedet tilbyder biologi alternative løsninger til behandling af støjende sensoriske data ved hjælp af energieffektive, asynkrone, hændelsesdrevne tilgange (spidser)2,3. Neuromorphic computing henter inspiration fra biologiske systemer for at reducere beregningsomkostninger i form af energi- og hukommelseskrav sammenlignet med traditionelle signalbehandlingsmetoder4,5,6. For nylig er innovative hjernebaserede systemer til generelle formål, der implementerer impulsneurale netværk (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11) blevet demonstreret. Disse processorer giver løsninger med lav effekt og lav latency til maskinlæring og kortikale kredsløbsmodellering. For fuldt ud at udnytte deres energieffektivitet skal disse neuromorfe processorer være direkte forbundet til hændelsesdrevne sensorer12,13. Men i dag er der kun få touch-enheder, der direkte leverer hændelsesdrevne data. Fremtrædende eksempler er dynamiske visuelle sensorer (DVS) til synsapplikationer såsom sporing og bevægelsesdetektion14,15,16,17 siliciumcochlea18 og neuromorfe auditive sensorer (NAS)19 til auditiv signalbehandling, lugtesensorer20 og adskillige eksempler21,22 på berøring. . tekstur sensorer.
I dette papir præsenterer vi et nyudviklet hændelsesdrevet auditivt behandlingssystem anvendt til objektlokalisering. Her beskriver vi for første gang et ende-til-ende-system til objektlokalisering opnået ved at forbinde en state-of-the-art piezoelektrisk mikrobearbejdet ultralydstransducer (pMUT) med en beregningsgraf baseret på neuromorf resistiv hukommelse (RRAM). In-memory computerarkitekturer, der bruger RRAM, er en lovende løsning til at reducere strømforbruget23,24,25,26,27,28,29. Deres iboende ikke-volatilitet – der ikke kræver aktivt strømforbrug for at gemme eller opdatere information – passer perfekt til den asynkrone, hændelsesdrevne karakter af neuromorfe databehandling, hvilket resulterer i næsten intet strømforbrug, når systemet er inaktivt. Piezoelektriske mikrobearbejdede ultralydstransducere (pMUT'er) er billige, miniaturiserede siliciumbaserede ultralydstransducere, der er i stand til at fungere som sendere og modtagere30,31,32,33,34. For at behandle de signaler, der modtages af de indbyggede sensorer, hentede vi inspiration fra perleugles neuroanatomi35,36,37. Kirkeuglen Tyto alba er kendt for sine bemærkelsesværdige natjagtevner takket være et meget effektivt auditivt lokaliseringssystem. For at beregne byttets placering koder perleuglens lokaliseringssystem flyvetidspunktet (ToF), når lydbølger fra byttet når hver af uglens ører eller lydreceptorer. I betragtning af afstanden mellem ørerne gør forskellen mellem de to ToF-målinger (Interaural Time Difference, ITD) det muligt analytisk at beregne målets azimutposition. Selvom biologiske systemer er dårligt egnede til at løse algebraiske ligninger, kan de løse lokaliseringsproblemer meget effektivt. Kirkeuglens nervesystem bruger et sæt af tilfældighedsdetektor (CD)35 neuroner (dvs. neuroner, der er i stand til at detektere tidsmæssige korrelationer mellem spidser, der forplanter sig nedad til konvergerende excitatoriske afslutninger)38,39 organiseret i beregningsgrafer for at løse positioneringsproblemer.
Tidligere forskning har vist, at komplementær metal-oxid-halvleder (CMOS) hardware og RRAM-baseret neuromorfisk hardware inspireret af den inferior colliculus ("auditive cortex") af perleuglen er en effektiv metode til at beregne position ved hjælp af ITD13, 40, 41, 42, 43, 44, 45, 46. Potentialet af komplette neuromorfe systemer, der forbinder auditive signaler til neuromorfe beregningsgrafer, er dog endnu ikke blevet demonstreret. Hovedproblemet er den iboende variabilitet af analoge CMOS-kredsløb, som påvirker nøjagtigheden af ​​matchdetektion. For nylig er alternative numeriske implementeringer af ITD47-estimaterne blevet demonstreret. I dette papir foreslår vi at bruge RRAM's evne til at ændre konduktansværdien på en ikke-flygtig måde for at modvirke variabilitet i analoge kredsløb. Vi implementerede et eksperimentelt system bestående af en pMUT-transmitterende membran, der opererer ved en frekvens på 111,9 kHz, to pMUT-modtagende membraner (sensorer), der simulerer perleugleører, og en . Vi karakteriserede eksperimentelt pMUT-detektionssystemet og RRAM-baseret ITD-beregningsgraf for at teste vores lokaliseringssystem og evaluere dets vinkelopløsning.
Vi sammenligner vores metode med en digital implementering på en mikrocontroller, der udfører den samme lokaliseringsopgave ved hjælp af konventionelle beamforming eller neuromorfe metoder, såvel som et feltprogrammerbart gatearray (FPGA) til ITD-estimering foreslået i referencen. 47. Denne sammenligning fremhæver konkurrenceeffektiviteten af ​​det foreslåede RRAM-baserede analoge neuromorfe system.
Et af de mest slående eksempler på et nøjagtigt og effektivt objektlokaliseringssystem kan findes i perleugle35,37,48. Ved skumring og daggry er perleuglen (Tyto Alba) primært afhængig af passiv lytning, idet den aktivt opsøger små byttedyr som mus eller mus. Disse auditive eksperter kan lokalisere auditive signaler fra byttedyr med forbløffende nøjagtighed (ca. 2°)35, som vist i fig. 1a. Kirkeugler udleder placeringen af ​​lydkilder i azimutplanet (vandret) ud fra forskellen i indkommende flyvetid (ITD) fra lydkilden til de to ører. ITD-beregningsmekanismen blev foreslået af Jeffress49,50, som er afhængig af neural geometri og kræver to nøglekomponenter: et axon, en neurons nervefiber, der fungerer som en forsinkelseslinje, og en række af tilfældighedsdetektorneuroner organiseret i et beregningssystem. graf som vist i figur 1b. Lyden når øret med en azimutafhængig tidsforsinkelse (ITD). Lyden konverteres derefter til et spidsmønster i hvert øre. Axonerne i venstre og højre øre fungerer som forsinkelseslinjer og konvergerer på CD-neuroner. Teoretisk set vil kun én neuron i en række af matchede neuroner modtage input ad gangen (hvor forsinkelsen ophæver nøjagtigt) og vil fyre maksimalt (naboceller vil også fyre, men med en lavere frekvens). Aktivering af visse neuroner koder for målets position i rummet uden yderligere at konvertere ITD til vinkler. Dette koncept er opsummeret i figur 1c: hvis lyden for eksempel kommer fra højre side, når inputsignalet fra højre øre bevæger sig en længere vej end vejen fra venstre øre, og kompenserer for antallet af ITD'er, f.eks. når neuron 2 matcher. Med andre ord reagerer hver CD på en bestemt ITD (også kendt som optimal forsinkelse) på grund af aksonal forsinkelse. Således konverterer hjernen tidsmæssig information til rumlig information. Anatomisk bevis for denne mekanisme er fundet37,51. Faselåste makronukleus-neuroner gemmer tidsmæssig information om indkommende lyde: Som deres navn antyder, skyder de på bestemte signalfaser. Tilfældighedsdetektorneuroner af Jeffress-modellen kan findes i den laminære kerne. De modtager information fra makronukleære neuroner, hvis axoner fungerer som forsinkelseslinjer. Mængden af ​​forsinkelse tilvejebragt af forsinkelseslinjen kan forklares med længden af ​​axonet, såvel som et andet myeliniseringsmønster, der ændrer ledningshastigheden. Inspireret af perleuglens auditive system har vi udviklet et biomimetisk system til lokalisering af objekter. De to ører er repræsenteret af to pMUT-modtagere. Lydkilden er pMUT-senderen placeret mellem dem (fig. 1a), og beregningsgrafen er dannet af et gitter af RRAM-baserede cd-kredsløb (fig. 1b, grøn), der spiller rollen som cd-neuroner, hvis input er forsinkede. gennem kredsløbet virker forsinkelseslinjerne (blå) som axoner i den biologiske modpart. Det foreslåede sensoriske system adskiller sig i driftsfrekvens fra uglens, hvis auditive system fungerer i området 1-8 kHz, men pMUT-sensorer, der opererer ved omkring 117 kHz, bruges i dette arbejde. Valget af en ultralydstransducer overvejes i henhold til tekniske og optimeringskriterier. For det første forbedrer begrænsning af modtagebåndbredden til en enkelt frekvens ideelt målenøjagtigheden og forenkler efterbehandlingstrinnet. Derudover har drift i ultralyd den fordel, at de udsendte impulser ikke er hørbare, derfor ikke forstyrrer mennesker, da deres auditive rækkevidde er ~20-20 kHz.
krudtuglen modtager lydbølger fra et mål, i dette tilfælde flyttende bytte. Lydbølgens flyvetid (ToF) er forskellig for hvert øre (medmindre byttet er direkte foran uglen). Den stiplede linje viser den vej, som lydbølger tager for at nå krudtuglens ører. Bytte kan lokaliseres nøjagtigt i det vandrette plan baseret på længdeforskellen mellem de to akustiske baner og den tilsvarende interaurale tidsforskel (ITD) (venstre billede inspireret af ref. 74, copyright 2002, Society for Neuroscience). I vores system genererer pMUT-senderen (mørkeblå) lydbølger, der hopper af målet. Reflekterede ultralydsbølger modtages af to pMUT-modtagere (lysegrøn) og behandles af den neuromorfe processor (højre). b En ITD (Jeffress) beregningsmodel, der beskriver, hvordan lyde, der kommer ind i perleuglens ører, først kodes som faselåste pigge i den store kerne (NM) og derefter ved hjælp af et geometrisk arrangeret gitter af matchede detektorneuroner i den lamellære kerne. Forarbejdning (Holland) (venstre). Illustration af en neuroITD-beregningsgraf, der kombinerer forsinkelseslinjer og tilfældighedsdetektorneuroner, uglebiosensorsystemet kan modelleres ved hjælp af RRAM-baserede neuromorfe kredsløb (til højre). c Skematisk af Jeffress-hovedmekanismen, på grund af forskellen i ToF modtager de to ører lydstimuli på forskellige tidspunkter og sender axoner fra begge ender til detektoren. Axonerne er en del af en serie af tilfældighedsdetektor (CD) neuroner, som hver reagerer selektivt på stærkt tids-korrelerede input. Som følge heraf er det kun CD'er, hvis indgange kommer med den mindste tidsforskel, der er maksimalt exciterede (ITD er nøjagtigt kompenseret). CD'en vil derefter kode målets vinkelposition.
Piezoelektriske mikromekaniske ultralydstransducere er skalerbare ultralydstransducere, der kan integreres med avanceret CMOS-teknologi31,32,33,52 og har lavere startspænding og strømforbrug end traditionelle volumetriske transducere53. I vores arbejde er membrandiameteren 880 µm, og resonansfrekvensen er fordelt i området 110-117 kHz (fig. 2a, se Metoder for detaljer). I en batch på ti testenheder var den gennemsnitlige kvalitetsfaktor omkring 50 (ref. 31). Teknologien er nået industriel modenhed og er ikke bioinspireret i sig selv. Kombination af information fra forskellige pMUT-film er en velkendt teknik, og vinkelinformation kan opnås fra pMUT'er ved hjælp af f.eks. stråleformningsteknikker31,54. Den signalbehandling, der kræves for at udtrække vinkelinformationen, er imidlertid ikke egnet til laveffektmålinger. Det foreslåede system kombinerer det neuromorfe dataforbehandlingskredsløb pMUT med en RRAM-baseret neuromorfisk beregningsgraf inspireret af Jeffress-modellen (figur 2c), hvilket giver en alternativ energieffektiv og ressourcebegrænset hardwareløsning. Vi udførte et eksperiment, hvor to pMUT-sensorer blev placeret cirka 10 cm fra hinanden for at udnytte de forskellige ToF-lyde modtaget af de to modtagende membraner. En pMUT, der fungerer som en sender, sidder mellem modtagerne. Målet var en PVC-plade 12 cm bred, placeret i en afstand D foran pMUT-anordningen (fig. 2b). Modtageren optager den lyd, der reflekteres fra objektet, og reagerer så meget som muligt under lydbølgens passage. Gentag eksperimentet ved at ændre objektets position, bestemt af afstanden D og vinklen θ. Inspireret af et link. 55 foreslår vi en neuromorf forbehandling af pMUT-råsignaler for at konvertere reflekterede bølger til toppe for at indtaste en neuromorf beregningsgraf. ToF svarende til topamplituden ekstraheres fra hver af de to kanaler og kodes som den nøjagtige timing af de individuelle toppe. På fig. 2c viser det kredsløb, der kræves for at forbinde pMUT-sensoren med en RRAM-baseret beregningsgraf: For hver af de to pMUT-modtagere er råsignalet båndpasfiltreret for at udjævne, ensrette og derefter sendes til den utætte integrator i overvindingstilstand. den dynamiske tærskel (fig. 2d) skaber en udgangshændelse (spids) og affyrende (LIF) neuron: udgangsspidstiden koder for den detekterede flyvetid. LIF-tærsklen kalibreres mod pMUT-responset, hvorved pMUT-variabiliteten fra enhed til enhed reduceres. Med denne tilgang, i stedet for at lagre hele lydbølgen i hukommelsen og behandle den senere, genererer vi simpelthen en peak svarende til ToF af lydbølgen, som danner input til den resistive hukommelses beregningsgraf. Piggene sendes direkte til forsinkelseslinjerne og paralleliseres med matchdetektionsmoduler i neuromorfe beregningsgrafer. Fordi de sendes til transistorernes porte, er der ikke behov for yderligere forstærkningskredsløb (se Supplerende Fig. 4 for detaljer). For at evaluere lokaliseringsvinkelnøjagtigheden leveret af pMUT og den foreslåede signalbehandlingsmetode målte vi ITD (det vil sige forskellen i tid mellem spidsbegivenheder genereret af to modtagere), da afstanden og vinklen for objektet varierede. ITD-analysen blev derefter konverteret til vinkler (se Metoder) og plottet mod objektets position: usikkerheden i den målte ITD steg med afstand og vinkel til objektet (fig. 2e,f). Hovedproblemet er peak-to-noise ratio (PNR) i pMUT-responset. Jo længere objektet er, jo lavere er det akustiske signal, hvorved PNR reduceres (fig. 2f, grøn linje). Et fald i PNR fører til en stigning i usikkerhed i ITD-estimatet, hvilket resulterer i en stigning i lokaliseringsnøjagtighed (fig. 2f, blå linje). For et objekt i en afstand på 50 cm fra senderen er systemets vinkelnøjagtighed ca. 10°. Denne begrænsning pålagt af sensorens karakteristika kan forbedres. For eksempel kan trykket, der sendes af emitteren, øges, hvorved spændingen, der driver pMUT-membranen, øges. En anden løsning til at forstærke det transmitterede signal er at forbinde flere sendere 56. Disse løsninger vil øge detektionsområdet på bekostning af øgede energiomkostninger. Yderligere forbedringer kan foretages på modtagersiden. pMUT'ens modtagerstøjgulv kan reduceres markant ved at forbedre forbindelsen mellem pMUT'en og førstetrinsforstærkeren, hvilket i øjeblikket sker med ledningsforbindelser og RJ45-kabler.
et billede af en pMUT-krystal med seks 880 µm membraner integreret ved 1,5 mm pitch. b Diagram over måleopstillingen. Målet er placeret i azimutpositionen θ og i afstanden D. pMUT-senderen genererer et 117,6 kHz-signal, der hopper af målet og når to pMUT-modtagere med forskellig flyvetid (ToF). Denne forskel, defineret som den inter-aurale tidsforskel (ITD), koder for et objekts position og kan estimeres ved at estimere spidsresponsen af ​​de to modtagersensorer. c Skematisk over forbehandlingstrin til konvertering af det rå pMUT-signal til spike-sekvenser (dvs. input til den neuromorfe beregningsgraf). pMUT-sensorerne og neuromorfe beregningsgrafer er blevet fremstillet og testet, og den neuromorfe forbehandling er baseret på softwaresimulering. d Respons af pMUT-membranen ved modtagelse af et signal og dets transformation til et spike-domæne. e Eksperimentel lokaliseringsvinkelnøjagtighed som funktion af objektvinklen (Θ) og afstanden (D) til målobjektet. ITD-ekstraktionsmetoden kræver en minimumsvinkelopløsning på ca. 4°C. f Vinkelnøjagtighed (blå linje) og tilsvarende spids-til-støj-forhold (grøn linje) i forhold til objektafstand for Θ = 0.
Resistiv hukommelse gemmer information i en ikke-flygtig ledende tilstand. Metodens grundlæggende princip er, at modifikationen af ​​materialet på atomniveau forårsager en ændring i dets elektriske ledningsevne57. Her bruger vi en oxid-baseret resistiv hukommelse bestående af et 5nm lag af hafniumdioxid klemt mellem top og bund titanium og titanium nitrid elektroder. RRAM-enheders ledningsevne kan ændres ved at anvende en strøm/spændingsbølgeform, der skaber eller bryder ledende filamenter af ilttomrum mellem elektroderne. Vi co-integrerede sådanne enheder58 i en standard 130 nm CMOS-proces for at skabe et fremstillet rekonfigurerbart neuromorfisk kredsløb, der implementerer en sammenfaldsdetektor og et forsinkelseslinjekredsløb (fig. 3a). Enhedens ikke-flygtige og analoge natur, kombineret med den hændelsesdrevne karakter af det neuromorfe kredsløb, minimerer strømforbruget. Kredsløbet har en øjeblikkelig tænd/sluk-funktion: det fungerer umiddelbart efter at det er blevet tændt, hvilket gør det muligt at slukke for strømmen, når kredsløbet er inaktivt. Hovedbyggestenene i den foreslåede ordning er vist i fig. 3b. Den består af N parallelle enkelt-modstande enkelt-transistor (1T1R) strukturer, der koder synaptiske vægte, hvorfra vægtede strømme tages, injiceres i den fælles synapse af en differential pair integrator (DPI)59, og til sidst injiceres i synapsen med integration og lækage. aktiveret (LIF) neuron 60 (se Metoder for detaljer). Indgangsspændingerne påføres porten til 1T1R-strukturen i form af en sekvens af spændingsimpulser med en varighed af størrelsesordenen hundredvis af nanosekunder. Resistiv hukommelse kan placeres i en høj ledende tilstand (HCS) ved at anvende en ekstern positiv reference til Vtop, når Vbottom er jordet, og nulstilles til en lav ledende tilstand (LCS) ved at påføre en positiv spænding til Vbottom, når Vtop er jordet. Gennemsnitsværdien af ​​HCS kan styres ved at begrænse programmeringsstrømmen (compliance) af SET'et (ICC) af serietransistorens gate-source spænding (fig. 3c). Funktionerne af RRAM i kredsløbet er todelt: de dirigerer og vægter inputimpulserne.
Scanning elektronmikroskop (SEM) billede af en blå HfO2 1T1R RRAM enhed integreret i 130 nm CMOS teknologi med vælgertransistorer (650 nm brede) i grøn. b Grundlæggende byggesten i det foreslåede neuromorfe skema. Indgangsspændingsimpulserne (spidser) Vin0 og Vin1 forbruger strøm Ivægt, som er proportional med ledningstilstandene G0 og G1 i 1T1R-strukturen. Denne strøm injiceres i DPI-synapserne og exciterer LIF-neuronerne. RRAM G0 og G1 er installeret i henholdsvis HCS og LCS. c Funktion af kumulativ ledningstæthed for en gruppe af 16K RRAM-enheder som en funktion af ICC-strømtilpasning, som effektivt styrer ledningsniveauet. d Kredsløbsmålinger i (a) viser, at G1 (i LCS) effektivt blokerer input fra Vin1 (grøn), og faktisk reagerer outputneuronens membranspænding kun på det blå input fra Vin0. RRAM bestemmer effektivt forbindelserne i kredsløbet. e Måling af kredsløbet i (b), der viser effekten af ​​konduktansværdien G0 på membranspændingen Vmem efter påføring af en spændingsimpuls Vin0. Jo mere konduktans, jo stærkere respons: RRAM-enheden implementerer således I/O-forbindelsesvægtning. Målinger blev foretaget på kredsløbet og demonstrerer den dobbelte funktion af RRAM, routing og vægtning af inputimpulser.
For det første, da der er to grundlæggende ledningstilstande (HCS og LCS), kan RRAM'er blokere eller gå glip af inputimpulser, når de er i henholdsvis LCS- eller HCS-tilstandene. Som et resultat bestemmer RRAM effektivt forbindelserne i kredsløbet. Dette er grundlaget for at kunne rekonfigurere arkitekturen. For at demonstrere dette vil vi beskrive en fabrikeret kredsløbsimplementering af kredsløbsblokken i fig. 3b. Den RRAM, der svarer til GO, er programmeret i HCS, og den anden RRAM G1 er programmeret i LCS. Indgangsimpulser påføres både Vin0 og Vin1. Virkningerne af to sekvenser af inputpulser blev analyseret i outputneuronerne ved at indsamle neuronmembranspændingen og outputsignalet ved hjælp af et oscilloskop. Eksperimentet var vellykket, da kun HCS-enheden (G0) var forbundet til neuronens puls for at stimulere membranspænding. Dette er demonstreret i figur 3d, hvor det blå pulstog får membranspændingen til at bygge op på membrankondensatoren, mens det grønne pulstog holder membranspændingen konstant.
Den anden vigtige funktion af RRAM er implementeringen af ​​forbindelsesvægte. Ved at bruge RRAMs analoge konduktansjustering kan I/O-forbindelser vægtes i overensstemmelse hermed. I det andet eksperiment blev G0-enheden programmeret til forskellige niveauer af HCS, og inputimpulsen blev påført VIn0-indgangen. Indgangsimpulsen trækker en strøm (Ivægt) fra enheden, som er proportional med konduktansen og det tilsvarende potentialefald Vtop − Vbot. Denne vægtede strøm injiceres derefter i DPI-synapserne og LIF-outputneuronerne. Membranspændingen af ​​outputneuronerne blev registreret ved anvendelse af et oscilloskop og vist i fig. 3d. Spændingstoppen for neuronmembranen som reaktion på en enkelt inputpuls er proportional med ledningsevnen af ​​den resistive hukommelse, hvilket viser, at RRAM kan bruges som et programmerbart element af synaptisk vægt. Disse to foreløbige test viser, at den foreslåede RRAM-baserede neuromorfe platform er i stand til at implementere de grundlæggende elementer i den grundlæggende Jeffress-mekanisme, nemlig forsinkelseslinjen og koincidensdetektorkredsløbet. Kredsløbsplatformen er bygget ved at stable successive blokke side om side, såsom blokkene i figur 3b, og forbinde deres porte til en fælles indgangslinje. Vi designede, fremstillede og testede en neuromorf platform bestående af to outputneuroner, der modtager to input (fig. 4a). Kredsløbsdiagrammet er vist i figur 4b. Den øverste 2 × 2 RRAM-matrix gør det muligt at dirigere inputimpulser til to outputneuroner, mens den nederste 2 × 2-matrix tillader tilbagevendende forbindelser mellem to neuroner (N0, N1). Vi demonstrerer, at denne platform kan bruges med en forsinkelseslinjekonfiguration og to forskellige koincidensdetektorfunktioner, som vist ved eksperimentelle målinger i fig. 4c-e.
Kredsløbsdiagram dannet af to outputneuroner N0 og N1, der modtager to input 0 og 1. De fire øverste enheder i arrayet definerer synaptiske forbindelser fra input til output, og de nederste fire celler definerer tilbagevendende forbindelser mellem neuroner. De farvede RRAM'er repræsenterer enhederne, der er konfigureret i HCS til højre: Enhederne i HCS'en tillader forbindelser og repræsenterer vægte, mens enhederne i LCS blokerer inputimpulser og deaktiverer forbindelser til udgange. b Diagram over kredsløb (a) med otte RRAM-moduler fremhævet med blåt. c Forsinkelseslinjer dannes ved blot at bruge dynamikken i DPI-synapser og LIF-neuroner. Den grønne RRAM er indstillet til konduktans høj nok til at være i stand til at inducere en fejl ved udgangen efter inputforsinkelsen Δt. d Skematisk illustration af retningsufølsom CD-detektering af tidsafhængige signaler. Udgangsneuron 1, N1, affyrer på input 0 og 1 med en kort forsinkelse. e Retningsfølsomt CD-kredsløb, et kredsløb, der detekterer, når input 1 nærmer sig input 0 og ankommer efter input 0. Udgangen af ​​kredsløbet er repræsenteret af neuron 1 (N1).
Forsinkelseslinjen (figur 4c) bruger simpelthen den dynamiske opførsel af DPI-synapser og LIF-neuroner til at reproducere inputspidsen fra Vin1 til Vout1 ved at forsinke Tdel. Kun G3 RRAM tilsluttet Vin1 og Vout1 er programmeret i HCS, resten af ​​RRAM'erne er programmeret i LCS. G3-enheden blev programmeret til 92,6 µs for at sikre, at hver inputimpuls øger membranspændingen af ​​outputneuronen tilstrækkeligt til at nå tærsklen og generere en forsinket udgangsimpuls. Forsinkelsen Tdel bestemmes af de synaptiske og neurale tidskonstanter. Tilfældighedsdetektorer detekterer forekomsten af ​​tidsmæssigt korrelerede, men rumligt fordelte inputsignaler. Retningsufølsom CD er afhængig af individuelle input, der konvergerer til en fælles outputneuron (figur 4d). De to RRAM'er, der forbinder Vin0 og Vin1 til henholdsvis Vout1, G2 og G4, er programmeret til høj ledning. Samtidig ankomst af spidser på Vin0 og Vin1 øger spændingen af ​​N1-neuronmembranen over den tærskel, der kræves for at generere output-spidsen. Hvis de to indgange er for langt fra hinanden i tid, kan ladningen på membranspændingen akkumuleret af den første indgang have tid til at henfalde, hvilket forhindrer membranpotentialet N1 i at nå tærskelværdien. G1 og G2 er programmeret til ca. 65 µs, hvilket sikrer, at en enkelt indgangsspænding ikke øger membranspændingen nok til at forårsage en udgangsstød. Tilfældighedsdetektering mellem hændelser fordelt i rum og tid er en grundlæggende operation, der bruges i en bred vifte af sanseopgaver, såsom optisk flow-baseret hindringsundgåelse og lydkildelokalisering. Derfor er computerretningsfølsomme og ufølsomme cd'er en grundlæggende byggesten til at konstruere visuelle og lydlokaliseringssystemer. Som vist af karakteristikaene af tidskonstanterne (se Supplerende Fig. 2), implementerer det foreslåede kredsløb et passende område på fire størrelsesordener tidsskalaer. Dermed kan den samtidig opfylde kravene til visuelle og lydsystemer. Retningsfølsom CD er et kredsløb, der er følsomt over for den rumlige rækkefølge af ankomst af impulser: fra højre til venstre og omvendt. Det er en grundlæggende byggesten i det grundlæggende bevægelsesdetekteringsnetværk i Drosophila visuelle system, der bruges til at beregne bevægelsesretninger og detektere kollisioner62. For at opnå en retningsfølsom CD skal to indgange rettes til to forskellige neuroner (N0, N1), og der skal etableres en retningsbestemt forbindelse mellem dem (fig. 4e). Når det første input modtages, reagerer NO ved at øge spændingen over sin membran over tærskelværdien og udsende en bølge. Denne outputhændelse udløser til gengæld N1 takket være den retningsbestemte forbindelse, der er fremhævet med grønt. Hvis en inputhændelse Vin1 ankommer og aktiverer N1, mens dens membranspænding stadig er høj, genererer N1 en outputhændelse, der indikerer, at der er fundet en overensstemmelse mellem de to input. Retningsbestemte forbindelser tillader N1 kun at udsende output, hvis indgang 1 kommer efter indgang 0. G0, G3 og G7 er programmeret til henholdsvis 73,5 µS, 67,3 µS og 40,2 µS, hvilket sikrer, at en enkelt spids på indgangen Vin0 forårsager en forsinket output spike, mens N1's membranpotentiale kun når tærsklen, når begge input bursts ankommer synkroniseret. .
Variabilitet er en kilde til ufuldkommenhed i modellerede neuromorfe systemer63,64,65. Dette fører til heterogen adfærd af neuroner og synapser. Eksempler på sådanne ulemper omfatter 30 % (gennemsnitlig standardafvigelse) variabilitet i inputforstærkning, tidskonstant og refraktær periode, for blot at nævne nogle få (se Metoder). Dette problem er endnu mere udtalt, når flere neurale kredsløb er forbundet sammen, såsom en orienteringsfølsom CD bestående af to neuroner. For at fungere korrekt, bør forstærknings- og henfaldstidskonstanter for de to neuroner være så ens som muligt. For eksempel kan en stor forskel i inputforstærkning få en neuron til at overreagere på en inputpuls, mens den anden neuron knap reagerer. På fig. Figur 5a viser, at tilfældigt udvalgte neuroner reagerer forskelligt på den samme inputpuls. Denne neurale variabilitet er relevant for for eksempel funktionen af ​​retningsfølsomme CD'er. I skemaet vist i fig. 5b, c, er inputforstærkningen for neuron 1 meget højere end for neuron 0. Således kræver neuron 0 tre inputimpulser (i stedet for 1) for at nå tærsklen, og neuron 1 har som forventet brug for to inputhændelser. Implementering af spike-tidsafhængig biomimetisk plasticitet (STDP) er en mulig måde at afbøde virkningen af ​​upræcise og træge neurale og synaptiske kredsløb på systemets ydeevne43. Her foreslår vi at bruge den plastiske adfærd af resistiv hukommelse som et middel til at påvirke forbedringen af ​​neurale input og reducere virkningerne af variabilitet i neuromorfe kredsløb. Som vist i fig. 4e, modulerede konduktansniveauer forbundet med RRAM synaptisk masse effektivt den tilsvarende neurale membranspændingsrespons. Vi bruger en iterativ RRAM-programmeringsstrategi. For et givet input omprogrammeres konduktansværdierne for de synaptiske vægte, indtil kredsløbets målopførsel er opnået (se Metoder).
a Eksperimentelle målinger af responsen fra ni tilfældigt udvalgte individuelle neuroner på den samme inputpuls. Responsen varierer på tværs af populationer, hvilket påvirker inputforstærkning og tidskonstant. b Eksperimentelle målinger af neuroners indflydelse på variabiliteten af ​​neuroner, der påvirker retningsfølsom CD. De to retningsfølsomme CD-outputneuroner reagerer forskelligt på inputstimuli på grund af neuron-til-neuron-variabilitet. Neuron 0 har en lavere inputforstærkning end neuron 1, så det tager tre inputimpulser (i stedet for 1) for at skabe en outputspids. Som forventet når neuron 1 tærsklen med to inputhændelser. Hvis input 1 ankommer Δt = 50 µs efter neuron 0 affyrer, forbliver CD tavs, fordi Δt er større end tidskonstanten for neuron 1 (ca. 22 µs). c reduceres med Δt = 20 µs, så input 1 topper, når neuron 1's affyring stadig er høj, hvilket resulterer i samtidig påvisning af to inputhændelser.
De to elementer, der bruges i ITD-beregningskolonnen, er forsinkelseslinjen og den retningsufølsomme CD. Begge kredsløb kræver præcis kalibrering for at sikre god objektpositioneringsydelse. Forsinkelseslinjen skal levere en præcist forsinket version af indgangsspidsen (fig. 6a), og CD'en må kun aktiveres, når indgangen falder inden for måldetektionsområdet. For forsinkelseslinjen blev de synaptiske vægte af inputforbindelserne (G3 i fig. 4a) omprogrammeret, indtil målforsinkelsen blev opnået. Indstil en tolerance omkring målforsinkelsen for at stoppe programmet: Jo mindre tolerancen er, jo sværere er det at indstille forsinkelseslinjen. På fig. Figur 6b viser resultaterne af forsinkelseslinjekalibreringsprocessen: det kan ses, at det foreslåede skema nøjagtigt kan give alle de forsinkelser, der kræves i designskemaet (fra 10 til 300 μs). Det maksimale antal kalibreringsgentagelser påvirker kvaliteten af ​​kalibreringsprocessen: 200 iterationer kan reducere fejlen til mindre end 5 %. Én kalibreringsiteration svarer til en indstilling/nulstilling af en RRAM-celle. Tuning-processen er også afgørende for at forbedre nøjagtigheden af ​​CD-modulets øjeblikkelige lukkehændelsesdetektion. Det tog ti kalibreringsgentagelser for at opnå en sand positiv hastighed (dvs. frekvensen af ​​hændelser korrekt identificeret som relevant) over 95 % (blå linje i figur 6c). Tuningprocessen påvirkede dog ikke falsk positive hændelser (det vil sige hyppigheden af ​​hændelser, der fejlagtigt blev identificeret som relevante). En anden metode, der observeres i biologiske systemer til at overvinde tidsbegrænsningerne for hurtigt aktiverende veje, er redundans (det vil sige, at mange kopier af det samme objekt bruges til at udføre en given funktion). Inspireret af biologi66 placerede vi flere CD-kredsløb i hvert CD-modul mellem de to forsinkelseslinjer for at reducere virkningen af ​​falske positiver. Som vist i fig. 6c (grøn linje), kan placering af tre CD-elementer i hvert CD-modul reducere antallet af falske alarmer til mindre end 10–2.
a Effekt af neuronal variabilitet på forsinkelseslinjekredsløb. b Delay line kredsløb kan skaleres til store forsinkelser ved at indstille tidskonstanterne for de tilsvarende LIF neuroner og DPI synapser til store værdier. Forøgelse af antallet af iterationer af RRAM-kalibreringsproceduren gjorde det muligt væsentligt at forbedre nøjagtigheden af ​​målforsinkelsen: 200 iterationer reducerede fejlen til mindre end 5 %. Én iteration svarer til en SET/RESET-operation på en RRAM-celle. Hvert CD-modul i c Jeffress-modellen kan implementeres ved hjælp af N parallelle CD-elementer for større fleksibilitet med hensyn til systemfejl. d Flere RRAM-kalibreringsiterationer øger den sande positive hastighed (blå linje), mens den falske positive hastighed er uafhængig af antallet af iterationer (grøn linje). Ved at placere flere CD-elementer parallelt undgås falsk detektering af CD-modulmatches.
Vi evaluerer nu ydeevnen og strømforbruget af det ende-til-ende integrerede objektlokaliseringssystem vist i figur 2 ved hjælp af målinger af de akustiske egenskaber af pMUT-sensoren, CD'en og forsinkelseslinjekredsløbene, der udgør den neuromorfe computergraf. Jeffress-model (fig. 1a). Hvad angår den neuromorfe beregningsgraf, jo større antal CD-moduler, jo bedre er vinkelopløsningen, men også jo højere energi er systemet (fig. 7a). Et kompromis kan opnås ved at sammenligne nøjagtigheden af ​​individuelle komponenter (pMUT-sensorer, neuroner og synaptiske kredsløb) med nøjagtigheden af ​​hele systemet. Opløsningen af ​​forsinkelseslinjen er begrænset af tidskonstanterne for de simulerede synapser og neuroner, som i vores skema overstiger 10 µs, hvilket svarer til en vinkelopløsning på 4° (se Metoder). Mere avancerede noder med CMOS-teknologi vil tillade design af neurale og synaptiske kredsløb med lavere tidskonstanter, hvilket resulterer i højere nøjagtighed af forsinkelseslinjeelementerne. I vores system er nøjagtigheden imidlertid begrænset af fejlen pMUT ved estimering af vinkelpositionen, dvs. 10° (blå vandret linje i fig. 7a). Vi fastsatte antallet af CD-moduler til 40, hvilket svarer til en vinkelopløsning på omkring 4°, dvs. vinkelnøjagtigheden af ​​beregningsgrafen (lyseblå vandret linje i fig. 7a). På systemniveau giver dette en opløsning på 4° og en nøjagtighed på 10° for genstande placeret 50 cm foran sensorsystemet. Denne værdi er sammenlignelig med de neuromorfe lydlokaliseringssystemer rapporteret i ref. 67. En sammenligning af det foreslåede system med den nyeste teknologi kan findes i den supplerende tabel 1. Tilføjelse af yderligere pMUT'er, forøgelse af det akustiske signalniveau og reduktion af elektronisk støj er mulige måder til yderligere at forbedre lokaliseringsnøjagtigheden. ) er anslået til 9,7. nz. 55. Givet 40 CD-enheder på beregningsgrafen estimerede SPICE-simuleringen energien pr. operation (dvs. objektpositioneringsenergi) til at være 21,6 nJ. Det neuromorfe system aktiveres kun, når en inputhændelse ankommer, dvs. når en akustisk bølge når en hvilken som helst pMUT-modtager og overskrider detektionstærsklen, ellers forbliver den inaktiv. Dette undgår unødvendigt strømforbrug, når der ikke er noget indgangssignal. I betragtning af en frekvens af lokaliseringsoperationer på 100 Hz og en aktiveringsperiode på 300 µs pr. operation (den maksimalt mulige ITD), er strømforbruget for den neuromorfe computergraf 61,7 nW. Med neuromorf forbehandling anvendt på hver pMUT-modtager, når strømforbruget for hele systemet 81,6 nW. For at forstå energieffektiviteten af ​​den foreslåede neuromorfe tilgang sammenlignet med konventionel hardware, sammenlignede vi dette tal med den energi, der kræves for at udføre den samme opgave på en moderne laveffekt mikrocontroller ved hjælp af enten neuromorf eller konventionel beamforming68 Skill. Den neuromorfe tilgang overvejer et analog-til-digital konverter (ADC) trin, efterfulgt af et båndpasfilter og et envelope ekstraktionstrin (Teeger-Kaiser metode). Til sidst udføres en tærskeloperation for at udtrække ToF. Vi har udeladt beregningen af ​​ITD baseret på ToF og konverteringen til estimeret vinkelposition, da dette sker én gang for hver måling (se Metoder). Forudsat en samplinghastighed på 250 kHz på begge kanaler (pMUT-modtagere), 18 båndpasfilteroperationer, 3 indhyllingsudtrækningsoperationer og 1 tærskeloperation pr. sample, er det samlede strømforbrug estimeret til 245 mikrowatt. Dette bruger mikrocontrollerens laveffekttilstand69, som tændes, når algoritmerne ikke udføres, hvilket reducerer strømforbruget til 10,8 µW. Strømforbruget for den stråleformende signalbehandlingsløsning, der er foreslået i referencen. 31, med 5 pMUT-modtagere og 11 stråler ensartet fordelt i azimutplanet [-50°, +50°], er 11,71 mW (se afsnittet Metoder for detaljer). Derudover rapporterer vi strømforbruget for en FPGA47-baseret Time Difference Encoder (TDE) estimeret til 1,5 mW som en erstatning for Jeffress-modellen til objektlokalisering. Baseret på disse estimater reducerer den foreslåede neuromorfe tilgang strømforbruget med fem størrelsesordener sammenlignet med en mikrocontroller, der bruger klassiske stråleformningsteknikker til objektlokaliseringsoperationer. Ved at vedtage en neuromorf tilgang til signalbehandling på en klassisk mikrocontroller reduceres strømforbruget med omkring to størrelsesordener. Effektiviteten af ​​det foreslåede system kan forklares ved kombinationen af ​​et asynkront resistivt hukommelse analogt kredsløb, der er i stand til at udføre in-memory beregninger og manglen på analog-til-digital konvertering, der kræves for at opfatte signaler.
a Vinkelopløsning (blå) og strømforbrug (grøn) af lokaliseringsoperationen afhængigt af antallet af CD-moduler. Den mørkeblå vandrette bjælke repræsenterer vinkelnøjagtigheden af ​​PMUT, og den lyseblå vandrette bjælke repræsenterer vinkelnøjagtigheden af ​​den neuromorfe beregningsgraf. b Strømforbrug af det foreslåede system og sammenligning med de to diskuterede mikrocontrollerimplementeringer og digital implementering af Time Difference Encoder (TDE)47 FPGA.
For at minimere strømforbruget af mållokaliseringssystemet udtænkte, designet og implementerede vi et effektivt, hændelsesdrevet RRAM-baseret neuromorfisk kredsløb, der behandler signalinformationen genereret af de indbyggede sensorer for at beregne positionen af ​​målobjektet i virkeligheden tid. . Mens traditionelle behandlingsmetoder kontinuerligt sampler detekterede signaler og udfører beregninger for at udtrække nyttig information, udfører den foreslåede neuromorfe løsning beregninger asynkront, efterhånden som nyttig information ankommer, og maksimerer systemets energieffektivitet med fem størrelsesordener. Derudover fremhæver vi fleksibiliteten af ​​RRAM-baserede neuromorfe kredsløb. RRAM's evne til at ændre konduktans på en ikke-flygtig måde (plasticitet) kompenserer for den iboende variabilitet af ultra-laveffekt analoge DPI's synaptiske og neurale kredsløb. Dette gør dette RRAM-baserede kredsløb alsidigt og kraftfuldt. Vores mål er ikke at udtrække komplekse funktioner eller mønstre fra signaler, men at lokalisere objekter i realtid. Vores system kan også effektivt komprimere signalet og i sidste ende sende det til yderligere behandlingstrin for at træffe mere komplekse beslutninger, når det er nødvendigt. I forbindelse med lokaliseringsapplikationer kan vores neuromorfe forbehandlingstrin give information om objekters placering. Disse oplysninger kan f.eks. bruges til bevægelsesregistrering eller gestusgenkendelse. Vi understreger vigtigheden af ​​at kombinere ultralaveffektsensorer såsom pMUT'er med ultralaveffektelektronik. Til dette har neuromorfe tilgange været nøglen, da de har ført os til at udvikle nye kredsløbsimplementeringer af biologisk inspirerede beregningsmetoder såsom Jeffress-modellen. I forbindelse med sensorfusionsapplikationer kan vores system kombineres med flere forskellige hændelsesbaserede sensorer for at opnå mere præcis information. Selvom ugler er fremragende til at finde bytte i mørke, har de fremragende syn og udfører en kombineret auditiv og visuel søgning, før de fanger bytte70. Når en bestemt auditiv neuron affyrer, modtager uglen den information, den skal bruge for at bestemme, i hvilken retning den skal starte sin visuelle søgning, og dermed fokusere sin opmærksomhed på en lille del af den visuelle scene. En kombination af visuelle sensorer (DVS-kamera) og en foreslået lyttesensor (baseret på pMUT) bør undersøges for udvikling af fremtidige autonome agenter.
pMUT-sensoren er placeret på et printkort med to modtagere ca. 10 cm fra hinanden, og senderen er placeret mellem modtagerne. I dette arbejde er hver membran en suspenderet bimorf struktur bestående af to lag piezoelektrisk aluminiumnitrid (AlN) 800 nm tykt klemt mellem tre lag molybdæn (Mo) 200 nm tykt og belagt med et lag 200 nm tykt. det øverste passiverende SiN-lag som beskrevet i referencen. 71. De indre og ydre elektroder påføres det nederste og øverste lag af molybdæn, mens den midterste molybdænelektrode er umønstret og bruges som jord, hvilket resulterer i en membran med fire par elektroder.
Denne arkitektur tillader brugen af ​​en fælles membrandeformation, hvilket resulterer i forbedret sende- og modtagefølsomhed. En sådan pMUT udviser typisk en excitationsfølsomhed på 700 nm/V som en emitter, hvilket giver et overfladetryk på 270 Pa/V. Som modtager udviser en pMUT-film en kortslutningsfølsomhed på 15 nA/Pa, som er direkte relateret til den piezoelektriske koefficient for AlN. Den tekniske variabilitet af spændingen i AlN-laget fører til en ændring i resonansfrekvensen, som kan kompenseres ved at anvende en DC-bias til pMUT. DC-følsomhed blev målt til 0,5 kHz/V. Til akustisk karakterisering bruges en mikrofon foran pMUT.
For at måle ekkopulsen placerede vi en rektangulær plade med et areal på omkring 50 cm2 foran pMUT for at reflektere de udsendte lydbølger. Både afstanden mellem pladerne og vinklen i forhold til pMUT-planet styres ved hjælp af specielle holdere. En Tectronix CPX400DP spændingskilde forspænder tre pMUT-membraner, tuner resonansfrekvensen til 111,9 kHz31, mens senderne drives af en Tectronix AFG 3102-pulsgenerator, der er indstillet til resonansfrekvensen (111,9 kHz) på 1,0 kHz. Strømmene, der aflæses fra de fire udgangsporte på hver pMUT-modtager, konverteres til spændinger ved hjælp af en speciel differentiel strøm- og spændingsarkitektur, og de resulterende signaler digitaliseres af Spektrum-dataopsamlingssystemet. Detektionsgrænsen var karakteriseret ved pMUT-signalopsamling under forskellige forhold: vi flyttede reflektoren til forskellige afstande [30, 40, 50, 60, 80, 100] cm og ændrede pMUT-støttevinklen ([0, 20, 40] o ) Figur 2b viser den tidsmæssige ITD-detektionsopløsning afhængigt af den tilsvarende vinkelposition i grader.
Denne artikel bruger to forskellige standard RRAM-kredsløb. Den første er en række af 16.384 (16.000) enheder (128 × 128 enheder) i en 1T1R-konfiguration med en transistor og en modstand. Den anden chip er den neuromorfe platform vist i fig. 4a. RRAM-cellen består af en 5 nm tyk HfO2-film indlejret i en TiN/HfO2/Ti/TiN-stak. RRAM-stakken er integreret i back-of-line (BEOL) af standard 130nm CMOS-processen. RRAM-baserede neuromorfe kredsløb udgør en designudfordring for helt analoge elektroniske systemer, hvor RRAM-enheder sameksisterer med traditionel CMOS-teknologi. Især skal RRAM-enhedens ledningstilstand aflæses og bruges som funktionsvariabel for systemet. Til dette formål blev et kredsløb designet, fremstillet og testet, der læser strømmen fra enheden, når en inputimpuls modtages, og bruger denne strøm til at vægte responsen fra en differential pair integrator (DPI) synapse. Dette kredsløb er vist i figur 3a, som repræsenterer de grundlæggende byggesten i den neuromorfe platform i figur 4a. En inputimpuls aktiverer porten på 1T1R-enheden og inducerer en strøm gennem RRAM, der er proportional med enhedens konduktans G (Iweight = G(Vtop – Vx)). Den inverterende indgang på operationsforstærkerens (op-amp) kredsløb har en konstant DC-forspænding Vtop. Op-amp'ens negative feedback vil give Vx = Vtop ved at give lige strøm fra M1. Den aktuelle Ivægt, der hentes fra enheden, injiceres i DPI-synapsen. En stærkere strøm vil resultere i mere depolarisering, så RRAM-konduktans implementerer effektivt synaptiske vægte. Denne eksponentielle synaptiske strøm injiceres gennem membrankondensatoren af ​​Leaky Integration and Excitation (LIF) neuroner, hvor den er integreret som en spænding. Hvis tærskelspændingen af ​​membranen (omskifterens spænding af inverteren) overvindes, aktiveres udgangsdelen af ​​neuronen, hvilket producerer en udgangsspids. Denne puls vender tilbage og shunter neurons membrankondensator til jord, hvilket får den til at aflades. Dette kredsløb suppleres derefter med en pulsekspander (ikke vist i fig. 3a), som former udgangsimpulsen fra LIF-neuronen til målpulsbredden. Multipleksere er også indbygget i hver linje, hvilket gør det muligt at påføre spænding til top- og bundelektroderne på RRAM-enheden.
Elektrisk test omfatter analyse og registrering af den dynamiske opførsel af analoge kredsløb, samt programmering og læsning af RRAM-enheder. Begge trin kræver specialværktøj, som alle er forbundet til sensorkortet på samme tid. Adgang til RRAM-enheder i neuromorfe kredsløb udføres fra eksterne værktøjer gennem en multiplexer (MUX). MUX'en adskiller 1T1R-cellen fra resten af ​​kredsløbet, som den tilhører, hvilket gør det muligt at læse og/eller programmere enheden. Til at programmere og læse RRAM-enheder bruges en Keithley 4200 SCS-maskine sammen med en Arduino-mikrocontroller: den første til nøjagtig pulsgenerering og strømaflæsning, og den anden til hurtig adgang til individuelle 1T1R-elementer i hukommelsesarrayet. Den første operation er at danne RRAM-enheden. Cellerne vælges én efter én, og der påføres en positiv spænding mellem top- og bundelektroderne. I dette tilfælde er strømmen begrænset til størrelsesordenen titusvis af mikroampere på grund af forsyningen af ​​den tilsvarende portspænding til vælgertransistoren. RRAM-cellen kan derefter cykle mellem en lav ledende tilstand (LCS) og en høj ledende tilstand (HCS) ved hjælp af henholdsvis RESET og SET operationer. SET-operationen udføres ved at påføre en rektangulær spændingsimpuls med en varighed på 1 μs og en spidsspænding på 2,0-2,5 V til den øvre elektrode, og en synkroniseringsimpuls af lignende form med en spidsspænding på 0,9-1,3 V til gate af vælgertransistoren. Disse værdier tillader modulering af RRAM-konduktans med 20-150 µs intervaller. For RESET påføres en 1 µs bred, 3 V spidspuls til cellens bundelektrode (bitlinje), når gatespændingen er i området 2,5-3,0 V. De analoge kredsløbs input og output er dynamiske signaler . Til input interleavede vi to HP 8110 pulsgeneratorer med Tektronix AFG3011 signalgeneratorer. Indgangsimpulsen har en bredde på 1 µs og en stigning/faldkant på 50 ns. Denne type puls antages at være en typisk fejl i analoge fejlbaserede kredsløb. Hvad angår udgangssignalet, blev udgangssignalet optaget ved hjælp af et Teledyne LeCroy 1 GHz oscilloskop. Opsamlingshastigheden af ​​et oscilloskop har vist sig ikke at være en begrænsende faktor i analysen og erhvervelsen af ​​kredsløbsdata.
Brug af dynamikken i analog elektronik til at simulere adfærden af ​​neuroner og synapser er en elegant og effektiv løsning til at forbedre beregningseffektiviteten. Ulempen ved dette beregningsmæssige underlag er, at det vil variere fra skema til skema. Vi kvantificerede variabiliteten af ​​neuroner og synaptiske kredsløb (Supplerende Fig. 2a,b). Af alle manifestationer af variabilitet har dem, der er forbundet med tidskonstanter og inputforstærkning, den største indflydelse på systemniveau. Tidskonstanten for LIF-neuronen og DPI-synapsen bestemmes af et RC-kredsløb, hvor værdien af ​​R styres af en biasspænding påført transistorens gate (Vlk for neuronen og Vtau for synapsen), der bestemmer lækagerate. Input gain er defineret som spidsspændingen nået af de synaptiske og neuronale membrankondensatorer stimuleret af en inputpuls. Indgangsforstærkningen styres af en anden forspændingstransistor, som modulerer indgangsstrømmen. En Monte Carlo-simulering kalibreret på ST Microelectronics' 130nm-proces blev udført for at indsamle nogle inputforstærknings- og tidskonstantstatistikker. Resultaterne er præsenteret i Supplerende Figur 2, hvor inputforstærkningen og tidskonstanten kvantificeres som en funktion af den forspænding, der styrer lækagehastigheden. Grønne markører kvantificerer standardafvigelsen af ​​tidskonstanten fra middelværdien. Både neuroner og synaptiske kredsløb var i stand til at udtrykke en lang række tidskonstanter i intervallet 10-5-10-2 s, som vist i Supplerende Fig. skema. Inputamplifikation (Supplerende Fig. 2e,d) af neuronal og synapsevariabilitet var henholdsvis ca. 8 % og 3 %. En sådan mangel er veldokumenteret i litteraturen: forskellige målinger blev udført på rækken af ​​DYNAP-chips for at vurdere misforholdet mellem populationer af LIF63-neuroner. Synapserne i BrainScale mixed signal chip blev målt og deres inkonsistens analyseret, og en kalibreringsprocedure blev foreslået for at reducere effekten af ​​systemniveauvariabilitet64.
Funktionen af ​​RRAM i neuromorfe kredsløb er todelt: arkitekturdefinition (routing af input til output) og implementering af synaptiske vægte. Sidstnævnte egenskab kan bruges til at løse problemet med variabiliteten af ​​de modellerede neuromorfe kredsløb. Vi har udviklet en simpel kalibreringsprocedure, der involverer omprogrammering af RRAM-enheden, indtil kredsløbet, der analyseres, opfylder visse krav. For et givet input overvåges outputtet, og RRAM'en omprogrammeres, indtil måladfærden er opnået. En ventetid på 5 s blev indført mellem programmeringsoperationer for at løse problemet med RRAM-relaksation, hvilket resulterede i transiente konduktansfluktuationer (Supplerende information). Synaptiske vægte justeres eller kalibreres i overensstemmelse med kravene til det neuromorfe kredsløb, der modelleres. Kalibreringsproceduren er opsummeret i yderligere algoritmer [1, 2], der fokuserer på to grundlæggende træk ved neuromorfe platforme, forsinkelseslinjer og retningsufølsom CD. For et kredsløb med en forsinkelseslinje er måladfærden at give en udgangsimpuls med en forsinkelse Δt. Hvis den faktiske kredsløbsforsinkelse er mindre end målværdien, skal den synaptiske vægt af G3 reduceres (G3 skal nulstilles og derefter indstilles til en lavere matchende strøm Icc). Omvendt, hvis den faktiske forsinkelse er større end målværdien, skal konduktansen af ​​G3 øges (G3 skal først nulstilles og derefter indstilles til en højere Icc-værdi). Denne proces gentages, indtil forsinkelsen genereret af kredsløbet matcher målværdien, og en tolerance er indstillet til at stoppe kalibreringsprocessen. For retningsufølsomme CD'er er to RRAM-enheder, G1 og G3, involveret i kalibreringsprocessen. Dette kredsløb har to indgange, Vin0 og Vin1, forsinket med dt. Kredsløbet bør kun reagere på forsinkelser under det matchende område [0,dtCD]. Hvis der ikke er nogen output-peak, men input-peak er tæt på, bør begge RRAM-enheder boostes for at hjælpe neuronen med at nå tærsklen. Omvendt, hvis kredsløbet reagerer på en forsinkelse, der overstiger målområdet for dtCD, skal konduktansen reduceres. Gentag processen, indtil den korrekte adfærd er opnået. Overholdelsesstrøm kan moduleres af det indbyggede analoge kredsløb i ref. 72,73. Med dette indbyggede kredsløb kan sådanne procedurer udføres periodisk for at kalibrere systemet eller genbruge det til en anden applikation.
Vi evaluerer strømforbruget af vores neuromorfe signalbehandlingstilgang på en standard 32-bit mikrocontroller68. I denne evaluering antager vi drift med samme opsætning som i dette papir, med en pMUT-sender og to pMUT-modtagere. Denne metode bruger et båndpasfilter, efterfulgt af et indhylningsudtrækstrin (Teeger-Kaiser), og til sidst påføres en tærskeloperation på signalet for at udtrække flyvetidspunktet. Beregningen af ​​ITD'en og dens konvertering til detektionsvinkler er udeladt i evalueringen. Vi betragter en båndpasfilterimplementering, der anvender et 4. ordens uendelig impulsresponsfilter, der kræver 18 flydende kommaoperationer. Konvolutudtrækning bruger yderligere tre flydende kommaoperationer, og den sidste operation bruges til at indstille tærsklen. Der kræves i alt 22 flydende kommaoperationer for at forbehandle signalet. Det transmitterede signal er en kort burst på 111,9 kHz sinusbølgeform, der genereres hver 10. ms, hvilket resulterer i en positioneringsdriftsfrekvens på 100 Hz. Vi brugte en samplingshastighed på 250 kHz for at overholde Nyquist og et 6 ms-vindue for hver måling for at fange et område på 1 meter. Bemærk, at 6 millisekunder er flyvetiden for et objekt, der er 1 meter væk. Dette giver et strømforbrug på 180 µW til A/D-konvertering ved 0,5 MSPS. Signalforbehandling er 6,60 MIPS (instruktioner pr. sekund), hvilket genererer 0,75 mW. Imidlertid kan mikrocontrolleren skifte til en laveffekttilstand 69, når algoritmen ikke kører. Denne tilstand giver et statisk strømforbrug på 10,8 μW og en vækningstid på 113 μs. Givet en klokfrekvens på 84 MHz, fuldfører mikrocontrolleren alle operationer af den neuromorfe algoritme inden for 10 ms, og algoritmen beregner en arbejdscyklus på 6,3 %, og bruger således en laveffekttilstand. Den resulterende effekttab er 244,7 μW. Bemærk, at vi udelader ITD-output fra ToF og konverteringen til detektionsvinkel, og dermed undervurderer mikrocontrollerens strømforbrug. Dette giver yderligere værdi for det foreslåede systems energieffektivitet. Som en yderligere sammenligningsbetingelse evaluerer vi strømforbruget af de klassiske stråleformningsmetoder foreslået i referencen. 31,54, når den er indlejret i den samme mikrocontroller68 ved 1,8V forsyningsspænding. Fem jævnt fordelte pMUT-membraner bruges til at erhverve data til stråleformning. Hvad angår selve behandlingen, er den anvendte stråleformningsmetode forsinkelsessummering. Det består blot i at påføre banerne en forsinkelse, der svarer til den forventede forskel i ankomsttider mellem en bane og referencebanen. Hvis signalerne er i fase, vil summen af ​​disse signaler have en høj energi efter et tidsskift. Hvis de er ude af fase, vil destruktiv interferens begrænse energien af ​​deres sum. i et forhold. På fig. 31 vælges en samplingshastighed på 2 MHz for at tidsforskyde dataene med et helt antal samples. En mere beskeden tilgang er at opretholde en grovere samplingshastighed på 250 kHz og bruge et FIR-filter (Finite Impulse Response) til at syntetisere fraktionelle forsinkelser. Vi vil antage, at kompleksiteten af ​​den stråleformende algoritme hovedsageligt bestemmes af tidsforskydningen, da hver kanal er konvolveret med et FIR-filter med 16 tryk i hver retning. For at beregne antallet af MIPS, der kræves til denne operation, overvejer vi et vindue på 6ms pr. måling for at fange et område på 1 meter, 5 kanaler, 11 stråleformningsretninger (område +/- 50° i trin på 10°). 75 målinger i sekundet skubbede mikrocontrolleren til dets maksimum på 100 MIPS. Forbindelse. 68, hvilket resulterer i et effekttab på 11,26 mW for et samlet effekttab på 11,71 mW efter tilføjelse af det indbyggede ADC-bidrag.
Data, der understøtter resultaterne af denne undersøgelse, er tilgængelige fra den respektive forfatter, FM, efter rimelig anmodning.
Indiveri, G. & Sandamirskaya, Y. Betydningen af ​​rum og tid for signalbehandling i neuromorfe midler: Udfordringen med at udvikle laveffekt, autonome midler, der interagerer med miljøet. Indiveri, G. & Sandamirskaya, Y. Betydningen af ​​rum og tid for signalbehandling i neuromorfe midler: Udfordringen med at udvikle laveffekt, autonome midler, der interagerer med miljøet.Indiveri G. og Sandamirskaya Y. Betydningen af ​​rum og tid for signalbehandling i neuromorfe midler: udfordringen med at udvikle autonome midler med lav effekt, der interagerer med miljøet. Indiveri, G. & Sandamirskaya, Y.自主代理的挑战. Indiveri, G. & Sandamirskaya, Y.Indiveri G. og Sandamirskaya Y. Betydningen af ​​rum og tid for signalbehandling i neuromorfe midler: udfordringen med at udvikle autonome midler med lav effekt, der interagerer med miljøet.IEEE signalbehandling. Journal 36, 16–28 (2019).
Thorpe, SJ Peak Arrival Time: An Efficient Neural Network Coding Scheme. i Eckmiller, R., Hartmann, G. & Hauske, G. (red). i Eckmiller, R., Hartmann, G. & Hauske, G. (red).i Eckmiller, R., Hartmann, G. og Hauske, G. (red.).I Eckmiller, R., Hartmann, G. og Hauske, G. (red.). Parallel behandling i neurale systemer og computere 91-94 (North-Holland Elsevier, 1990).
Levy, WB & Calvert, VG Communication bruger 35 gange mere energi end beregninger i den menneskelige cortex, men begge omkostninger er nødvendige for at forudsige synapsetal. Levy, WB & Calvert, VG Communication bruger 35 gange mere energi end beregninger i den menneskelige cortex, men begge omkostninger er nødvendige for at forudsige synapsetal.Levy, WB og Calvert, WG Communication bruger 35 gange mere energi end beregning i den menneskelige cortex, men begge omkostninger er nødvendige for at forudsige antallet af synapser. Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35 倍，但这两种成本都需要预测突 Levy, WB & Calvert, VG CommunicationLevy, WB og Calvert, WG Communication bruger 35 gange mere energi end beregning i den menneskelige cortex, men begge omkostninger kræver at forudsige antallet af synapser.behandle. National Academy of Science. videnskaben. US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insekt-inspireret neuromorphic computing. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insekt-inspireret neuromorphic computing.Dalgati, T., Vianello, E., DeSalvo, B. og Casas, J. Insekt-inspireret neuromorphic computing.Dalgati T., Vianello E., DeSalvo B. og Casas J. Insekt-inspireret neuromorfisk databehandling. Strøm. Udtalelse. Insekt videnskab. 30, 59-66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Mod spidsbaseret maskinintelligens med neuromorfisk databehandling. Roy, K., Jaiswal, A. & Panda, P. Mod spidsbaseret maskinintelligens med neuromorfisk databehandling. Roy, K., Jaiswal, A. & Panda, P. Mod Spike-Based Machine Intelligence with Neuromorphic Computing.Roy K, Jaiswal A, og Panda P. Puls-baseret kunstig intelligens ved hjælp af neuromorphic computing. Nature 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. og Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. og Liu, S.-K.Hukommelse og informationsbehandling i neuromorfe systemer. behandle. IEEE 103, 1379-1397 (2015).
Akopyan F. et al. Truenorth: Design og værktøjssæt til en 65 mW 1 million neuron programmerbar synaptisk chip. IEEE transaktioner. Computerdesign af integrerede kredsløbssystemer. 34, 1537-1557 (2015).
Schemmel, J. et al. Live demo: nedskaleret version af BrainScaleS neuromorfe system på pladeskala. 2012 IEEE International Symposium on Circuits and Systems (ISCAS), (IEEE ed.) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. En skalerbar multicore-arkitektur med heterogene hukommelsesstrukturer til dynamiske neuromorfe asynkrone processorer (DYNAP'er). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. En skalerbar multicore-arkitektur med heterogene hukommelsesstrukturer til dynamiske neuromorfe asynkrone processorer (DYNAP'er).Moradi S., Qiao N., Stefanini F. og Indiviri G. En skalerbar multicore-arkitektur med heterogene hukommelsesstrukturer til dynamiske neuromorfe asynkrone processorer (DYNAP). Moradi, S.、Qiao, N.,Stefanini, F. & Indiveri, G构内存结构. Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. En slags udvidelig multi-core-arkitektur med en unik hukommelsesstruktur til dynamisk neural behandling (DYNAP).Moradi S., Qiao N., Stefanini F. og Indiviri G. En skalerbar multicore-arkitektur med heterogene hukommelsesstrukturer til dynamiske neuromorfe asynkrone processorer (DYNAP).IEEE-transaktioner om biomedicinsk videnskab. elektrisk system. 12, 106-122 (2018).
Davis, M. et al. Loihi: En neuromorf multi-core processor med indlejret læring. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA SpiNNaker-projektet. Furber, SB, Galluppi, F., Temple, S. & Plana, LA SpiNNaker-projektet.Ferber SB, Galluppi F., Temple S. og Plana LA SpiNNaker-projektet.Ferber SB, Galluppi F., Temple S. og Plana LA SpiNNaker-projektet. behandle. IEEE 102, 652-665 (2014).
Liu, S.-K. & Delbruck, T. Neuromorfe sensoriske systemer. & Delbruck, T. Neuromorfe sensoriske systemer.og Delbrück T. Neuromorfe sansesystemer. & Delbruck, T. 神经形态感觉系统. & Delbruck, T.og Delbrück T. Neuromorfisk sansesystem.Strøm. Udtalelse. Neurobiologi. 20, 288-295 (2010).
Chope, T. et al. Neuromorf sensorisk integration til kombineret lydkildelokalisering og kollisionsundgåelse. I 2019 på IEEE Conference on Biomedical Circuits and Systems (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. En spidsbaseret neuromorf arkitektur af stereosyn. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. En spidsbaseret neuromorf arkitektur af stereosyn.Risi N, Aymar A, Donati E, Solinas S og Indiveri G. En spidsbaseret neuromorf stereovisionsarkitektur. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S og Indiveri G. Spike-baseret neuromorf arkitektur til stereosyn.front. Neurorobotics 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. En spiking neural netværksmodel af 3Dperception for begivenhedsbaserede neuromorfe stereovisionssystemer. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. En spiking neural netværksmodel af 3Dperception for begivenhedsbaserede neuromorfe stereovisionssystemer.Oswald, M., Ieng, S.-H., Benosman, R., og Indiveri, G. En 3D-pulseret neuralt netværksopfattelsesmodel for hændelsesbaserede neuromorfe stereovisionssystemer. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R., og Indiveri, G. Spiked 3Dperception Neural Network Model for en Event-Based Neuromorphic Stereo Vision System.videnskaben. Betænkning 7, 1-11 (2017).
Dalgaty, T. et al. Insekt-inspireret grundlæggende bevægelsesdetektion inkluderer resistiv hukommelse og sprængte neurale netværk. Bionisk biohybrid system. 10928, 115-128 (2018).
D'Angelo, G. et al. Hændelsesbaseret excentrisk bevægelsesdetektion ved hjælp af tidsmæssig differentiel kodning. foran. Neurologi. 14, 451 (2020).