Nieuws

Real-world dataverwerkingstoepassingen vereisen compacte computersystemen met lage latentie en laag vermogen. Met gebeurtenisgestuurde computermogelijkheden bieden complementaire metaaloxide-halfgeleider hybride memristieve neuromorfe architecturen een ideale hardwarebasis voor dergelijke taken. Om het volledige potentieel van dergelijke systemen te demonstreren, stellen we een uitgebreide sensorverwerkingsoplossing voor objectlokalisatietoepassingen in de echte wereld voor en demonstreren we deze experimenteel. Geïnspireerd door de neuroanatomie van de kerkuil, hebben we een bio-geïnspireerd, gebeurtenisgestuurd objectlokalisatiesysteem ontwikkeld dat een ultramoderne piëzo-elektrische micromechanische transducertransducer combineert met op grafieken gebaseerd neuromorfisch resistief geheugen. We laten metingen zien van een gefabriceerd systeem dat een op geheugen gebaseerde resistieve coïncidentiedetector, vertragingslijncircuits en een volledig aanpasbare ultrasone transducer omvat. We gebruiken deze experimentele resultaten om simulaties op systeemniveau te kalibreren. Deze simulaties worden vervolgens gebruikt om de hoekresolutie en energie-efficiëntie van het objectlokalisatiemodel te evalueren. De resultaten laten zien dat onze aanpak verschillende ordes van grootte energie-efficiënter kan zijn dan microcontrollers die dezelfde taak uitvoeren.
We betreden een tijdperk van alomtegenwoordig computergebruik, waarin het aantal apparaten en systemen dat wordt ingezet exponentieel groeit om ons te helpen in ons dagelijks leven. Van deze systemen wordt verwacht dat ze continu draaien, zo min mogelijk stroom verbruiken, terwijl ze de gegevens die ze van meerdere sensoren verzamelen in realtime leren interpreteren en binaire output produceren als resultaat van classificatie- of herkenningstaken. Een van de belangrijkste stappen die nodig zijn om dit doel te bereiken is het extraheren van bruikbare en compacte informatie uit luidruchtige en vaak onvolledige sensorische gegevens. Conventionele technische benaderingen bemonsteren sensorsignalen doorgaans met een constante en hoge snelheid, waardoor grote hoeveelheden gegevens worden gegenereerd, zelfs als er geen bruikbare invoer is. Bovendien maken deze methoden gebruik van complexe digitale signaalverwerkingstechnieken om de (vaak luidruchtige) invoergegevens voor te verwerken. In plaats daarvan biedt de biologie alternatieve oplossingen voor het verwerken van luidruchtige sensorische gegevens met behulp van energie-efficiënte, asynchrone, gebeurtenisgestuurde benaderingen (spikes)2,3. Neuromorphic computing haalt inspiratie uit biologische systemen om de rekenkosten in termen van energie- en geheugenvereisten te verlagen in vergelijking met traditionele signaalverwerkingsmethoden4,5,6. Onlangs zijn innovatieve, op de hersenen gebaseerde systemen voor algemeen gebruik gedemonstreerd die impulsneurale netwerken implementeren (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Deze processors bieden oplossingen met laag vermogen en lage latentie voor machine learning en corticale circuitmodellering. Om hun energie-efficiëntie volledig te benutten, moeten deze neuromorfe processors rechtstreeks worden aangesloten op gebeurtenisgestuurde sensoren12,13. Tegenwoordig zijn er echter slechts een paar aanraakapparaten die rechtstreeks gebeurtenisgestuurde gegevens leveren. Prominente voorbeelden zijn dynamische visuele sensoren (DVS) voor visuele toepassingen zoals tracking en bewegingsdetectie, het siliciumslakkenhuis en neuromorfe auditieve sensoren (NAS) voor auditieve signaalverwerking, reuksensoren en talrijke voorbeelden van aanraking. . textuursensoren.
In dit artikel presenteren we een nieuw ontwikkeld gebeurtenisgestuurd auditief verwerkingssysteem dat wordt toegepast op objectlokalisatie. Hier beschrijven we voor de eerste keer een end-to-end systeem voor objectlokalisatie, verkregen door een ultramoderne piëzo-elektrische micromachined ultrasone transducer (pMUT) te verbinden met een computationele grafiek gebaseerd op neuromorfisch resistief geheugen (RRAM). In-memory computing-architecturen die gebruik maken van RRAM zijn een veelbelovende oplossing voor het verminderen van het energieverbruik23,24,25,26,27,28,29. Hun inherente niet-vluchtigheid – waarbij geen actief stroomverbruik nodig is om informatie op te slaan of bij te werken – past perfect bij de asynchrone, gebeurtenisgestuurde aard van neuromorfisch computergebruik, wat resulteert in vrijwel geen stroomverbruik wanneer het systeem inactief is. Piëzo-elektrische microbewerkte ultrasone transducers (pMUT's) zijn goedkope, geminiaturiseerde, op silicium gebaseerde ultrasone transducers die kunnen fungeren als zenders en ontvangers30,31,32,33,34. Om de door de ingebouwde sensoren ontvangen signalen te verwerken, hebben we ons laten inspireren door de neuroanatomie van de kerkuil35,36,37. De kerkuil Tyto alba staat bekend om zijn opmerkelijke nachtelijke jachtcapaciteiten dankzij een zeer efficiënt auditief lokalisatiesysteem. Om de locatie van de prooi te berekenen, codeert het lokalisatiesysteem van de kerkuil de vluchttijd (ToF) wanneer geluidsgolven van een prooi elk van de oren of geluidsreceptoren van de uil bereiken. Gegeven de afstand tussen de oren maakt het verschil tussen de twee ToF-metingen (Interaural Time Difference, ITD) het mogelijk om analytisch de azimutpositie van het doel te berekenen. Hoewel biologische systemen slecht geschikt zijn voor het oplossen van algebraïsche vergelijkingen, kunnen ze lokalisatieproblemen zeer effectief oplossen. Het zenuwstelsel van de kerkuil maakt gebruik van een reeks coïncidentiedetector (CD)35-neuronen (dwz neuronen die temporele correlaties kunnen detecteren tussen pieken die zich naar beneden voortplanten naar convergente excitatoire uiteinden)38,39 georganiseerd in computationele grafieken om positioneringsproblemen op te lossen.
Eerder onderzoek heeft aangetoond dat complementaire metaaloxide-halfgeleider (CMOS) hardware en op RRAM gebaseerde neuromorfe hardware geïnspireerd door de inferieure colliculus (“auditieve cortex”) van de kerkuil een efficiënte methode is voor het berekenen van de positie met behulp van ITD13, 40, 41, 42, 43, 44, 45, 46. Het potentieel van complete neuromorfe systemen die auditieve signalen koppelen aan neuromorfe computationele grafieken moet echter nog worden aangetoond. Het grootste probleem is de inherente variabiliteit van analoge CMOS-circuits, die de nauwkeurigheid van matchdetectie beïnvloedt. Onlangs zijn alternatieve numerieke implementaties van de ITD47-schattingen aangetoond. In dit artikel stellen we voor om het vermogen van RRAM te gebruiken om de geleidingswaarde op een niet-vluchtige manier te veranderen om de variabiliteit in analoge circuits tegen te gaan. We hebben een experimenteel systeem geïmplementeerd dat bestaat uit één pMUT-zendmembraan dat werkt op een frequentie van 111,9 kHz, twee pMUT-ontvangstmembranen (sensoren) die kerkuiloren simuleren, en één . We hebben het pMUT-detectiesysteem en de op RRAM gebaseerde ITD-computergrafiek experimenteel gekarakteriseerd om ons lokalisatiesysteem te testen en de hoekresolutie ervan te evalueren.
We vergelijken onze methode met een digitale implementatie op een microcontroller die dezelfde lokalisatietaak uitvoert met behulp van conventionele beamforming of neuromorfe methoden, evenals een veldprogrammable gate array (FPGA) voor ITD-schatting voorgesteld in de referentie. 47. Deze vergelijking benadrukt de concurrerende energie-efficiëntie van het voorgestelde op RRAM gebaseerde analoge neuromorfe systeem.
Een van de meest opvallende voorbeelden van een nauwkeurig en efficiënt objectlokalisatiesysteem is te vinden in kerkuil35,37,48. Bij zonsondergang en zonsopgang vertrouwt de kerkuil (Tyto Alba) voornamelijk op passief luisteren, waarbij hij actief op zoek gaat naar kleine prooien zoals veldmuizen of muizen. Deze auditieve experts kunnen auditieve signalen van prooien met verbazingwekkende nauwkeurigheid (ongeveer 2°) lokaliseren35, zoals weergegeven in figuur 1a. Kerkuilen leiden de locatie van geluidsbronnen in het azimut (horizontale) vlak af uit het verschil in inkomende vluchttijd (ITD) van de geluidsbron naar de twee oren. Het computermechanisme van ITD werd voorgesteld door Jeffress49,50 en berust op neurale geometrie en vereist twee sleutelcomponenten: een axon, de zenuwvezel van een neuron die als vertragingslijn fungeert, en een reeks coïncidentiedetectorneuronen georganiseerd in een computersysteem. grafiek zoals weergegeven in figuur 1b. Het geluid bereikt het oor met een azimut-afhankelijke tijdsvertraging (ITD). Het geluid wordt vervolgens omgezet in een piekpatroon in elk oor. De axonen van het linker- en rechteroor fungeren als vertragingslijnen en convergeren op CD-neuronen. Theoretisch zal slechts één neuron in een reeks overeenkomende neuronen tegelijkertijd input ontvangen (waarbij de vertraging precies wordt opgeheven) en maximaal vuren (naburige cellen zullen ook vuren, maar op een lagere frequentie). Het activeren van bepaalde neuronen codeert de positie van het doelwit in de ruimte zonder de ITD verder in hoeken om te zetten. Dit concept is samengevat in figuur 1c: als het geluid bijvoorbeeld van de rechterkant komt terwijl het ingangssignaal van het rechteroor een langer pad aflegt dan het pad van het linkeroor, compenseert het bijvoorbeeld het aantal ITD's, wanneer neuron 2 overeenkomt. Met andere woorden, elke CD reageert op een bepaalde ITD (ook wel optimale vertraging genoemd) als gevolg van axonale vertraging. De hersenen zetten dus temporele informatie om in ruimtelijke informatie. Er is anatomisch bewijs voor dit mechanisme gevonden37,51. Fasevergrendelde macronucleusneuronen slaan tijdelijke informatie op over binnenkomende geluiden: zoals hun naam al aangeeft, vuren ze op bepaalde signaalfasen. Toevalsdetectorneuronen van het Jeffress-model zijn te vinden in de laminaire kern. Ze ontvangen informatie van macronucleaire neuronen, waarvan de axonen fungeren als vertragingslijnen. De hoeveelheid vertraging die door de vertragingslijn wordt geleverd, kan worden verklaard door de lengte van het axon, evenals door een ander myelinisatiepatroon dat de geleidingssnelheid verandert. Geïnspireerd door het auditieve systeem van de kerkuil hebben we een biomimetisch systeem ontwikkeld voor het lokaliseren van objecten. De twee oren worden weergegeven door twee pMUT-ontvangers. De geluidsbron is de pMUT-zender die zich ertussen bevindt (Fig. 1a), en de rekengrafiek wordt gevormd door een raster van op RRAM gebaseerde CD-circuits (Fig. 1b, groen), die de rol spelen van CD-neuronen waarvan de input vertraagd is. door het circuit gedragen de vertragingslijnen (blauw) zich als axonen in de biologische tegenhanger. Het voorgestelde sensorische systeem verschilt qua werkfrequentie van die van de uil, wiens auditieve systeem werkt in het bereik van 1–8 kHz, maar in dit werk worden pMUT-sensoren gebruikt die werken op ongeveer 117 kHz. De selectie van een ultrasone transducer wordt overwogen op basis van technische en optimalisatiecriteria. Ten eerste verbetert het beperken van de ontvangstbandbreedte tot een enkele frequentie idealiter de meetnauwkeurigheid en vereenvoudigt de nabewerkingsstap. Bovendien heeft de werking in ultrageluid het voordeel dat de uitgezonden pulsen niet hoorbaar zijn en daarom mensen niet storen, aangezien hun gehoorbereik ~20-20 kHz bedraagt.
de kerkuil ontvangt geluidsgolven van een doelwit, in dit geval een bewegende prooi. De vluchttijd (ToF) van de geluidsgolf is voor elk oor verschillend (tenzij de prooi zich direct voor de uil bevindt). De stippellijn toont het pad dat geluidsgolven afleggen om de oren van de kerkuil te bereiken. Prooien kunnen nauwkeurig worden gelokaliseerd in het horizontale vlak op basis van het lengteverschil tussen de twee akoestische paden en het overeenkomstige interaurale tijdsverschil (ITD) (linkerafbeelding geïnspireerd op ref. 74, copyright 2002, Society for Neuroscience). In ons systeem genereert de pMUT-zender (donkerblauw) geluidsgolven die tegen het doel stuiteren. Gereflecteerde ultrasone golven worden ontvangen door twee pMUT-ontvangers (lichtgroen) en verwerkt door de neuromorfe processor (rechts). b Een computermodel van ITD (Jeffress) dat beschrijft hoe geluiden die de oren van de kerkuil binnenkomen eerst worden gecodeerd als fasevergrendelde pieken in de grote kern (NM) en vervolgens met behulp van een geometrisch gerangschikt raster van op elkaar afgestemde detectorneuronen in de lamellaire kern. Verwerking (Nederland) (links). Illustratie van een neuroITD-computergrafiek die vertragingslijnen en coïncidentiedetectorneuronen combineert, het uilenbiosensorsysteem kan worden gemodelleerd met behulp van op RRAM gebaseerde neuromorfe circuits (rechts). c Schematische weergave van het belangrijkste Jeffress-mechanisme: vanwege het verschil in ToF ontvangen de twee oren op verschillende tijdstippen geluidsstimuli en sturen ze axonen van beide uiteinden naar de detector. De axonen maken deel uit van een reeks coïncidentiedetectorneuronen (CD), die elk selectief reageren op sterk tijdsgecorreleerde input. Als gevolg hiervan worden alleen CD's waarvan de input met het kleinste tijdsverschil arriveert maximaal opgewonden (ITD wordt exact gecompenseerd). De CD codeert dan de hoekpositie van het doel.
Piëzo-elektrische micromechanische ultrasone transducers zijn schaalbare ultrasone transducers die kunnen worden geïntegreerd met geavanceerde CMOS-technologie31,32,33,52 en een lagere initiële spanning en een lager energieverbruik hebben dan traditionele volumetrische transducers53. In ons werk is de membraandiameter 880 µm en wordt de resonantiefrequentie verdeeld in het bereik van 110-117 kHz (Fig. 2a, zie Methoden voor details). In een batch van tien testapparaten was de gemiddelde kwaliteitsfactor ongeveer 50 (ref. 31). De technologie heeft industriële volwassenheid bereikt en is niet per se bio-geïnspireerd. Het combineren van informatie uit verschillende pMUT-films is een bekende techniek, en hoekinformatie kan worden verkregen uit pMUT's met behulp van bijvoorbeeld beamforming-technieken . De signaalverwerking die nodig is om de hoekinformatie te extraheren is echter niet geschikt voor metingen met laag vermogen. Het voorgestelde systeem combineert het neuromorfe gegevensvoorverwerkingscircuit pMUT met een op RRAM gebaseerde neuromorfe computergrafiek geïnspireerd op het Jeffress-model (Figuur 2c), wat een alternatieve energie-efficiënte en beperkte hardware-oplossing biedt. We voerden een experiment uit waarbij twee pMUT-sensoren ongeveer 10 cm uit elkaar werden geplaatst om de verschillende ToF-geluiden te benutten die door de twee ontvangende membranen werden ontvangen. Eén pMUT die als zender fungeert, bevindt zich tussen de ontvangers. Het doel was een PVC-plaat van 12 cm breed, gelegen op een afstand D vóór het pMUT-apparaat (Fig. 2b). De ontvanger neemt het door het object weerkaatste geluid op en reageert zoveel mogelijk tijdens het passeren van de geluidsgolf. Herhaal het experiment door de positie van het object te veranderen, bepaald door de afstand D en de hoek θ. Geïnspireerd door een link. 55 stellen we een neuromorfe voorverwerking voor van onbewerkte pMUT-signalen om gereflecteerde golven om te zetten in pieken om een ​​neuromorfe computationele grafiek in te voeren. De ToF die overeenkomt met de piekamplitude wordt uit elk van de twee kanalen gehaald en gecodeerd als de exacte timing van de individuele pieken. Op afb. Figuur 2c toont de schakelingen die nodig zijn om de pMUT-sensor te koppelen aan een op RRAM gebaseerde rekengrafiek: voor elk van de twee pMUT-ontvangers wordt het ruwe signaal banddoorlaatgefilterd om het glad te strijken, te corrigeren en vervolgens door te geven aan de lekkende integrator in de overwinnende modus. de dynamische drempel (Fig. 2d) creëert een outputgebeurtenis (piek) en een vurend (LIF) neuron: de outputpiektijd codeert voor de gedetecteerde vluchttijd. De LIF-drempel wordt gekalibreerd ten opzichte van de pMUT-respons, waardoor de pMUT-variabiliteit van apparaat tot apparaat wordt verminderd. Met deze aanpak genereren we, in plaats van de hele geluidsgolf in het geheugen op te slaan en deze later te verwerken, eenvoudigweg een piek die overeenkomt met de ToF van de geluidsgolf, die de invoer vormt voor de rekengrafiek van het resistieve geheugen. De pieken worden rechtstreeks naar de vertragingslijnen gestuurd en geparallelliseerd met matchdetectiemodules in neuromorfe berekeningsgrafieken. Omdat ze naar de poorten van de transistors worden gestuurd, zijn er geen extra versterkingscircuits vereist (zie aanvullende figuur 4 voor details). Om de hoeknauwkeurigheid van de lokalisatie door pMUT en de voorgestelde signaalverwerkingsmethode te evalueren, hebben we de ITD gemeten (dat wil zeggen het verschil in tijd tussen piekgebeurtenissen gegenereerd door twee ontvangers) naarmate de afstand en de hoek van het object varieerden. De ITD-analyse werd vervolgens omgezet in hoeken (zie Methoden) en uitgezet tegen de positie van het object: de onzekerheid in de gemeten ITD nam toe met de afstand en hoek tot het object (Fig. 2e, f). Het grootste probleem is de piek-ruisverhouding (PNR) in de pMUT-respons. Hoe verder het object, hoe lager het akoestische signaal, waardoor de PNR wordt verminderd (Fig. 2f, groene lijn). Een afname van de PNR leidt tot een toename van de onzekerheid in de ITD-schatting, wat resulteert in een toename van de lokalisatienauwkeurigheid (Fig. 2f, blauwe lijn). Voor een object op een afstand van 50 cm van de zender bedraagt ​​de hoeknauwkeurigheid van het systeem ongeveer 10°. Deze beperking die wordt opgelegd door de eigenschappen van de sensor kan worden verbeterd. De door de emitter uitgezonden druk kan bijvoorbeeld worden verhoogd, waardoor de spanning die het pMUT-membraan aandrijft, toeneemt. Een andere oplossing om het uitgezonden signaal te versterken is het aansluiten van meerdere zenders 56. Deze oplossingen zullen het detectiebereik vergroten ten koste van hogere energiekosten. Aan de ontvangende kant kunnen aanvullende verbeteringen worden aangebracht. De ruisvloer van de pMUT-ontvanger kan aanzienlijk worden verminderd door de verbinding tussen de pMUT en de eerste trapversterker te verbeteren, wat momenteel gebeurt met draadverbindingen en RJ45-kabels.
een afbeelding van een pMUT-kristal met zes membranen van 880 µm geïntegreerd met een steek van 1,5 mm. b Schema van de meetopstelling. Het doel bevindt zich op azimutpositie θ en op afstand D. De pMUT-zender genereert een signaal van 117,6 kHz dat van het doel terugkaatst en twee pMUT-ontvangers bereikt met verschillende vluchttijd (ToF). Dit verschil, gedefinieerd als het inter-aurale tijdsverschil (ITD), codeert de positie van een object en kan worden geschat door de piekrespons van de twee ontvangersensoren te schatten. c Schematische weergave van voorbewerkingsstappen voor het omzetten van het ruwe pMUT-signaal in pieksequenties (dwz invoer voor de neuromorfe berekeningsgrafiek). De pMUT-sensoren en neuromorfe computationele grafieken zijn vervaardigd en getest, en de neuromorfe voorverwerking is gebaseerd op softwaresimulatie. d Reactie van het pMUT-membraan na ontvangst van een signaal en de transformatie ervan in een piekdomein. e Experimentele hoeknauwkeurigheid van lokalisatie als functie van objecthoek (Θ) en afstand (D) tot het doelobject. De ITD-extractiemethode vereist een minimale hoekresolutie van ongeveer 4°C. f Hoeknauwkeurigheid (blauwe lijn) en overeenkomstige piek-ruisverhouding (groene lijn) versus objectafstand voor Θ = 0.
Resistief geheugen slaat informatie op in een niet-vluchtige geleidende toestand. Het basisprincipe van de methode is dat de modificatie van het materiaal op atomair niveau een verandering in de elektrische geleidbaarheid veroorzaakt57. Hier gebruiken we een op oxide gebaseerd resistief geheugen dat bestaat uit een 5 nm-laag hafniumdioxide, ingeklemd tussen de bovenste en onderste titanium- en titaniumnitride-elektroden. De geleidbaarheid van RRAM-apparaten kan worden gewijzigd door een stroom-/spanningsgolfvorm toe te passen die geleidende filamenten van zuurstofvacatures tussen de elektroden creëert of breekt. We hebben dergelijke apparaten co-geïntegreerd in een standaard 130 nm CMOS-proces om een ​​gefabriceerd herconfigureerbaar neuromorf circuit te creëren dat een coïncidentiedetector en een vertragingslijncircuit implementeert (Fig. 3a). De niet-vluchtige en analoge aard van het apparaat, gecombineerd met de gebeurtenisgestuurde aard van het neuromorfe circuit, minimaliseert het stroomverbruik. Het circuit heeft een instant aan/uit-functie: het werkt onmiddellijk nadat het is ingeschakeld, waardoor de stroom volledig kan worden uitgeschakeld wanneer het circuit inactief is. De belangrijkste bouwstenen van het voorgestelde schema worden getoond in Fig. 3b. Het bestaat uit N parallelle structuren met enkele weerstand en enkele transistor (1T1R) die synaptische gewichten coderen waaruit gewogen stromen worden afgenomen, geïnjecteerd in de gemeenschappelijke synaps van een differentiële paarintegrator (DPI) en uiteindelijk in de synaps geïnjecteerd met integratie en lekkage. geactiveerd (LIF) neuron 60 (zie Methoden voor details). De ingangspieken worden op de poort van de 1T1R-structuur toegepast in de vorm van een reeks spanningspulsen met een duur in de orde van honderden nanoseconden. Resistief geheugen kan in een hooggeleidende toestand (HCS) worden geplaatst door een externe positieve referentie toe te passen op Vtop wanneer Vbottom geaard is, en kan worden gereset naar een laag geleidende toestand (LCS) door een positieve spanning op Vbottom aan te leggen wanneer Vtop geaard is. De gemiddelde waarde van HCS kan worden geregeld door de programmeerstroom (conformiteit) van de SET (ICC) te beperken door de poortbronspanning van de serietransistor (Fig. 3c). De functies van RRAM in het circuit zijn tweeledig: ze sturen en wegen de ingangspulsen.
Scanning-elektronenmicroscoop (SEM) afbeelding van een blauw HfO2 1T1R RRAM-apparaat geïntegreerd in 130 nm CMOS-technologie met selectortransistors (650 nm breed) in groen. b Basisbouwstenen van het voorgestelde neuromorfe schema. De ingangsspanningspulsen (pieken) Vin0 en Vin1 verbruiken stroom Iweight, die evenredig is met de geleidingstoestanden G0 en G1 van de 1T1R-structuur. Deze stroom wordt in de DPI-synapsen geïnjecteerd en prikkelt de LIF-neuronen. RRAM G0 en G1 worden respectievelijk in HCS en LCS geïnstalleerd. c Functie van de cumulatieve geleidingsdichtheid voor een groep 16K RRAM-apparaten als een functie van ICC-stroomaanpassing, die effectief het geleidingsniveau regelt. d Circuitmetingen in (a) waaruit blijkt dat G1 (in de LCS) effectief de invoer van Vin1 (groen) blokkeert, en dat de membraanspanning van het uitgangsneuron inderdaad alleen reageert op de blauwe invoer van Vin0. RRAM bepaalt effectief de verbindingen in het circuit. e Meting van de schakeling in (b) die het effect toont van de geleidingswaarde G0 op de membraanspanning Vmem na het aanleggen van een spanningspuls Vin0. Hoe meer geleiding, hoe sterker de respons: het RRAM-apparaat implementeert dus I/O-verbindingsweging. Er zijn metingen aan het circuit uitgevoerd en demonstreren de dubbele functie van RRAM: routering en weging van ingangspulsen.
Ten eerste kunnen RRAM's, omdat er twee basisgeleidingstoestanden zijn (HCS en LCS), ingangspulsen blokkeren of missen wanneer ze zich respectievelijk in de LCS- of HCS-toestand bevinden. Als gevolg hiervan bepaalt RRAM effectief de verbindingen in het circuit. Dit is de basis om de architectuur te kunnen herconfigureren. Om dit aan te tonen, zullen we een gefabriceerde circuitimplementatie van het circuitblok in figuur 3b beschrijven. Het RRAM dat overeenkomt met GO wordt geprogrammeerd in de HCS, en het tweede RRAM G1 wordt geprogrammeerd in de LCS. Ingangspulsen worden toegepast op zowel Vin0 als Vin1. De effecten van twee reeksen invoerpulsen werden geanalyseerd in de uitvoerneuronen door de neuronmembraanspanning en het uitvoersignaal te verzamelen met behulp van een oscilloscoop. Het experiment was succesvol toen alleen het HCS-apparaat (G0) op de puls van het neuron was aangesloten om de membraanspanning te stimuleren. Dit wordt gedemonstreerd in figuur 3d, waar de blauwe pulstrein ervoor zorgt dat de membraanspanning op de membraancondensator wordt opgebouwd, terwijl de groene pulstrein de membraanspanning constant houdt.
De tweede belangrijke functie van RRAM is de implementatie van verbindingsgewichten. Met behulp van RRAM's analoge geleidingsaanpassing kunnen I/O-verbindingen dienovereenkomstig worden gewogen. In het tweede experiment werd het GO-apparaat geprogrammeerd op verschillende HCS-niveaus en werd de ingangspuls toegepast op de VIn0-ingang. De ingangspuls trekt een stroom (Iweight) van het apparaat, die evenredig is met de geleiding en de bijbehorende potentiaalval Vtop − Vbot. Deze gewogen stroom wordt vervolgens geïnjecteerd in de DPI-synapsen en LIF-uitgangsneuronen. De membraanspanning van de uitgangsneuronen werd geregistreerd met behulp van een oscilloscoop en weergegeven in figuur 3d. De spanningspiek van het neuronenmembraan als reactie op een enkele ingangspuls is evenredig met de geleiding van het resistieve geheugen, wat aantoont dat RRAM kan worden gebruikt als een programmeerbaar element met synaptisch gewicht. Deze twee voorlopige tests laten zien dat het voorgestelde op RRAM gebaseerde neuromorfe platform in staat is de basiselementen van het fundamentele Jeffress-mechanisme te implementeren, namelijk de vertragingslijn en het coïncidentiedetectorcircuit. Het circuitplatform wordt gebouwd door opeenvolgende blokken naast elkaar te stapelen, zoals de blokken in figuur 3b, en hun poorten te verbinden met een gemeenschappelijke invoerlijn. We hebben een neuromorf platform ontworpen, gefabriceerd en getest dat bestaat uit twee uitgangsneuronen die twee ingangen ontvangen (Fig. 4a). Het schakelschema wordt getoond in figuur 4b. De bovenste 2 x 2 RRAM-matrix maakt het mogelijk dat invoerpulsen naar twee uitgangsneuronen worden gestuurd, terwijl de onderste 2 x 2-matrix terugkerende verbindingen van twee neuronen (N0, N1) mogelijk maakt. We demonstreren dat dit platform kan worden gebruikt met een vertragingslijnconfiguratie en twee verschillende coïncidentiedetectorfuncties, zoals blijkt uit experimentele metingen in figuur 4c-e.
Schakelschema gevormd door twee uitgangsneuronen N0 en N1 die twee ingangen 0 en 1 ontvangen. De bovenste vier apparaten van de array definiëren synaptische verbindingen van ingang naar uitgang, en de onderste vier cellen definiëren terugkerende verbindingen tussen neuronen. De gekleurde RRAM's vertegenwoordigen de apparaten die in de HCS aan de rechterkant zijn geconfigureerd: de apparaten in de HCS staan ​​verbindingen toe en vertegenwoordigen gewichten, terwijl de apparaten in de LCS invoerpulsen blokkeren en verbindingen met uitgangen uitschakelen. b Diagram van circuit (a) met acht RRAM-modules blauw gemarkeerd. c Vertragingslijnen worden gevormd door simpelweg gebruik te maken van de dynamiek van DPI-synapsen en LIF-neuronen. Het groene RRAM is ingesteld op een geleiding die hoog genoeg is om na de ingangsvertraging Δt een storing aan de uitgang te kunnen veroorzaken. d Schematische weergave van richtingsongevoelige CD-detectie van tijdsafhankelijke signalen. Uitgangsneuron 1, N1, vuurt met een korte vertraging op ingangen 0 en 1. e Richtingsgevoelig CD-circuit, een circuit dat detecteert wanneer ingang 1 ingang 0 nadert en arriveert na ingang 0. De uitgang van het circuit wordt weergegeven door neuron 1 (N1).
De vertragingslijn (Figuur 4c) maakt eenvoudigweg gebruik van het dynamische gedrag van DPI-synapsen en LIF-neuronen om de inputpiek van Vin1 naar Vout1 te reproduceren door Tdel te vertragen. Alleen de G3 RRAM aangesloten op Vin1 en Vout1 wordt geprogrammeerd in HCS, de rest van de RRAM's wordt geprogrammeerd in LCS. Het G3-apparaat was geprogrammeerd op 92,6 µs om ervoor te zorgen dat elke ingangspuls de membraanspanning van het uitgangsneuron voldoende verhoogt om de drempel te bereiken en een vertraagde uitgangspuls te genereren. De vertraging Tdel wordt bepaald door de synaptische en neurale tijdconstanten. Toevalsdetectoren detecteren het optreden van tijdelijk gecorreleerde maar ruimtelijk verdeelde ingangssignalen. Richtingsongevoelige CD is afhankelijk van individuele input die convergeert naar een gemeenschappelijk outputneuron (Figuur 4d). De twee RRAM's die respectievelijk Vin0 en Vin1 verbinden met Vout1, G2 en G4 zijn geprogrammeerd voor hoge geleiding. Gelijktijdige aankomst van pieken op Vin0 en Vin1 verhoogt de spanning van het N1-neuronmembraan boven de drempel die nodig is om de uitgangspiek te genereren. Als de twee ingangen in de tijd te ver uit elkaar liggen, kan de lading op de membraanspanning die door de eerste ingang is geaccumuleerd, tijd krijgen om te vervallen, waardoor wordt voorkomen dat de membraanpotentiaal N1 de drempelwaarde bereikt. G1 en G2 zijn geprogrammeerd op ongeveer 65 µs, wat ervoor zorgt dat een enkele ingangspiek de membraanspanning niet voldoende verhoogt om een ​​uitgangspiek te veroorzaken. Detectie van toeval tussen gebeurtenissen verspreid over ruimte en tijd is een fundamentele operatie die wordt gebruikt bij een breed scala aan detectietaken, zoals het vermijden van obstakels op basis van optische stroom en lokalisatie van geluidsbronnen. Het berekenen van richtingsgevoelige en ongevoelige cd's is dus een fundamentele bouwsteen voor het construeren van visuele en audiolokalisatiesystemen. Zoals blijkt uit de kenmerken van de tijdconstanten (zie aanvullende figuur 2), implementeert het voorgestelde circuit een geschikt bereik van tijdschalen van vier ordes van grootte. Zo kan het tegelijkertijd voldoen aan de eisen van visuele en geluidssystemen. Richtinggevoelige CD is een circuit dat gevoelig is voor de ruimtelijke volgorde van aankomst van pulsen: van rechts naar links en omgekeerd. Het is een fundamentele bouwsteen in het basisbewegingsdetectienetwerk van het visuele systeem van Drosophila, dat wordt gebruikt om bewegingsrichtingen te berekenen en botsingen te detecteren62. Om een ​​richtingsgevoelige CD te bereiken, moeten twee ingangen naar twee verschillende neuronen (N0, N1) worden geleid en moet er een directionele verbinding tussen beide tot stand worden gebracht (Fig. 4e). Wanneer de eerste invoer wordt ontvangen, reageert NO door de spanning over het membraan boven de drempelwaarde te verhogen en een stroomstoot uit te zenden. Deze uitgangsgebeurtenis activeert op zijn beurt N1 dankzij de directionele verbinding die groen is gemarkeerd. Als een ingangsgebeurtenis Vin1 arriveert en N1 bekrachtigt terwijl de membraanspanning nog steeds hoog is, genereert N1 een uitgangsgebeurtenis die aangeeft dat er een match is gevonden tussen de twee ingangen. Dankzij directionele aansluitingen kan de N1 alleen output uitzenden als input 1 na input 0 komt. G0, G3 en G7 zijn geprogrammeerd op respectievelijk 73,5 µS, 67,3 µS en 40,2 µS, zodat een enkele piek op de input Vin0 een vertraagde werking veroorzaakt. uitgangspiek, terwijl de membraanpotentiaal van N1 alleen de drempel bereikt wanneer beide ingangssalvo's synchroon aankomen. .
Variabiliteit is een bron van imperfectie in gemodelleerde neuromorfe systemen63,64,65. Dit leidt tot heterogeen gedrag van neuronen en synapsen. Voorbeelden van dergelijke nadelen zijn onder meer een variabiliteit van 30% (gemiddelde standaardafwijking) in ingangsversterking, tijdconstante en refractaire periode, om er maar een paar te noemen (zie Methoden). Dit probleem is nog duidelijker wanneer meerdere neurale circuits met elkaar zijn verbonden, zoals een oriëntatiegevoelige CD die uit twee neuronen bestaat. Om goed te kunnen werken, moeten de versterkings- en vervaltijdconstanten van de twee neuronen zo vergelijkbaar mogelijk zijn. Een groot verschil in ingangsversterking kan er bijvoorbeeld voor zorgen dat één neuron overdreven reageert op een ingangspuls, terwijl het andere neuron nauwelijks reageert. Op afb. Figuur 5a laat zien dat willekeurig geselecteerde neuronen verschillend reageren op dezelfde invoerpuls. Deze neurale variabiliteit is bijvoorbeeld relevant voor de functie van richtingsgevoelige CD's. In het schema getoond in Fig. 5b, c is de ingangsversterking van neuron 1 veel hoger dan die van neuron 0. Neuron 0 heeft dus drie ingangspulsen nodig (in plaats van 1) om de drempel te bereiken, en neuron 1 heeft, zoals verwacht, twee ingangsgebeurtenissen nodig. Het implementeren van piektijdafhankelijke biomimetische plasticiteit (STDP) is een mogelijke manier om de impact van onnauwkeurige en trage neurale en synaptische circuits op de systeemprestaties te verzachten . Hier stellen we voor om het plastische gedrag van resistief geheugen te gebruiken als een manier om de versterking van neurale input te beïnvloeden en de effecten van variabiliteit in neuromorfe circuits te verminderen. Zoals weergegeven in afb. 4e moduleerden geleidingsniveaus geassocieerd met synaptische RRAM-massa effectief de overeenkomstige neurale membraanspanningsrespons. We gebruiken een iteratieve RRAM-programmeerstrategie. Voor een bepaalde invoer worden de geleidingswaarden van de synaptische gewichten opnieuw geprogrammeerd totdat het doelgedrag van het circuit is verkregen (zie Methoden).
a Experimentele metingen van de respons van negen willekeurig geselecteerde individuele neuronen op dezelfde ingangspuls. De respons varieert per populatie en beïnvloedt de inputversterking en de tijdconstante. b Experimentele metingen van de invloed van neuronen op de variabiliteit van neuronen die richtingsgevoelige CD beïnvloeden. De twee richtingsgevoelige CD-outputneuronen reageren verschillend op inputstimuli vanwege de variabiliteit van neuron tot neuron. Neuron 0 heeft een lagere ingangsversterking dan neuron 1, dus er zijn drie ingangspulsen nodig (in plaats van 1) om een ​​uitgangspiek te creëren. Zoals verwacht bereikt neuron 1 de drempel met twee invoergebeurtenissen. Als invoer 1 arriveert Δt = 50 µs nadat neuron 0 is geactiveerd, blijft CD stil omdat Δt groter is dan de tijdconstante van neuron 1 (ongeveer 22 µs). c wordt verminderd met Δt = 20 µs, zodat input 1 piekt wanneer het vuren van neuron 1 nog steeds hoog is, wat resulteert in de gelijktijdige detectie van twee inputgebeurtenissen.
De twee elementen die in de ITD-berekeningskolom worden gebruikt, zijn de vertragingslijn en de richtingsongevoelige CD. Beide circuits vereisen nauwkeurige kalibratie om goede objectpositioneringsprestaties te garanderen. De vertragingslijn moet een nauwkeurig vertraagde versie van de ingangspiek leveren (Fig. 6a), en de CD mag alleen worden geactiveerd wanneer de ingang binnen het doeldetectiebereik valt. Voor de vertragingslijn werden de synaptische gewichten van de ingangsverbindingen (G3 in figuur 4a) opnieuw geprogrammeerd totdat de doelvertraging was verkregen. Stel een tolerantie in rond de doelvertraging om het programma te stoppen: hoe kleiner de tolerantie, hoe moeilijker het is om de vertragingslijn met succes in te stellen. Op afb. Figuur 6b toont de resultaten van het kalibratieproces van de vertragingslijn: het is duidelijk dat het voorgestelde schema exact alle vertragingen kan bieden die nodig zijn in het ontwerpschema (van 10 tot 300 μs). Het maximale aantal kalibratie-iteraties heeft invloed op de kwaliteit van het kalibratieproces: 200 iteraties kunnen de fout terugbrengen tot minder dan 5%. Eén kalibratie-iteratie komt overeen met een instel-/resetbewerking van een RRAM-cel. Het afstemmingsproces is ook van cruciaal belang voor het verbeteren van de nauwkeurigheid van de detectie van onmiddellijke close-gebeurtenissen van de CD-module. Er waren tien kalibratie-iteraties nodig om een ​​echt positief percentage (dwz het percentage gebeurtenissen dat correct als relevant werd geïdentificeerd) boven de 95% te bereiken (blauwe lijn in figuur 6c). Het afstemmingsproces had echter geen invloed op vals-positieve gebeurtenissen (dat wil zeggen de frequentie van gebeurtenissen die ten onrechte als relevant werden geïdentificeerd). Een andere methode die in biologische systemen wordt waargenomen om de tijdsbeperkingen van snel activerende routes te overwinnen, is redundantie (dat wil zeggen dat er veel kopieën van hetzelfde object worden gebruikt om een ​​bepaalde functie uit te voeren). Geïnspireerd door de biologie66 hebben we in elke CD-module verschillende CD-circuits tussen de twee vertragingslijnen geplaatst om de impact van valse positieven te verminderen. Zoals weergegeven in afb. 6c (groene lijn), kan het plaatsen van drie CD-elementen in elke CD-module het aantal valse alarmen terugbrengen tot minder dan 10–2.
a Effect van neuronale variabiliteit op vertragingslijncircuits. b Vertragingslijncircuits kunnen worden geschaald naar grote vertragingen door de tijdconstanten van de overeenkomstige LIF-neuronen en DPI-synapsen op grote waarden in te stellen. Door het aantal iteraties van de RRAM-kalibratieprocedure te vergroten, werd het mogelijk om de nauwkeurigheid van de doelvertraging aanzienlijk te verbeteren: 200 iteraties reduceerden de fout tot minder dan 5%. Eén iteratie komt overeen met een SET/RESET-bewerking op een RRAM-cel. Elke CD-module in het c Jeffress-model kan worden geïmplementeerd met behulp van N parallelle CD-elementen voor meer flexibiliteit met betrekking tot systeemstoringen. d Meer RRAM-kalibratie-iteraties verhogen het werkelijk positieve percentage (blauwe lijn), terwijl het fout-positieve percentage onafhankelijk is van het aantal iteraties (groene lijn). Door meer cd-elementen parallel te plaatsen, wordt valse detectie van overeenkomsten met cd-modules voorkomen.
We evalueren nu de prestaties en het energieverbruik van het end-to-end geïntegreerde objectlokalisatiesysteem getoond in Figuur 2 met behulp van metingen van de akoestische eigenschappen van de pMUT-sensor, CD en vertragingslijncircuits die deel uitmaken van de neuromorfe computergrafiek. Jeffress-model (Fig. 1a). Wat de neuromorfe computergrafiek betreft: hoe groter het aantal CD-modules, hoe beter de hoekresolutie, maar ook hoe hoger de energie van het systeem (Fig. 7a). Er kan een compromis worden bereikt door de nauwkeurigheid van individuele componenten (pMUT-sensoren, neuronen en synaptische circuits) te vergelijken met de nauwkeurigheid van het hele systeem. De resolutie van de vertragingslijn wordt beperkt door de tijdconstanten van de gesimuleerde synapsen en neuronen, die in ons schema groter zijn dan 10 µs, wat overeenkomt met een hoekresolutie van 4 ° (zie Methoden). Meer geavanceerde knooppunten met CMOS-technologie zullen het ontwerp van neurale en synaptische circuits met lagere tijdconstanten mogelijk maken, wat resulteert in een hogere nauwkeurigheid van de vertragingslijnelementen. In ons systeem wordt de nauwkeurigheid echter beperkt door de fout pMUT bij het schatten van de hoekpositie, dwz 10° (blauwe horizontale lijn in figuur 7a). We hebben het aantal CD-modules vastgesteld op 40, wat overeenkomt met een hoekresolutie van ongeveer 4 °, dat wil zeggen de hoeknauwkeurigheid van de rekengrafiek (lichtblauwe horizontale lijn in figuur 7a). Op systeemniveau levert dit een resolutie op van 4° en een nauwkeurigheid van 10° voor objecten die zich 50 cm voor het sensorsysteem bevinden. Deze waarde is vergelijkbaar met de neuromorfe geluidslokalisatiesystemen gerapporteerd in ref. 67. Een vergelijking van het voorgestelde systeem met de stand van de techniek is te vinden in aanvullende tabel 1. Het toevoegen van extra pMUT's, het verhogen van het akoestische signaalniveau en het verminderen van elektronische ruis zijn mogelijke manieren om de lokalisatienauwkeurigheid verder te verbeteren. ) wordt geschat op 9,7. nl. 55. Gegeven 40 CD-eenheden in de rekengrafiek schatte de SPICE-simulatie de energie per operatie (dat wil zeggen de energie voor het positioneren van objecten) op 21,6 nJ. Het neuromorfe systeem wordt alleen geactiveerd als er een invoergebeurtenis plaatsvindt, dat wil zeggen als een akoestische golf een pMUT-ontvanger bereikt en de detectiedrempel overschrijdt; anders blijft het inactief. Dit voorkomt onnodig stroomverbruik wanneer er geen ingangssignaal is. Rekening houdend met een frequentie van lokalisatiebewerkingen van 100 Hz en een activeringsperiode van 300 µs per bewerking (de maximaal mogelijke ITD), bedraagt ​​het energieverbruik van de neuromorfe computergrafiek 61,7 nW. Met neuromorfe voorverwerking toegepast op elke pMUT-ontvanger bereikt het stroomverbruik van het hele systeem 81,6 nW. Om de energie-efficiëntie van de voorgestelde neuromorfe benadering te begrijpen in vergelijking met conventionele hardware, hebben we dit getal vergeleken met de energie die nodig is om dezelfde taak uit te voeren op een moderne microcontroller met laag vermogen die gebruik maakt van neuromorfe of conventionele beamforming68 Skill. De neuromorfe benadering houdt rekening met een analoog-naar-digitaal-omzetter (ADC)-fase, gevolgd door een banddoorlaatfilter en een envelop-extractiefase (Teeger-Kaiser-methode). Ten slotte wordt een drempelbewerking uitgevoerd om de ToF te extraheren. We hebben de berekening van ITD op basis van ToF en de conversie naar de geschatte hoekpositie achterwege gelaten, aangezien dit voor elke meting één keer gebeurt (zie Methoden). Uitgaande van een bemonsteringsfrequentie van 250 kHz op beide kanalen (pMUT-ontvangers), 18 banddoorlaatfilterbewerkingen, 3 envelopextractiebewerkingen en 1 drempelbewerking per monster, wordt het totale energieverbruik geschat op 245 microwatt. Hierbij wordt gebruik gemaakt van de energiezuinige modus69 van de microcontroller, die wordt ingeschakeld als de algoritmen niet worden uitgevoerd, waardoor het energieverbruik wordt teruggebracht tot 10,8 µW. Het energieverbruik van de bundelvormende signaalverwerkingsoplossing die in de referentie wordt voorgesteld. 31, met 5 pMUT-ontvangers en 11 bundels gelijkmatig verdeeld in het azimutvlak [-50°, +50°], is 11,71 mW (zie het gedeelte Methoden voor details). Daarnaast rapporteren we het energieverbruik van een op FPGA47 gebaseerde Time Difference Encoder (TDE), geschat op 1,5 mW, ter vervanging van het Jeffress-model voor objectlokalisatie. Op basis van deze schattingen vermindert de voorgestelde neuromorfe aanpak het energieverbruik met vijf ordes van grootte in vergelijking met een microcontroller die klassieke beamforming-technieken gebruikt voor objectlokalisatieoperaties. Door een neuromorfe benadering van signaalverwerking op een klassieke microcontroller toe te passen, wordt het energieverbruik met ongeveer twee ordes van grootte verminderd. De effectiviteit van het voorgestelde systeem kan worden verklaard door de combinatie van een asynchrone analoge schakeling met resistief geheugen die in het geheugen berekeningen kan uitvoeren en het gebrek aan analoog-naar-digitaal-conversie die nodig is om signalen waar te nemen.
a Hoekresolutie (blauw) en stroomverbruik (groen) van de lokalisatiebewerking, afhankelijk van het aantal CD-modules. De donkerblauwe horizontale balk vertegenwoordigt de hoeknauwkeurigheid van de PMUT en de lichtblauwe horizontale balk vertegenwoordigt de hoeknauwkeurigheid van de neuromorfe computergrafiek. b Stroomverbruik van het voorgestelde systeem en vergelijking met de twee besproken microcontroller-implementaties en de digitale implementatie van de Time Difference Encoder (TDE)47 FPGA.
Om het stroomverbruik van het doellokalisatiesysteem te minimaliseren, hebben we een efficiënt, gebeurtenisgestuurd, op RRAM gebaseerd neuromorf circuit bedacht, ontworpen en geïmplementeerd dat de signaalinformatie verwerkt die door de ingebouwde sensoren wordt gegenereerd om de positie van het doelobject in werkelijkheid te berekenen. tijd. . Terwijl traditionele verwerkingsmethoden voortdurend gedetecteerde signalen bemonsteren en berekeningen uitvoeren om nuttige informatie te extraheren, voert de voorgestelde neuromorfe oplossing berekeningen asynchroon uit zodra nuttige informatie binnenkomt, waardoor de energie-efficiëntie van het systeem met vijf ordes van grootte wordt gemaximaliseerd. Daarnaast benadrukken we de flexibiliteit van op RRAM gebaseerde neuromorfe circuits. Het vermogen van RRAM om de geleiding op een niet-vluchtige manier (plasticiteit) te veranderen, compenseert de inherente variabiliteit van de synaptische en neurale circuits van analoge DPI met ultralaag vermogen. Dit maakt dit op RRAM gebaseerde circuit veelzijdig en krachtig. Ons doel is niet om complexe functies of patronen uit signalen te halen, maar om objecten in realtime te lokaliseren. Ons systeem kan het signaal ook efficiënt comprimeren en uiteindelijk naar verdere verwerkingsstappen sturen om indien nodig complexere beslissingen te nemen. In de context van lokalisatietoepassingen kan onze neuromorfe voorverwerkingsstap informatie verschaffen over de locatie van objecten. Deze informatie kan bijvoorbeeld worden gebruikt voor bewegingsdetectie of gebarenherkenning. We benadrukken het belang van het combineren van sensoren met ultralaag vermogen, zoals pMUT's, met elektronica met ultralaag vermogen. Hiervoor zijn neuromorfe benaderingen van cruciaal belang geweest, omdat ze ons ertoe hebben gebracht nieuwe circuitimplementaties te ontwikkelen van biologisch geïnspireerde computermethoden zoals het Jeffress-model. In de context van sensorfusietoepassingen kan ons systeem worden gecombineerd met verschillende op gebeurtenissen gebaseerde sensoren om nauwkeurigere informatie te verkrijgen. Hoewel uilen uitstekend zijn in het vinden van prooien in het donker, hebben ze een uitstekend gezichtsvermogen en voeren ze een gecombineerde auditieve en visuele zoektocht uit voordat ze een prooi vangen70. Wanneer een bepaald auditief neuron vuurt, ontvangt de uil de informatie die hij nodig heeft om te bepalen in welke richting hij zijn visuele zoektocht moet beginnen, waardoor zijn aandacht op een klein deel van de visuele scène wordt gevestigd. Een combinatie van visuele sensoren (DVS-camera) en een voorgestelde luistersensor (gebaseerd op pMUT) moet worden onderzocht voor de ontwikkeling van toekomstige autonome agenten.
De pMUT-sensor bevindt zich op een printplaat met twee ontvangers op ongeveer 10 cm afstand van elkaar, en de zender bevindt zich tussen de ontvangers. In dit werk is elk membraan een zwevende bimorfe structuur bestaande uit twee lagen piëzo-elektrisch aluminiumnitride (AlN) van 800 nm dik, ingeklemd tussen drie lagen molybdeen (Mo) van 200 nm dik en bedekt met een laag van 200 nm dik. de bovenste passiverende SiN-laag zoals beschreven in de referentie. 71. De binnenste en buitenste elektroden worden aangebracht op de onderste en bovenste lagen molybdeen, terwijl de middelste molybdeenelektrode geen patroon heeft en als aarde wordt gebruikt, wat resulteert in een membraan met vier paar elektroden.
Deze architectuur maakt het gebruik van een gemeenschappelijke membraanvervorming mogelijk, wat resulteert in een verbeterde zend- en ontvangstgevoeligheid. Een dergelijke pMUT vertoont doorgaans een excitatiegevoeligheid van 700 nm/V als emitter, wat een oppervlaktedruk van 270 Pa/V oplevert. Als ontvanger vertoont één pMUT-film een ​​kortsluitgevoeligheid van 15 nA/Pa, wat rechtstreeks verband houdt met de piëzo-elektrische coëfficiënt van AlN. De technische variabiliteit van de spanning in de AlN-laag leidt tot een verandering in de resonantiefrequentie, die kan worden gecompenseerd door een DC-voorspanning op de pMUT aan te leggen. De DC-gevoeligheid werd gemeten bij 0,5 kHz/V. Voor akoestische karakterisering wordt een microfoon vóór de pMUT gebruikt.
Om de echopuls te meten, hebben we voor de pMUT een rechthoekige plaat met een oppervlakte van ongeveer 50 cm2 geplaatst om de uitgezonden geluidsgolven te reflecteren. Zowel de afstand tussen de platen als de hoek ten opzichte van het pMUT-vlak worden geregeld met behulp van speciale houders. Een Tectronix CPX400DP-spanningsbron stuurt drie pMUT-membranen voor, waardoor de resonantiefrequentie wordt afgestemd op 111,9 kHz31, terwijl de zenders worden aangedreven door een Tectronix AFG 3102-pulsgenerator afgestemd op de resonantiefrequentie (111,9 kHz) en een werkcyclus van 0,01. De stromen die uit de vier uitgangspoorten van elke pMUT-ontvanger worden gelezen, worden omgezet in spanningen met behulp van een speciale differentiële stroom- en spanningsarchitectuur, en de resulterende signalen worden gedigitaliseerd door het Spektrum-data-acquisitiesysteem. De detectielimiet werd gekenmerkt door pMUT-signaalverwerving onder verschillende omstandigheden: we verplaatsten de reflector naar verschillende afstanden [30, 40, 50, 60, 80, 100] cm en veranderden de pMUT-steunhoek ([0, 20, 40] o ) Figuur 2b toont de temporele ITD-detectieresolutie afhankelijk van de overeenkomstige hoekpositie in graden.
Dit artikel maakt gebruik van twee verschillende standaard RRAM-circuits. De eerste is een array van 16.384 (16.000) apparaten (128 x 128 apparaten) in een 1T1R-configuratie met één transistor en één weerstand. De tweede chip is het neuromorfe platform getoond in figuur 4a. De RRAM-cel bestaat uit een 5 nm dikke HfO2-film ingebed in een TiN/HfO2/Ti/TiN-stapel. De RRAM-stack is geïntegreerd in de back-of-line (BEOL) van het standaard 130 nm CMOS-proces. Op RRAM gebaseerde neuromorfe circuits vormen een ontwerpuitdaging voor volledig analoge elektronische systemen waarin RRAM-apparaten naast traditionele CMOS-technologie bestaan. In het bijzonder moet de geleidingstoestand van het RRAM-apparaat worden gelezen en gebruikt als functievariabele voor het systeem. Daartoe is een circuit ontworpen, gefabriceerd en getest dat de stroom van het apparaat leest wanneer een ingangspuls wordt ontvangen en deze stroom gebruikt om de respons van een differentiële paarintegrator (DPI) synaps te wegen. Dit circuit wordt getoond in figuur 3a, dat de basisbouwstenen vertegenwoordigt van het neuromorfe platform in figuur 4a. Een ingangspuls activeert de poort van het 1T1R-apparaat, waardoor een stroom door RRAM wordt geïnduceerd die evenredig is met de geleiding G van het apparaat (Iweight = G(Vtop – Vx)). De inverterende ingang van het operationele versterkercircuit (op-amp) heeft een constante DC-voorspanning Vtop. De negatieve feedback van de op-amp levert Vx = Vtop door gelijke stroom uit M1 te leveren. Het huidige Iweight dat uit het apparaat wordt opgehaald, wordt in de DPI-synaps geïnjecteerd. Een sterkere stroom zal resulteren in meer depolarisatie, dus RRAM-geleiding implementeert effectief synaptische gewichten. Deze exponentiële synaptische stroom wordt geïnjecteerd door de membraancondensator van de Leaky Integration and Excitation (LIF) neuronen, waar het wordt geïntegreerd als een spanning. Als de drempelspanning van het membraan (de schakelspanning van de omvormer) wordt overschreden, wordt het uitgangsgedeelte van het neuron geactiveerd, waardoor een uitgangspiek ontstaat. Deze puls keert terug en shunt de membraancondensator van het neuron naar aarde, waardoor deze ontlaadt. Dit circuit wordt vervolgens aangevuld met een pulsexpander (niet getoond in figuur 3a), die de uitgangspuls van het LIF-neuron vormgeeft aan de doelpulsbreedte. Er zijn ook multiplexers in elke lijn ingebouwd, waardoor spanning kan worden toegepast op de bovenste en onderste elektroden van het RRAM-apparaat.
Elektrisch testen omvat het analyseren en vastleggen van het dynamische gedrag van analoge circuits, evenals het programmeren en uitlezen van RRAM-apparaten. Voor beide stappen is speciaal gereedschap nodig, dat allemaal tegelijkertijd op het sensorbord wordt aangesloten. Toegang tot RRAM-apparaten in neuromorfe circuits wordt uitgevoerd vanaf externe hulpmiddelen via een multiplexer (MUX). De MUX scheidt de 1T1R-cel van de rest van de circuits waartoe deze behoort, waardoor het apparaat kan worden gelezen en/of geprogrammeerd. Om RRAM-apparaten te programmeren en te lezen, wordt een Keithley 4200 SCS-machine gebruikt in combinatie met een Arduino-microcontroller: de eerste voor nauwkeurige pulsgeneratie en stroommeting, en de tweede voor snelle toegang tot individuele 1T1R-elementen in de geheugenarray. De eerste bewerking is het vormen van het RRAM-apparaat. De cellen worden één voor één geselecteerd en er wordt een positieve spanning aangelegd tussen de bovenste en onderste elektroden. In dit geval is de stroom beperkt tot de orde van tientallen microampères als gevolg van de toevoer van de corresponderende poortspanning naar de selectietransistor. De RRAM-cel kan vervolgens schakelen tussen een lage geleidende toestand (LCS) en een hoge geleidende toestand (HCS) met behulp van respectievelijk RESET- en SET-bewerkingen. De SET-bewerking wordt uitgevoerd door een rechthoekige spanningspuls met een duur van 1 μs en een piekspanning van 2,0-2,5 V aan te leggen op de bovenste elektrode, en een synchronisatiepuls van soortgelijke vorm met een piekspanning van 0,9-1,3 V op de bovenste elektrode. de poort van de selectietransistor. Deze waarden maken het mogelijk de RRAM-geleiding te moduleren met intervallen van 20-150 µs. Voor RESET wordt een 1 µs brede, 3 V piekpuls toegepast op de onderste elektrode (bitlijn) van de cel wanneer de poortspanning in het bereik van 2,5-3,0 V ligt. De in- en uitgangen van de analoge circuits zijn dynamische signalen. . Voor invoer hebben we twee HP 8110-pulsgeneratoren afgewisseld met Tektronix AFG3011-signaalgeneratoren. De ingangspuls heeft een breedte van 1 µs en een stijg-/dalflank van 50 ns. Er wordt aangenomen dat dit type puls een typische storing is in op analoge glitch gebaseerde circuits. Wat het uitgangssignaal betreft, werd het uitgangssignaal opgenomen met behulp van een Teledyne LeCroy 1 GHz-oscilloscoop. Het is bewezen dat de acquisitiesnelheid van een oscilloscoop geen beperkende factor is bij de analyse en acquisitie van circuitgegevens.
Het gebruik van de dynamiek van analoge elektronica om het gedrag van neuronen en synapsen te simuleren is een elegante en efficiënte oplossing om de rekenefficiëntie te verbeteren. Het nadeel van deze computationele onderlaag is dat deze van schema tot schema zal variëren. We hebben de variabiliteit van neuronen en synaptische circuits gekwantificeerd (aanvullende figuur 2a, b). Van alle uitingen van variabiliteit hebben die welke verband houden met tijdconstanten en inputversterking de grootste impact op systeemniveau. De tijdconstante van het LIF-neuron en de DPI-synaps wordt bepaald door een RC-circuit, waarbij de waarde van R wordt bestuurd door een voorspanning die wordt aangelegd op de poort van de transistor (Vlk voor het neuron en Vtau voor de synaps), waardoor de lekkage tarief. Ingangsversterking wordt gedefinieerd als de piekspanning die wordt bereikt door de synaptische en neuronale membraancondensatoren, gestimuleerd door een ingangspuls. De ingangsversterking wordt geregeld door een andere bias-transistor die de ingangsstroom moduleert. Een Monte Carlo-simulatie, gekalibreerd op het 130 nm-proces van ST Microelectronics, werd uitgevoerd om enkele invoerversterking en tijdconstantestatistieken te verzamelen. De resultaten worden gepresenteerd in aanvullende figuur 2, waar de ingangsversterking en de tijdconstante worden gekwantificeerd als een functie van de voorspanning die de leksnelheid regelt. Groene markeringen kwantificeren de standaardafwijking van de tijdconstante ten opzichte van het gemiddelde. Zowel neuronen als synaptische circuits waren in staat een breed scala aan tijdconstanten uit te drukken in het bereik van 10-5-10-2 s, zoals weergegeven in het aanvullende figuurschema. Inputamplificatie (aanvullende figuur 2e, d) van neuronale en synapsvariabiliteit was respectievelijk ongeveer 8% en 3%. Een dergelijk tekort is goed gedocumenteerd in de literatuur: er zijn verschillende metingen uitgevoerd op de reeks DYNAP-chips om de mismatch tussen populaties LIF63-neuronen te beoordelen. De synapsen in de BrainScale gemengde signaalchip werden gemeten en hun inconsistenties geanalyseerd, en een kalibratieprocedure werd voorgesteld om het effect van variabiliteit op systeemniveau te verminderen64.
De functie van RRAM in neuromorfe circuits is tweeledig: architectuurdefinitie (routering van ingangen naar uitgangen) en implementatie van synaptische gewichten. Deze laatste eigenschap kan worden gebruikt om het probleem van de variabiliteit van de gemodelleerde neuromorfe circuits op te lossen. We hebben een eenvoudige kalibratieprocedure ontwikkeld waarbij het RRAM-apparaat opnieuw moet worden geprogrammeerd totdat het geanalyseerde circuit aan bepaalde eisen voldoet. Voor een bepaalde invoer wordt de uitvoer bewaakt en wordt het RRAM opnieuw geprogrammeerd totdat het doelgedrag wordt bereikt. Er werd een wachttijd van 5 s geïntroduceerd tussen programmeerbewerkingen om het probleem van RRAM-relaxatie op te lossen, resulterend in voorbijgaande geleidingsfluctuaties (aanvullende informatie). Synaptische gewichten worden aangepast of gekalibreerd volgens de vereisten van het neuromorfe circuit dat wordt gemodelleerd. De kalibratieprocedure is samengevat in aanvullende algoritmen [1, 2] die zich richten op twee fundamentele kenmerken van neuromorfe platforms, vertragingslijnen en richtingsongevoelige CD. Voor een circuit met een vertragingslijn is het doelgedrag het leveren van een uitgangspuls met een vertraging Δt. Als de werkelijke circuitvertraging kleiner is dan de doelwaarde, moet het synaptische gewicht van G3 worden verminderd (G3 moet worden gereset en vervolgens worden ingesteld op een lagere aanpassingsstroom Icc). Omgekeerd, als de werkelijke vertraging groter is dan de doelwaarde, moet de geleiding van G3 worden vergroot (G3 moet eerst worden gereset en vervolgens op een hogere Icc-waarde worden ingesteld). Dit proces wordt herhaald totdat de door het circuit gegenereerde vertraging overeenkomt met de doelwaarde en er een tolerantie is ingesteld om het kalibratieproces te stoppen. Voor oriëntatie-ongevoelige CD's zijn twee RRAM-apparaten, G1 en G3, betrokken bij het kalibratieproces. Deze schakeling heeft twee ingangen, Vin0 en Vin1, vertraagd met dt. Het circuit mag alleen reageren op vertragingen onder het aanpassingsbereik [0,dtCD]. Als er geen outputpiek is, maar de inputpiek dichtbij is, moeten beide RRAM-apparaten worden versterkt om het neuron te helpen de drempel te bereiken. Omgekeerd, als het circuit reageert op een vertraging die het doelbereik van dtCD overschrijdt, moet de geleiding worden verminderd. Herhaal het proces totdat het juiste gedrag is verkregen. De compliantiestroom kan worden gemoduleerd door het ingebouwde analoge circuit in ref. 72,73. Met dit ingebouwde circuit kunnen dergelijke procedures periodiek worden uitgevoerd om het systeem te kalibreren of te hergebruiken voor een andere toepassing.
We evalueren het stroomverbruik van onze neuromorfe signaalverwerkingsaanpak op een standaard 32-bits microcontroller68. Bij deze evaluatie gaan we uit van een werking met dezelfde opstelling als in dit artikel, met één pMUT-zender en twee pMUT-ontvangers. Deze methode maakt gebruik van een banddoorlaatfilter, gevolgd door een envelopextractiestap (Teeger-Kaiser), en tenslotte wordt een drempelbewerking op het signaal toegepast om de vluchttijd te extraheren. De berekening van de ITD en de omrekening ervan naar detectiehoeken worden bij de evaluatie achterwege gelaten. We beschouwen een banddoorlaatfilterimplementatie met behulp van een oneindig impulsresponsfilter van de 4e orde dat 18 drijvende-kommabewerkingen vereist. Envelopextractie gebruikt nog drie drijvende-kommabewerkingen, en de laatste bewerking wordt gebruikt om de drempelwaarde in te stellen. Er zijn in totaal 22 drijvende-kommabewerkingen nodig om het signaal voor te verwerken. Het verzonden signaal is een korte burst van 111,9 kHz sinusgolfvorm die elke 10 ms wordt gegenereerd, wat resulteert in een positioneringswerkfrequentie van 100 Hz. We gebruikten een bemonsteringsfrequentie van 250 kHz om te voldoen aan Nyquist en een venster van 6 ms voor elke meting om een ​​bereik van 1 meter vast te leggen. Houd er rekening mee dat 6 milliseconden de vliegtijd is van een object dat zich op 1 meter afstand bevindt. Dit levert een stroomverbruik op van 180 µW voor A/D-conversie bij 0,5 MSPS. De signaalvoorverwerking bedraagt ​​6,60 MIPS (instructies per seconde), wat 0,75 mW genereert. De microcontroller kan echter overschakelen naar een energiebesparende modus 69 wanneer het algoritme niet actief is. Deze modus levert een statisch energieverbruik van 10,8 μW en een wektijd van 113 μs. Gegeven een klokfrequentie van 84 MHz voltooit de microcontroller alle bewerkingen van het neuromorfe algoritme binnen 10 ms, en het algoritme berekent een duty-cycle van 6,3%, waardoor gebruik wordt gemaakt van een energiezuinige modus. Het resulterende vermogensverlies bedraagt ​​244,7 μW. Merk op dat we de ITD-uitvoer van ToF en de conversie naar detectiehoek weglaten, waardoor we het stroomverbruik van de microcontroller onderschatten. Dit levert extra waarde op voor de energie-efficiëntie van het voorgestelde systeem. Als aanvullende vergelijkingsvoorwaarde evalueren we het energieverbruik van de klassieke bundelvormingsmethoden die in de referentie worden voorgesteld. 31,54 indien ingebed in dezelfde microcontroller68 bij een voedingsspanning van 1,8 V. Vijf gelijkmatig verdeelde pMUT-membranen worden gebruikt om gegevens voor bundelvorming te verzamelen. Wat de verwerking zelf betreft, is de gebruikte bundelvormingsmethode vertragingssommen. Het bestaat eenvoudigweg uit het toepassen van een vertraging op de rijstroken die overeenkomt met het verwachte verschil in aankomsttijd tussen één rijstrook en de referentiestrook. Als de signalen in fase zijn, zal de som van deze signalen na een tijdverschuiving een hoge energie hebben. Als ze uit fase zijn, zal destructieve interferentie de energie van hun som beperken. in een relatie. Op afb. 31 wordt een bemonsteringssnelheid van 2 MHz geselecteerd om de gegevens over een geheel aantal monsters in de tijd te verschuiven. Een meer bescheiden benadering is het handhaven van een grovere bemonsteringsfrequentie van 250 kHz en het gebruik van een Finite Impulse Response (FIR)-filter om fractionele vertragingen te synthetiseren. We gaan ervan uit dat de complexiteit van het bundelvormingsalgoritme voornamelijk wordt bepaald door de tijdverschuiving, aangezien elk kanaal wordt geconvolueerd met een FIR-filter met 16 aftakkingen in elke richting. Om het aantal MIPS te berekenen dat nodig is voor deze operatie, beschouwen we een venster van 6 ms per meting om een ​​bereik van 1 meter, 5 kanalen, 11 bundelvormingsrichtingen vast te leggen (bereik +/- 50° in stappen van 10°). 75 metingen per seconde duwden de microcontroller naar het maximum van 100 MIPS. Link. 68, resulterend in een vermogensdissipatie van 11,26 mW voor een totaal vermogensdissipatie van 11,71 mW na optelling van de ingebouwde ADC-bijdrage.
Gegevens die de resultaten van dit onderzoek ondersteunen, zijn op redelijk verzoek verkrijgbaar bij de respectieve auteur, FM.
Indiveri, G. & Sandamirskaya, Y. Het belang van ruimte en tijd voor signaalverwerking in neuromorfe agenten: de uitdaging van het ontwikkelen van autonome agenten met laag vermogen die interageren met de omgeving. Indiveri, G. & Sandamirskaya, Y. Het belang van ruimte en tijd voor signaalverwerking in neuromorfe agenten: de uitdaging van het ontwikkelen van autonome agenten met laag vermogen die interageren met de omgeving.Indiveri G. en Sandamirskaya Y. Het belang van ruimte en tijd voor signaalverwerking in neuromorfe agenten: de uitdaging van het ontwikkelen van autonome agenten met een laag vermogen die interageren met de omgeving. Indiveri, G. & Sandamirskaya, Y.空间和时间对于神经形态代理中信号处理的重要性:开发与环境互的低功耗、自主代理的挑战。 Indiveri, G. & Sandamirskaya, Y.Indiveri G. en Sandamirskaya Y. Het belang van ruimte en tijd voor signaalverwerking in neuromorfe agenten: de uitdaging van het ontwikkelen van autonome agenten met een laag vermogen die interageren met de omgeving.IEEE-signaalverwerking. Tijdschrift 36, 16–28 (2019).
Thorpe, SJ Piekaankomsttijd: een efficiënt coderingsschema voor neurale netwerken. in Eckmiller, R., Hartmann, G. & Hauske, G. (red.). in Eckmiller, R., Hartmann, G. & Hauske, G. (red.).in Eckmiller, R., Hartmann, G. en Hauske, G. (red.).In Eckmiller, R., Hartmann, G., en Hauske, G. (red.). Parallelle verwerking in neurale systemen en computers 91–94 (Noord-Holland Elsevier, 1990).
Levy, WB & Calvert, VG Communicatie verbruikt 35 keer meer energie dan berekeningen in de menselijke cortex, maar beide kosten zijn nodig om het aantal synapsen te voorspellen. Levy, WB & Calvert, VG Communicatie verbruikt 35 keer meer energie dan berekeningen in de menselijke cortex, maar beide kosten zijn nodig om het aantal synapsen te voorspellen.Levy, WB en Calvert, WG Communicatie verbruikt 35 keer meer energie dan berekeningen in de menselijke cortex, maar beide kosten zijn nodig om het aantal synapsen te voorspellen. Levy, WB & Calvert, VG Communication Levy, WB & Calvert, VG CommunicatieLevy, WB en Calvert, WG Communicatie verbruikt 35 keer meer energie dan berekeningen in de menselijke cortex, maar beide kosten vereisen het voorspellen van het aantal synapsen.proces. Nationale Academie van Wetenschappen. de wetenschap. VS 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-geïnspireerde neuromorfe computergebruik. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-geïnspireerde neuromorfe computergebruik.Dalgati, T., Vianello, E., DeSalvo, B. en Casas, J. Insect-geïnspireerde neuromorfe computergebruik.Dalgati T., Vianello E., DeSalvo B. en Casas J. Insect-geïnspireerde neuromorfe computergebruik. Huidig. Mening. Insectenwetenschap. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Naar piekgebaseerde machine-intelligentie met neuromorfisch computergebruik. Roy, K., Jaiswal, A. & Panda, P. Naar piekgebaseerde machine-intelligentie met neuromorfisch computergebruik. Roy, K., Jaiswal, A. & Panda, P. Naar Spike-Based Machine Intelligence met Neuromorphic Computing.Roy K, Jaiswal A en Panda P. Op pulsen gebaseerde kunstmatige intelligentie met behulp van neuromorfisch computergebruik. Natuur 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. en Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. en Liu, S.-K.Geheugen en informatieverwerking in neuromorfe systemen. proces. IEEE 103, 1379–1397 (2015).
Akopyan F. et al. Truenorth: Ontwerp en toolkit voor een programmeerbare synaptische chip van 65 mW en 1 miljoen neuronen. IEEE-transacties. Computerontwerp van geïntegreerde schakelsystemen. 34, 1537-1557 (2015).
Schemmel, J. et al. Live demo: verkleinde versie van het BrainScaleS neuromorfe systeem op plaatschaal. 2012 IEEE International Symposium on Circuits and Systems (ISCAS), (IEEE red.) 702-702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Een schaalbare multicore-architectuur met heterogene geheugenstructuren voor dynamische neuromorfe asynchrone processors (DYNAP's). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Een schaalbare multicore-architectuur met heterogene geheugenstructuren voor dynamische neuromorfe asynchrone processors (DYNAP's).Moradi S., Qiao N., Stefanini F. en Indiviri G. Een schaalbare multicore-architectuur met heterogene geheugenstructuren voor dynamische neuromorfe asynchrone processors (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G.的异构内存结构。 Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Een soort uitbreidbare multi-core architectuur, met een unieke geheugenstructuur voor dynamische neurale verwerking (DYNAP).Moradi S., Qiao N., Stefanini F. en Indiviri G. Een schaalbare multicore-architectuur met heterogene geheugenstructuren voor dynamische neuromorfe asynchrone processors (DYNAP).IEEE-transacties over biomedische wetenschappen. elektrisch systeem. 12, 106–122 (2018).
Davis, M. et al. Loihi: een neuromorfe multi-coreprocessor met ingebed leerproces. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA Het SpinNAker-project. Furber, SB, Galluppi, F., Temple, S. & Plana, LA Het SpinNAker-project.Ferber SB, Galluppi F., Temple S. en Plana LA SpiNNaker-project.Ferber SB, Galluppi F., Temple S. en Plana LA SpiNNaker-project. proces. IEEE 102, 652-665 (2014).
Liu, S.-K. & Delbruck, T. Neuromorfe sensorische systemen. & Delbruck, T. Neuromorfe sensorische systemen.en Delbrück T. Neuromorfe sensorische systemen. & Delbruck, T. & Delbrück, T.en Delbrück T. Neuromorf sensorisch systeem.Huidig. mening. Neurobiologie. 20, 288–295 (2010).
Chope, T. et al. Neuromorfe sensorische integratie voor gecombineerde lokalisatie van geluidsbronnen en het vermijden van botsingen. In 2019 op de IEEE Conference on Biomedical Circuits and Systems (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Een op pieken gebaseerde neuromorfe architectuur van stereovisie. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Een op pieken gebaseerde neuromorfe architectuur van stereovisie.Risi N, Aymar A, Donati E, Solinas S en Indiveri G. Een op spikes gebaseerde neuromorfe stereovisie-architectuur. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S en Indiveri G. Spike-gebaseerde neuromorfe architectuur voor stereovisie.voorkant. Neurorobotica 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Een piekend neuraal netwerkmodel van 3D-perceptie voor op gebeurtenissen gebaseerde neuromorfe stereovisiesystemen. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Een piekend neuraal netwerkmodel van 3D-perceptie voor op gebeurtenissen gebaseerde neuromorfe stereovisiesystemen.Oswald, M., Ieng, S.-H., Benosman, R., en Indiveri, G. Een 3D gepulseerd neuraal netwerkperceptiemodel voor op gebeurtenissen gebaseerde neuromorfe stereovisiesystemen. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception-programma's Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3DperceptionOswald, M., Ieng, S.-H., Benosman, R., en Indiveri, G. Spiked 3Dperception neuraal netwerkmodel voor een op gebeurtenissen gebaseerd neuromorf stereovisiesysteem.de wetenschap. Rapport 7, 1–11 (2017).
Dalgaty, T. et al. Op insecten geïnspireerde basisbewegingsdetectie omvat resistief geheugen en bursty neurale netwerken. Bionische biohybride systeem. 10928, 115–128 (2018).
D'Angelo, G. et al. Op gebeurtenissen gebaseerde excentrische bewegingsdetectie met behulp van temporele differentiële codering. voorkant. Neurologie. 14, 451 (2020).