Balita

Ang mga real-world na aplikasyon sa pagpoproseso ng data ay nangangailangan ng compact, low-latency, low-power computing system. Sa pamamagitan ng mga kakayahan sa pag-compute na hinimok ng kaganapan, ang komplementaryong metal-oxide-semiconductor hybrid memristive neuromorphic architecture ay nagbibigay ng perpektong pundasyon ng hardware para sa mga naturang gawain. Upang ipakita ang buong potensyal ng mga naturang system, nagmumungkahi kami at nag-eksperimentong nagpapakita ng isang komprehensibong solusyon sa pagpoproseso ng sensor para sa mga application ng real-world na object localization. Gumagawa ng inspirasyon mula sa barn owl neuroanatomy, nakabuo kami ng bioinspired, event-driven na object localization system na pinagsasama ang isang makabagong piezoelectric micromechanical transducer transducer na may computational graph-based neuromorphic resistive memory. Nagpapakita kami ng mga sukat ng isang fabricated system na may kasamang memory-based na resistive coincidence detector, delay line circuitry, at isang ganap na nako-customize na ultrasonic transducer. Ginagamit namin ang mga pang-eksperimentong resultang ito upang i-calibrate ang mga simulation sa antas ng system. Ang mga simulation na ito ay ginamit upang suriin ang angular na resolusyon at kahusayan ng enerhiya ng modelo ng lokalisasyon ng object. Ang mga resulta ay nagpapakita na ang aming diskarte ay maaaring maging ilang mga order ng magnitude na mas mahusay sa enerhiya kaysa sa mga microcontroller na gumaganap ng parehong gawain.
Papasok tayo sa isang panahon ng ubiquitous computing kung saan ang bilang ng mga device at system na na-deploy ay lumalaki nang husto upang matulungan tayo sa ating pang-araw-araw na buhay. Ang mga system na ito ay inaasahang tatakbo nang tuluy-tuloy, kumokonsumo ng kaunting lakas hangga't maaari habang natututong bigyang-kahulugan ang data na kinokolekta nila mula sa maraming sensor sa real time at makagawa ng binary na output bilang resulta ng mga gawain sa pag-uuri o pagkilala. Isa sa pinakamahalagang hakbang na kinakailangan upang makamit ang layuning ito ay ang pagkuha ng kapaki-pakinabang at compact na impormasyon mula sa maingay at kadalasang hindi kumpletong data ng pandama. Ang mga conventional engineering approach ay karaniwang nagsa-sample ng mga signal ng sensor sa pare-pareho at mataas na rate, na bumubuo ng malaking halaga ng data kahit na walang mga kapaki-pakinabang na input. Bilang karagdagan, ang mga pamamaraang ito ay gumagamit ng mga kumplikadong digital signal processing techniques upang paunang iproseso ang (madalas na maingay) na data ng pag-input. Sa halip, ang biology ay nag-aalok ng mga alternatibong solusyon para sa pagproseso ng maingay na sensory data gamit ang enerhiya-efficient, asynchronous, event-driven approaches (spike)2,3. Ang neuromorphic computing ay kumukuha ng inspirasyon mula sa mga biological system upang mabawasan ang mga gastos sa computational sa mga tuntunin ng enerhiya at memorya na kinakailangan kumpara sa mga tradisyonal na pamamaraan sa pagpoproseso ng signal4,5,6. Kamakailan lamang, ipinakita ang mga makabagong pangkalahatang layunin na mga sistemang nakabatay sa utak na nagpapatupad ng mga impulse neural network (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Nagbibigay ang mga processor na ito ng mababang power, mababang latency na solusyon para sa machine learning at cortical circuit modeling. Upang lubos na mapagsamantalahan ang kanilang kahusayan sa enerhiya, ang mga neuromorphic na processor na ito ay dapat na direktang konektado sa mga sensor na hinimok ng kaganapan12,13. Gayunpaman, ngayon ay kakaunti na lang ang mga touch device na direktang nagbibigay ng data na hinimok ng kaganapan. Ang mga kilalang halimbawa ay dynamic visual sensors (DVS) para sa mga vision application gaya ng pagsubaybay at motion detection14,15,16,17 ang silicon cochlea18 at neuromorphic auditory sensors (NAS)19 para sa auditory signal processing, olfactory sensor20 at maraming halimbawa21,22 ng touch. . mga sensor ng texture.
Sa papel na ito, ipinakita namin ang isang bagong binuo na sistema ng pagproseso ng auditory na hinimok ng kaganapan na inilapat sa lokalisasyon ng object. Dito, sa unang pagkakataon, inilalarawan namin ang isang end-to-end system para sa localization ng object na nakuha sa pamamagitan ng pagkonekta ng state-of-the-art na piezoelectric micromachined ultrasonic transducer (pMUT) na may computational graph batay sa neuromorphic resistive memory (RRAM). Ang mga in-memory na arkitektura ng computing gamit ang RRAM ay isang promising na solusyon para sa pagbabawas ng konsumo ng kuryente23,24,25,26,27,28,29. Ang kanilang likas na hindi pagkasumpungin—hindi nangangailangan ng aktibong paggamit ng kuryente upang mag-imbak o mag-update ng impormasyon—ay perpektong akma sa asynchronous at event-driven na katangian ng neuromorphic computing, na nagreresulta sa halos walang paggamit ng kuryente kapag ang system ay idle. Ang piezoelectric micromachined ultrasonic transducers (pMUTs) ay mura, pinaliit na silicon-based na ultrasonic transducers na may kakayahang kumilos bilang mga transmitter at receiver30,31,32,33,34. Upang iproseso ang mga signal na natanggap ng mga built-in na sensor, nakuha namin ang inspirasyon mula sa barn owl neuroanatomy35,36,37. Ang barn owl na Tyto alba ay kilala sa kanyang kahanga-hangang kakayahan sa pangangaso sa gabi dahil sa napakahusay na auditory localization system. Upang kalkulahin ang lokasyon ng biktima, ang sistema ng lokalisasyon ng barn owl ay nag-encode ng oras ng paglipad (ToF) kapag ang mga sound wave mula sa biktima ay umabot sa bawat tainga o sound receptor ng kuwago. Dahil sa distansya sa pagitan ng mga tainga, ginagawang posible ng pagkakaiba sa pagitan ng dalawang sukat ng ToF (Interaural Time Difference, ITD) na analytically kalkulahin ang posisyon ng azimuth ng target. Bagama't hindi angkop ang mga biological system sa paglutas ng mga algebraic equation, napakabisa nilang malulutas ang mga problema sa localization. Gumagamit ang barn owl nervous system ng isang set ng coincidence detector (CD)35 neurons (ibig sabihin, mga neuron na may kakayahang makakita ng temporal na ugnayan sa pagitan ng mga spike na nagpapalaganap pababa sa convergent excitatory endings)38,39 na nakaayos sa mga computational graph upang malutas ang mga problema sa pagpoposisyon.
Ipinakita ng nakaraang pananaliksik na ang complementary metal-oxide-semiconductor (CMOS) hardware at RRAM-based neuromorphic hardware na inspirasyon ng inferior colliculus (“auditory cortex”) ng barn owl ay isang mahusay na paraan para sa pagkalkula ng posisyon gamit ang ITD13, 40, 41, 42, 43, 44, 45, 46. Gayunpaman, ang potensyal ng kumpletong neuromorphic system na nag-uugnay sa auditory cues sa neuromorphic computational graph ay hindi pa naipapakita. Ang pangunahing problema ay ang likas na pagkakaiba-iba ng mga analog na CMOS circuit, na nakakaapekto sa katumpakan ng pagtuklas ng tugma. Kamakailan lamang, ipinakita ang mga alternatibong numerical na pagpapatupad ng mga pagtatantya ng ITD47. Sa papel na ito, iminumungkahi naming gamitin ang kakayahan ng RRAM na baguhin ang halaga ng conductance sa isang hindi pabagu-bagong paraan upang kontrahin ang pagkakaiba-iba sa mga analog circuit. Nagpatupad kami ng experimental system na binubuo ng isang pMUT transmitting membrane na tumatakbo sa dalas na 111.9 kHz, dalawang pMUT receiving membranes (sensors) na tinutulad ang mga tainga ng barn owl, at isa . Eksperimento naming inilalarawan ang pMUT detection system at RRAM-based ITD computational graph upang subukan ang aming localization system at suriin ang angular na resolusyon nito.
Inihahambing namin ang aming pamamaraan sa isang digital na pagpapatupad sa isang microcontroller na gumaganap ng parehong lokalisasyon na gawain gamit ang maginoo na beamforming o neuromorphic na pamamaraan, pati na rin ang isang field programmable gate array (FPGA) para sa pagtatantya ng ITD na iminungkahi sa sanggunian. 47. Itinatampok ng paghahambing na ito ang mapagkumpitensyang kahusayan ng kapangyarihan ng iminungkahing RRAM-based na analog neuromorphic system.
Isa sa mga pinaka-kapansin-pansin na halimbawa ng isang tumpak at mahusay na object localization system ay matatagpuan sa barn owl35,37,48. Sa dapit-hapon at madaling araw, ang barn owl (Tyto Alba) ay pangunahing umaasa sa passive na pakikinig, aktibong naghahanap ng maliit na biktima tulad ng mga vole o mice. Ang mga eksperto sa pandinig na ito ay maaaring mag-localize ng mga signal ng pandinig mula sa biktima na may kahanga-hangang katumpakan (mga 2°)35, tulad ng ipinapakita sa Fig. 1a. Inihihinuha ng mga barn owl ang lokasyon ng mga pinagmumulan ng tunog sa azimuth (horizontal) plane mula sa pagkakaiba sa papasok na oras ng paglipad (ITD) mula sa pinagmumulan ng tunog hanggang sa dalawang tainga. Ang mekanismo ng computational ng ITD ay iminungkahi ni Jeffress49,50 na umaasa sa neural geometry at nangangailangan ng dalawang pangunahing bahagi: isang axon, isang nerve fiber ng neuron na kumikilos bilang isang linya ng pagkaantala, at isang hanay ng mga coincidence detector neuron na nakaayos sa isang computational system. graph tulad ng ipinapakita sa Figure 1b. Ang tunog ay umaabot sa tainga na may azimuth dependent time delay (ITD). Ang tunog ay na-convert sa isang spike pattern sa bawat tainga. Ang mga axon ng kaliwa at kanang tainga ay kumikilos bilang mga linya ng pagkaantala at nagtatagpo sa mga CD neuron. Ayon sa teorya, isang neuron lang sa isang hanay ng mga katugmang neuron ang makakatanggap ng input sa isang pagkakataon (kung saan eksaktong kinakansela ang pagkaantala) at lalabas nang husto (magpapaputok din ang mga kalapit na cell, ngunit sa mas mababang frequency). Ang pag-activate ng ilang mga neuron ay nag-encode sa posisyon ng target sa espasyo nang hindi na na-convert ang ITD sa mga anggulo. Ang konseptong ito ay buod sa Figure 1c: halimbawa, kung ang tunog ay nagmumula sa kanang bahagi kapag ang input signal mula sa kanang tainga ay naglalakbay sa isang mas mahabang landas kaysa sa landas mula sa kaliwang tainga, na binabayaran ang bilang ng mga ITD, halimbawa, kapag tumutugma ang neuron 2. Sa madaling salita, tumutugon ang bawat CD sa isang partikular na ITD (kilala rin bilang pinakamainam na pagkaantala) dahil sa pagkaantala ng axonal. Kaya, ang utak ay nagko-convert ng temporal na impormasyon sa spatial na impormasyon. Ang anatomical na ebidensya para sa mekanismong ito ay natagpuan37,51. Ang phase-locked macronucleus neurons ay nag-iimbak ng temporal na impormasyon tungkol sa mga papasok na tunog: gaya ng ipinahihiwatig ng kanilang pangalan, sila ay nagpapaputok sa ilang mga yugto ng signal. Ang mga neuron ng coincidence detector ng modelong Jeffress ay matatagpuan sa laminar core. Nakatanggap sila ng impormasyon mula sa mga macronuclear neuron, na ang mga axon ay kumikilos bilang mga linya ng pagkaantala. Ang halaga ng pagkaantala na ibinigay ng linya ng pagkaantala ay maaaring ipaliwanag sa pamamagitan ng haba ng axon, pati na rin ang isa pang pattern ng myelination na nagbabago sa bilis ng pagpapadaloy. Dahil sa inspirasyon ng auditory system ng barn owl, nakagawa kami ng biomimetic system para sa pag-localize ng mga bagay. Ang dalawang tainga ay kinakatawan ng dalawang pMUT receiver. Ang pinagmumulan ng tunog ay ang pMUT transmitter na matatagpuan sa pagitan ng mga ito (Fig. 1a), at ang computational graph ay nabuo sa pamamagitan ng isang grid ng RRAM-based CD circuits (Fig. 1b, green), na gumaganap sa papel ng mga CD neuron na ang mga input ay naantala. sa pamamagitan ng circuit, ang mga linya ng pagkaantala (asul) ay kumikilos tulad ng mga axon sa biological na katapat. Ang iminungkahing sensory system ay naiiba sa operating frequency mula sa kuwago, na ang auditory system ay gumagana sa 1-8 kHz range, ngunit ang pMUT sensor na tumatakbo sa humigit-kumulang 117 kHz ay ​​ginagamit sa gawaing ito. Ang pagpili ng isang ultrasonic transducer ay isinasaalang-alang ayon sa teknikal at pamantayan sa pag-optimize. Una, ang paglilimita sa receive bandwidth sa iisang frequency ay perpektong nagpapabuti sa katumpakan ng pagsukat at pinapasimple ang post-processing na hakbang. Bilang karagdagan, ang operasyon sa ultrasound ay may kalamangan na ang mga ibinubuga na pulso ay hindi naririnig, samakatuwid ay hindi nakakagambala sa mga tao, dahil ang kanilang saklaw ng pandinig ay ~20-20 kHz.
ang barn owl ay tumatanggap ng mga sound wave mula sa isang target, sa kasong ito ay gumagalaw na biktima. Ang oras ng paglipad (ToF) ng sound wave ay iba para sa bawat tainga (maliban kung ang biktima ay direktang nasa harap ng kuwago). Ipinapakita ng may tuldok na linya ang landas na tinatahak ng mga sound wave upang maabot ang mga tainga ng barn owl. Maaaring tumpak na ma-localize ang biktima sa pahalang na eroplano batay sa pagkakaiba ng haba sa pagitan ng dalawang acoustic path at ng katumbas na interaural time difference (ITD) (kaliwang larawan na inspirasyon ng ref. 74, copyright 2002, Society for Neuroscience). Sa aming system, ang pMUT transmitter (dark blue) ay bumubuo ng mga sound wave na tumatalbog sa target. Ang mga sinasalamin na ultrasound wave ay natatanggap ng dalawang pMUT receiver (light green) at pinoproseso ng neuromorphic processor (kanan). b Isang modelong computational ng ITD (Jeffress) na naglalarawan kung paano unang na-encode ang mga tunog na pumapasok sa mga tainga ng barn owl bilang phase-locked spike sa malaking nucleus (NM) at pagkatapos ay gumagamit ng geometrically arranged grid ng mga katugmang detector neuron sa lamellar nucleus. Pagproseso (Netherlands) (kaliwa). Ilustrasyon ng isang neuroITD computational graph na pinagsasama ang mga linya ng pagkaantala at coincidence detector neuron, ang owl biosensor system ay maaaring imodelo gamit ang RRAM-based neuromorphic circuits (kanan). c Schematic ng pangunahing mekanismo ng Jeffress, dahil sa pagkakaiba sa ToF, ang dalawang tainga ay tumatanggap ng sound stimuli sa magkaibang oras at nagpapadala ng mga axon mula sa magkabilang dulo patungo sa detector. Ang mga axon ay bahagi ng isang serye ng mga coincidence detector (CD) neuron, na ang bawat isa ay tumutugon nang pili sa malakas na mga input na nauugnay sa oras. Bilang resulta, tanging ang mga CD na ang mga input ay dumating na may pinakamaliit na pagkakaiba sa oras ang lubos na nasasabik (ang ITD ay eksaktong nabayaran). Ie-encode ng CD ang angular na posisyon ng target.
Ang piezoelectric micromechanical ultrasonic transducers ay mga scalable ultrasonic transducers na maaaring isama sa advanced CMOS technology31,32,33,52 at may mas mababang paunang boltahe at power consumption kaysa sa tradisyonal na volumetric transducers53. Sa aming trabaho, ang diameter ng lamad ay 880 µm, at ang resonant frequency ay ipinamamahagi sa hanay na 110–117 kHz (Fig. 2a, tingnan ang Mga Paraan para sa mga detalye). Sa isang batch ng sampung test device, ang average na factor ng kalidad ay humigit-kumulang 50 (ref. 31). Ang teknolohiya ay umabot sa pang-industriyang kapanahunan at hindi bioinspired per se. Ang pagsasama-sama ng impormasyon mula sa iba't ibang pMUT na mga pelikula ay isang kilalang pamamaraan, at ang impormasyon ng anggulo ay maaaring makuha mula sa mga pMUT gamit, halimbawa, mga beamforming techniques31,54. Gayunpaman, ang pagpoproseso ng signal na kinakailangan upang kunin ang impormasyon ng anggulo ay hindi angkop para sa mga pagsukat ng mababang kapangyarihan. Pinagsasama ng iminungkahing sistema ang neuromorphic data preprocessing circuit pMUT sa isang RRAM-based na neuromorphic computing graph na inspirasyon ng modelong Jeffress (Larawan 2c), na nagbibigay ng alternatibong solusyon sa hardware na mahusay sa enerhiya at limitado sa mapagkukunan. Nagsagawa kami ng isang eksperimento kung saan ang dalawang pMUT sensor ay inilagay nang humigit-kumulang 10 cm ang pagitan upang pagsamantalahan ang iba't ibang tunog ng ToF na natanggap ng dalawang tumatanggap na lamad. Isang pMUT na kumikilos bilang isang transmiter ang nakaupo sa pagitan ng mga receiver. Ang target ay isang PVC plate na 12 cm ang lapad, na matatagpuan sa layo D sa harap ng pMUT device (Larawan 2b). Itinatala ng receiver ang tunog na sinasalamin mula sa bagay at tumutugon hangga't maaari sa panahon ng pagpasa ng sound wave. Ulitin ang eksperimento sa pamamagitan ng pagbabago ng posisyon ng bagay, na tinutukoy ng distansya D at ang anggulo θ. May inspirasyon ng isang link. 55, iminumungkahi namin ang isang neuromorphic pre-processing ng pMUT raw signal upang i-convert ang mga sinasalamin na alon sa mga taluktok upang mag-input ng isang neuromorphic computational graph. Ang ToF na naaayon sa peak amplitude ay nakuha mula sa bawat isa sa dalawang channel at naka-encode bilang eksaktong timing ng mga indibidwal na peak. Sa fig. Ang 2c ay nagpapakita ng circuitry na kinakailangan upang i-interface ang pMUT sensor na may RRAM-based computational graph: para sa bawat isa sa dalawang pMUT receiver, ang raw signal ay band-pass na na-filter upang makinis, itama, at pagkatapos ay ipapasa sa leaky integrator sa overcoming mode. ang dynamic na threshold (Fig. 2d) ay lumilikha ng isang output event (spike) at firing (LIF) neuron: ang output spike time ay nag-encode sa nakitang oras ng flight. Ang LIF threshold ay na-calibrate laban sa pMUT na tugon, sa gayon ay binabawasan ang pagkakaiba-iba ng pMUT mula sa device patungo sa device. Sa diskarteng ito, sa halip na iimbak ang buong sound wave sa memorya at iproseso ito sa ibang pagkakataon, bumubuo lang kami ng peak na tumutugma sa ToF ng sound wave, na bumubuo ng input sa resistive memory computational graph. Ang mga spike ay direktang ipinadala sa mga linya ng pagkaantala at parallelized sa mga module ng pagtutugma ng pagtutugma sa mga neuromorphic computation graph. Dahil ang mga ito ay ipinadala sa mga gate ng transistors, walang karagdagang amplification circuitry ang kinakailangan (tingnan ang Karagdagang Fig. 4 para sa mga detalye). Upang suriin ang katumpakan ng angular ng lokalisasyon na ibinigay ng pMUT at ang iminungkahing paraan ng pagpoproseso ng signal, sinukat namin ang ITD (iyon ay, ang pagkakaiba sa oras sa pagitan ng mga peak na kaganapan na nabuo ng dalawang receiver) dahil iba-iba ang distansya at anggulo ng bagay. Ang pagsusuri ng ITD ay pagkatapos ay na-convert sa mga anggulo (tingnan ang Mga Paraan) at naka-plot laban sa posisyon ng bagay: ang kawalan ng katiyakan sa sinusukat na ITD ay tumaas nang may distansya at anggulo sa bagay (Larawan 2e, f). Ang pangunahing problema ay ang peak-to-noise ratio (PNR) sa tugon ng pMUT. Kung mas malayo ang bagay, mas mababa ang acoustic signal, sa gayon ay binabawasan ang PNR (Fig. 2f, berdeng linya). Ang pagbaba sa PNR ay humahantong sa pagtaas ng kawalan ng katiyakan sa pagtatantya ng ITD, na nagreresulta sa pagtaas ng katumpakan ng lokalisasyon (Larawan 2f, asul na linya). Para sa isang bagay sa layo na 50 cm mula sa transmitter, ang angular accuracy ng system ay humigit-kumulang 10°. Ang limitasyong ito na ipinataw ng mga katangian ng sensor ay maaaring mapabuti. Halimbawa, ang presyon na ipinadala ng emitter ay maaaring tumaas, sa gayon ay tumataas ang boltahe na nagtutulak sa pMUT membrane. Ang isa pang solusyon upang palakasin ang ipinadalang signal ay ang pagkonekta ng maramihang mga transmitter 56. Ang mga solusyong ito ay magpapataas ng hanay ng pagtuklas sa gastos ng tumaas na mga gastos sa enerhiya. Ang mga karagdagang pagpapabuti ay maaaring gawin sa panig ng pagtanggap. Ang pMUT's receiver noise floor ay maaaring makabuluhang bawasan sa pamamagitan ng pagpapabuti ng koneksyon sa pagitan ng pMUT at ng unang yugto ng amplifier, na kasalukuyang ginagawa sa mga wire connection at RJ45 cable.
isang Larawan ng isang kristal na pMUT na may anim na 880 µm na lamad na isinama sa 1.5 mm na pitch. b Diagram ng setup ng pagsukat. Ang target ay matatagpuan sa azimuth na posisyon θ at sa layo D. Ang pMUT transmitter ay bumubuo ng 117.6 kHz signal na tumatalbog sa target at umabot sa dalawang pMUT receiver na may magkaibang time-of-flight (ToF). Ang pagkakaibang ito, na tinukoy bilang ang inter-aural time difference (ITD), ay nag-encode sa posisyon ng isang bagay at maaaring matantya sa pamamagitan ng pagtantya sa peak response ng dalawang receiver sensor. c Schematic ng mga hakbang sa paunang pagproseso para sa pag-convert ng raw pMUT signal sa mga spike sequence (ibig sabihin, input sa neuromorphic computation graph). Ang mga pMUT sensor at neuromorphic computational graph ay ginawa at nasubok, at ang neuromorphic pre-processing ay batay sa software simulation. d Tugon ng pMUT membrane sa pagtanggap ng signal at pagbabago nito sa isang spike domain. e Eksperimental na localization angular accuracy bilang isang function ng object angle (Θ) at distansya (D) sa target object. Ang paraan ng pagkuha ng ITD ay nangangailangan ng pinakamababang angular na resolusyon na humigit-kumulang 4°C. f Angular na katumpakan (asul na linya) at katumbas na peak-to-noise ratio (berdeng linya) kumpara sa distansya ng bagay para sa Θ = 0.
Ang resistive memory ay nag-iimbak ng impormasyon sa isang non-volatile conductive state. Ang pangunahing prinsipyo ng pamamaraan ay ang pagbabago ng materyal sa atomic na antas ay nagdudulot ng pagbabago sa electrical conductivity nito57. Dito, gumagamit kami ng isang resistive memory na nakabatay sa oxide na binubuo ng isang 5nm na layer ng hafnium dioxide na naka-sandwich sa pagitan ng top at bottom na titanium at titanium nitride electrodes. Ang conductivity ng mga RRAM device ay maaaring baguhin sa pamamagitan ng paglalapat ng kasalukuyang/boltahe na waveform na lumilikha o pumuputol ng conductive filament ng mga bakanteng oxygen sa pagitan ng mga electrodes. Pinagsama namin ang mga naturang device58 sa isang karaniwang 130 nm na proseso ng CMOS upang lumikha ng isang gawa-gawang reconfigurable na neuromorphic circuit na nagpapatupad ng isang coincidence detector at isang delay line circuit (Fig. 3a). Ang non-volatile at analog na katangian ng device, kasama ng event-driven na katangian ng neuromorphic circuit, ay nagpapaliit sa paggamit ng kuryente. Ang circuit ay may instant on/off function: ito ay gumagana kaagad pagkatapos i-on, na nagpapahintulot sa power na ganap na patayin kapag ang circuit ay idle. Ang mga pangunahing bloke ng gusali ng iminungkahing pamamaraan ay ipinapakita sa fig. 3b. Binubuo ito ng N parallel single-resistor single-transistor (1T1R) na istruktura na nag-encode ng mga synaptic na timbang kung saan kinukuha ang mga weighted na alon, na ini-inject sa karaniwang synapse ng isang differential pair integrator (DPI)59, at sa wakas ay ini-inject sa synapse na may integration at pagtagas. activated (LIF) neuron 60 (tingnan ang Mga Paraan para sa mga detalye). Ang mga input surges ay inilalapat sa gate ng 1T1R na istraktura sa anyo ng isang pagkakasunod-sunod ng mga pulso ng boltahe na may tagal sa pagkakasunud-sunod ng daan-daang nanosecond. Ang resistive memory ay maaaring ilagay sa isang high conductive state (HCS) sa pamamagitan ng paglalapat ng external positive reference sa Vtop kapag ang Vbottom ay grounded, at i-reset sa isang low conductive state (LCS) sa pamamagitan ng paglalagay ng positive voltage sa Vbottom kapag ang Vtop ay grounded. Maaaring kontrolin ang average na halaga ng HCS sa pamamagitan ng paglilimita sa kasalukuyang programming (pagsunod) ng SET (ICC) sa pamamagitan ng boltahe ng gate-source ng series transistor (Fig. 3c). Ang mga pag-andar ng RRAM sa circuit ay dalawang beses: sila ay nagdidirekta at nagpapabigat sa mga pulso ng input.
Ang pag-scan ng electron microscope (SEM) na imahe ng isang asul na HfO2 1T1R RRAM na device na isinama sa 130 nm CMOS na teknolohiya na may mga selector transistors (650 nm ang lapad) sa berde. b Pangunahing mga bloke ng gusali ng iminungkahing neuromorphic schema. Ang input voltage pulses (peaks) Vin0 at Vin1 ay kumokonsumo ng kasalukuyang Iweight, na proporsyonal sa conduction states na G0 at G1 ng 1T1R na istraktura. Ang kasalukuyang ito ay iniksyon sa mga synapses ng DPI at pinasisigla ang mga neuron ng LIF. Ang RRAM G0 at G1 ay naka-install sa HCS at LCS ayon sa pagkakabanggit. c Function ng cumulative conductance density para sa isang pangkat ng 16K RRAM device bilang isang function ng ICC current matching, na epektibong kumokontrol sa conduction level. d Mga sukat ng circuit sa (a) na nagpapakita na ang G1 (sa LCS) ay epektibong hinaharangan ang input mula sa Vin1 (berde), at sa katunayan ang boltahe ng lamad ng output neuron ay tumutugon lamang sa asul na input mula sa Vin0. Epektibong tinutukoy ng RRAM ang mga koneksyon sa circuit. e Pagsukat ng circuit sa (b) na nagpapakita ng epekto ng conductance value G0 sa boltahe ng lamad na Vmem pagkatapos maglapat ng boltahe pulse Vin0. Ang mas maraming conductance, mas malakas ang tugon: kaya, ang RRAM device ay nagpapatupad ng I/O connection weighting. Ang mga sukat ay ginawa sa circuit at ipinakita ang dalawahang pag-andar ng RRAM, pagruruta at pagtimbang ng mga pulso ng input.
Una, dahil mayroong dalawang pangunahing estado ng pagpapadaloy (HCS at LCS), maaaring harangan o makaligtaan ng mga RRAM ang mga pulso ng pag-input kapag nasa LCS o HCS na mga estado ang mga ito, ayon sa pagkakabanggit. Bilang resulta, epektibong tinutukoy ng RRAM ang mga koneksyon sa circuit. Ito ang batayan para ma-reconfigure ang arkitektura. Upang ipakita ito, ilalarawan namin ang isang gawa-gawang pagpapatupad ng circuit ng circuit block sa Fig. 3b. Ang RRAM na tumutugma sa G0 ay naka-program sa HCS, at ang pangalawang RRAM G1 ay naka-program sa LCS. Ang mga input pulse ay inilalapat sa parehong Vin0 at Vin1. Ang mga epekto ng dalawang sequence ng input pulses ay nasuri sa output neurons sa pamamagitan ng pagkolekta ng neuron membrane boltahe at ang output signal gamit ang isang oscilloscope. Naging matagumpay ang eksperimento nang ang HCS device (G0) lamang ang nakakonekta sa pulso ng neuron upang pasiglahin ang pag-igting ng lamad. Ito ay ipinakita sa Figure 3d, kung saan ang asul na pulse train ay nagiging sanhi ng boltahe ng lamad na mabuo sa kapasitor ng lamad, habang ang berdeng pulse na tren ay nagpapanatili sa boltahe ng lamad na pare-pareho.
Ang pangalawang mahalagang pag-andar ng RRAM ay ang pagpapatupad ng mga timbang ng koneksyon. Gamit ang analog conductance adjustment ng RRAM, ang mga koneksyon sa I/O ay maaaring timbangin nang naaayon. Sa pangalawang eksperimento, ang G0 device ay na-program sa iba't ibang antas ng HCS, at ang input pulse ay inilapat sa VIn0 input. Ang input pulse ay kumukuha ng kasalukuyang (Iweight) mula sa device, na proporsyonal sa conductance at ang katumbas na potensyal na drop Vtop − Vbot. Ang timbang na kasalukuyang ito ay ini-inject sa mga DPI synapses at LIF output neuron. Ang boltahe ng lamad ng mga output neuron ay naitala gamit ang isang oscilloscope at ipinapakita sa Fig. 3d. Ang peak ng boltahe ng neuron membrane bilang tugon sa isang pulso ng input ay proporsyonal sa conductance ng resistive memory, na nagpapakita na ang RRAM ay maaaring magamit bilang isang programmable na elemento ng synaptic na timbang. Ang dalawang paunang pagsubok na ito ay nagpapakita na ang iminungkahing RRAM-based na neuromorphic na platform ay nagagawang ipatupad ang mga pangunahing elemento ng pangunahing mekanismo ng Jeffress, lalo na ang linya ng pagkaantala at ang coincidence detector circuit. Ang circuit platform ay binuo sa pamamagitan ng pagsasalansan ng sunud-sunod na mga bloke nang magkatabi, tulad ng mga bloke sa Figure 3b, at pagkonekta sa kanilang mga gate sa isang karaniwang linya ng input. Dinisenyo, ginawa, at sinubukan namin ang isang neuromorphic platform na binubuo ng dalawang output neuron na tumatanggap ng dalawang input (Fig. 4a). Ang circuit diagram ay ipinapakita sa Figure 4b. Ang itaas na 2 × 2 RRAM matrix ay nagpapahintulot sa mga input pulse na maidirekta sa dalawang output neuron, habang ang mas mababang 2 × 2 matrix ay nagpapahintulot sa paulit-ulit na koneksyon ng dalawang neuron (N0, N1). Ipinakita namin na ang platform na ito ay maaaring gamitin sa isang delay line configuration at dalawang magkaibang function ng coincidence detector, tulad ng ipinapakita ng mga eksperimentong sukat sa Fig. 4c-e.
Circuit diagram na nabuo ng dalawang output neuron na N0 at N1 na tumatanggap ng dalawang input 0 at 1. Ang nangungunang apat na device ng array ay tumutukoy sa mga synaptic na koneksyon mula input hanggang output, at ang apat na ibabang cell ay tumutukoy sa mga paulit-ulit na koneksyon sa pagitan ng mga neuron. Ang mga may kulay na RRAM ay kumakatawan sa mga device na na-configure sa HCS sa kanan: ang mga device sa HCS ay nagbibigay-daan sa mga koneksyon at kumakatawan sa mga timbang, habang ang mga device sa LCS ay hinaharangan ang mga input pulse at hindi pinagana ang mga koneksyon sa mga output. b Diagram ng circuit (a) na may walong RRAM module na naka-highlight sa asul. c Ang mga linya ng pagkaantala ay nabuo sa pamamagitan lamang ng paggamit ng dynamics ng DPI synapses at LIF neuron. Ang berdeng RRAM ay nakatakda sa conductance na sapat na mataas upang makapagdulot ng glitch sa output pagkatapos ng pagkaantala ng input Δt. d Schematic na paglalarawan ng direksyon-insensitive na CD detection ng mga signal na umaasa sa oras. Ang output neuron 1, N1, ay gumagana sa mga input 0 at 1 na may maikling pagkaantala. e Direction sensitive CD circuit, isang circuit na nakikita kapag ang input 1 ay lumalapit sa input 0 at dumating pagkatapos ng input 0. Ang output ng circuit ay kinakatawan ng neuron 1 (N1).
Ginagamit lang ng delay line (Figure 4c) ang dynamic na gawi ng DPI synapses at LIF neurons para kopyahin ang input spike mula Vin1 hanggang Vout1 sa pamamagitan ng pagkaantala sa Tdel. Tanging ang G3 RRAM na konektado sa Vin1 at Vout1 ang naka-program sa HCS, ang iba pang mga RRAM ay naka-program sa LCS. Ang G3 device ay na-program para sa 92.6 µs upang matiyak na ang bawat input pulse ay nagpapataas ng boltahe ng lamad ng output neuron nang sapat upang maabot ang threshold at makabuo ng isang naantalang output pulse. Ang pagkaantala ng Tdel ay tinutukoy ng synaptic at neural time constants. Nakikita ng mga coincidence detector ang paglitaw ng pansamantalang pagkakaugnay ngunit spatially distributed na input signal. Ang CD na hindi sensitibo sa direksyon ay umaasa sa mga indibidwal na input na nagtatagpo sa isang karaniwang output neuron (Larawan 4d). Ang dalawang RRAM na nagkokonekta sa Vin0 at Vin1 sa Vout1, G2 at G4 ayon sa pagkakabanggit ay naka-program para sa mataas na pagpapadaloy. Ang sabay-sabay na pagdating ng mga spike sa Vin0 at Vin1 ay nagpapataas ng boltahe ng N1 neuron membrane sa itaas ng threshold na kinakailangan upang makabuo ng output spike. Kung ang dalawang input ay masyadong malayo sa oras, ang singil sa boltahe ng lamad na naipon ng unang input ay maaaring magkaroon ng oras upang mabulok, na pumipigil sa potensyal ng lamad na N1 na maabot ang halaga ng threshold. Ang G1 at G2 ay naka-program para sa humigit-kumulang 65 µs, na nagsisiguro na ang isang input surge ay hindi nagpapataas ng boltahe ng lamad nang sapat upang magdulot ng output surge. Ang coincidence detection sa pagitan ng mga kaganapang ipinamahagi sa espasyo at oras ay isang pangunahing operasyon na ginagamit sa malawak na hanay ng mga gawain sa sensing gaya ng optical flow based obstacle avoidance at sound source localization. Kaya, ang pag-compute na sensitibo sa direksyon at hindi sensitibong mga CD ay isang pangunahing bloke ng gusali para sa pagbuo ng mga visual at audio localization system. Tulad ng ipinakita ng mga katangian ng mga constant ng oras (tingnan ang Karagdagang Fig. 2), ang iminungkahing circuit ay nagpapatupad ng angkop na hanay ng apat na order ng magnitude time scale. Kaya, maaari nitong sabay na matugunan ang mga kinakailangan ng visual at sound system. Ang directional-sensitive na CD ay isang circuit na sensitibo sa spatial na pagkakasunud-sunod ng pagdating ng mga pulso: mula kanan pakaliwa at vice versa. Ito ay isang pangunahing bloke ng gusali sa pangunahing network ng pag-detect ng paggalaw ng Drosophila visual system, na ginagamit upang kalkulahin ang mga direksyon ng paggalaw at makita ang mga banggaan62. Upang makamit ang isang CD na sensitibo sa direksyon, ang dalawang input ay dapat idirekta sa dalawang magkaibang neuron (N0, N1) at dapat na maitatag ang isang direksyon na koneksyon sa pagitan ng mga ito (Larawan 4e). Kapag natanggap ang unang input, ang NO ay tumutugon sa pamamagitan ng pagtaas ng boltahe sa buong lamad nito sa itaas ng halaga ng threshold at nagpapadala ng surge. Ang output event na ito, sa turn, ay nagpapagana ng N1 salamat sa direksyon na koneksyon na naka-highlight sa berde. Kung dumating ang isang input event na Vin1 at binibigyang lakas ang N1 habang mataas pa rin ang boltahe ng lamad nito, bubuo ang N1 ng isang kaganapan sa output na nagsasaad na may nakitang tugma sa pagitan ng dalawang input. Ang mga direktang koneksyon ay nagpapahintulot sa N1 na maglabas ng output lamang kung ang input 1 ay dumating pagkatapos ng input 0. Ang G0, G3, at G7 ay naka-program sa 73.5 µS, 67.3 µS, at 40.2 µS, ayon sa pagkakabanggit, na tinitiyak na ang isang spike sa input na Vin0 ay nagdudulot ng pagkaantala spike ng output, habang ang potensyal ng lamad ng N1 ay umabot lamang sa threshold kapag ang parehong pagsabog ng input ay dumating sa sync. .
Ang pagkakaiba-iba ay isang mapagkukunan ng di-kasakdalan sa mga modelong neuromorphic system63,64,65. Ito ay humahantong sa heterogenous na pag-uugali ng mga neuron at synapses. Kabilang sa mga halimbawa ng naturang mga disadvantage ang 30% (mean standard deviation) variability sa input gain, time constant, at refractory period, kung ilan lamang (tingnan ang Methods). Ang problemang ito ay mas malinaw kapag ang maraming mga neural circuit ay konektado nang magkasama, tulad ng isang orientation-sensitive CD na binubuo ng dalawang neuron. Upang gumana nang maayos, ang dagdag at oras ng pagkabulok ng dalawang neuron ay dapat na magkapareho hangga't maaari. Halimbawa, ang isang malaking pagkakaiba sa input gain ay maaaring maging sanhi ng isang neuron na mag-overreact sa isang input pulse habang ang isa pang neuron ay halos hindi tumutugon. Sa fig. Ipinapakita ng Figure 5a na ang mga random na napiling neuron ay tumutugon nang iba sa parehong input pulse. Ang neural variability na ito ay may kaugnayan, halimbawa, sa paggana ng mga CD na sensitibo sa direksyon. Sa scheme na ipinapakita sa fig. 5b, c, ang input gain ng neuron 1 ay mas mataas kaysa sa neuron 0. Kaya, ang neuron 0 ay nangangailangan ng tatlong input pulse (sa halip na 1) upang maabot ang threshold, at ang neuron 1, gaya ng inaasahan, ay nangangailangan ng dalawang input event. Ang pagpapatupad ng spike time-dependent biomimetic plasticity (STDP) ay isang posibleng paraan upang mapagaan ang epekto ng hindi wasto at matamlay na neural at synaptic circuit sa performance ng system43. Dito ipinapanukala naming gamitin ang plastic na pag-uugali ng resistive memory bilang isang paraan ng pag-impluwensya sa pagpapahusay ng neural input at pagbabawas ng mga epekto ng pagkakaiba-iba sa mga neuromorphic circuit. Gaya ng ipinapakita sa fig. 4e, ang mga antas ng conductance na nauugnay sa RRAM synaptic mass ay epektibong binago ang kaukulang tugon ng boltahe ng neural membrane. Gumagamit kami ng isang umuulit na diskarte sa programming ng RRAM. Para sa isang naibigay na input, ang mga halaga ng conductance ng synaptic na timbang ay reprogrammed hanggang sa makuha ang target na pag-uugali ng circuit (tingnan ang Mga Paraan).
a Mga eksperimentong sukat ng tugon ng siyam na random na piniling indibidwal na mga neuron sa parehong input pulse. Ang tugon ay nag-iiba-iba sa mga populasyon, na nakakaapekto sa input gain at time constant. b Mga eksperimental na sukat ng impluwensya ng mga neuron sa pagkakaiba-iba ng mga neuron na nakakaapekto sa CD na sensitibo sa direksyon. Ang dalawang neuron na output ng CD na sensitibo sa direksyon ay naiiba sa pagtugon sa input stimuli dahil sa pagkakaiba-iba ng neuron-to-neuron. Ang Neuron 0 ay may mas mababang input gain kaysa sa neuron 1, kaya kailangan ng tatlong input pulse (sa halip na 1) para makalikha ng output spike. Gaya ng inaasahan, naabot ng neuron 1 ang threshold na may dalawang kaganapan sa pag-input. Kung ang input 1 ay dumating sa Δt = 50 µs pagkatapos mag-apoy ang neuron 0, nananatiling tahimik ang CD dahil ang Δt ay mas malaki kaysa sa time constant ng neuron 1 (mga 22 µs). c ay nababawasan ng Δt = 20 µs, upang ang input 1 ay tumataas kapag mataas pa rin ang pagpapaputok ng neuron 1, na nagreresulta sa sabay-sabay na pagtuklas ng dalawang kaganapan sa pag-input.
Ang dalawang elemento na ginamit sa column ng pagkalkula ng ITD ay ang linya ng pagkaantala at ang CD na hindi sensitibo sa direksyon. Ang parehong mga circuit ay nangangailangan ng tumpak na pagkakalibrate upang matiyak ang mahusay na pagganap ng pagpoposisyon ng bagay. Ang linya ng pagkaantala ay dapat maghatid ng isang tiyak na naantalang bersyon ng input peak (Fig. 6a), at ang CD ay dapat na i-activate lamang kapag ang input ay nasa loob ng target na hanay ng pagtuklas. Para sa linya ng pagkaantala, ang mga synaptic na timbang ng mga koneksyon sa input (G3 sa Fig. 4a) ay na-reprogram hanggang sa makuha ang target na pagkaantala. Magtakda ng pagpapaubaya sa paligid ng target na pagkaantala upang ihinto ang programa: mas maliit ang pagpapaubaya, mas mahirap na matagumpay na itakda ang linya ng pagkaantala. Sa fig. Ipinapakita ng Figure 6b ang mga resulta ng proseso ng pagkakalibrate ng linya ng pagkaantala: makikita na ang iminungkahing pamamaraan ay maaaring eksaktong magbigay ng lahat ng mga pagkaantala na kinakailangan sa scheme ng disenyo (mula 10 hanggang 300 μs). Ang maximum na bilang ng mga pag-ulit ng pagkakalibrate ay nakakaapekto sa kalidad ng proseso ng pagkakalibrate: Maaaring bawasan ng 200 mga pag-ulit ang error sa mas mababa sa 5%. Ang isang pag-ulit ng pagkakalibrate ay tumutugma sa isang set/reset na operasyon ng isang RRAM cell. Ang proseso ng pag-tune ay kritikal din sa pagpapabuti ng katumpakan ng CD module ng instant close na pag-detect ng kaganapan. Kinailangan ng sampung pag-ulit ng pagkakalibrate upang makamit ang isang tunay na positibong rate (ibig sabihin, ang rate ng mga kaganapan na natukoy nang tama bilang may-katuturan) sa itaas ng 95% (asul na linya sa Figure 6c). Gayunpaman, ang proseso ng pag-tune ay hindi nakaapekto sa mga maling positibong kaganapan (iyon ay, ang dalas ng mga kaganapan na maling natukoy bilang may-katuturan). Ang isa pang paraan na sinusunod sa mga biological system para sa pagtagumpayan ng mga hadlang sa oras ng mabilis na pag-activate ng mga landas ay ang redundancy (iyon ay, maraming kopya ng parehong bagay ang ginagamit upang maisagawa ang isang naibigay na function). Dahil sa inspirasyon ng biology66, naglagay kami ng ilang CD circuit sa bawat CD module sa pagitan ng dalawang linya ng pagkaantala upang mabawasan ang epekto ng mga maling positibo. Gaya ng ipinapakita sa fig. 6c (berdeng linya), ang paglalagay ng tatlong elemento ng CD sa bawat CD module ay maaaring mabawasan ang false alarm rate sa mas mababa sa 10–2.
isang Epekto ng neuronal variability sa delay line circuits. b Ang mga delay line circuit ay maaaring i-scale sa malalaking pagkaantala sa pamamagitan ng pagtatakda ng mga constant ng oras ng kaukulang LIF neuron at DPI synapses sa malalaking halaga. Ang pagtaas ng bilang ng mga pag-ulit ng pamamaraan ng pag-calibrate ng RRAM ay naging posible upang makabuluhang mapabuti ang katumpakan ng pagkaantala ng target: Binawasan ng 200 mga pag-ulit ang error sa mas mababa sa 5%. Ang isang pag-ulit ay tumutugma sa isang SET/RESET na operasyon sa isang RRAM cell. Ang bawat CD module sa modelong c Jeffress ay maaaring ipatupad gamit ang N parallel na elemento ng CD para sa higit na kakayahang umangkop na may kinalaman sa mga pagkabigo ng system. d Mas maraming RRAM calibration iteration ang nagpapataas ng totoong positive rate (asul na linya), habang ang false positive rate ay independiyente sa bilang ng mga iteration (berdeng linya). Ang paglalagay ng higit pang mga elemento ng CD nang magkatulad ay maiiwasan ang maling pagtuklas ng mga CD module na tugma.
Sinusuri namin ngayon ang pagganap at pagkonsumo ng kuryente ng end-to-end integrated object localization system na ipinapakita sa Figure 2 gamit ang mga sukat ng acoustic properties ng pMUT sensor, CD, at delay line circuits na bumubuo sa neuromorphic computing graph. Modelo ni Jeffrey (Larawan 1a). Tulad ng para sa neuromorphic computing graph, mas malaki ang bilang ng mga CD module, mas mahusay ang angular resolution, ngunit mas mataas din ang enerhiya ng system (Fig. 7a). Maaaring maabot ang isang kompromiso sa pamamagitan ng paghahambing ng katumpakan ng mga indibidwal na bahagi (pMUT sensor, neuron, at synaptic circuit) sa katumpakan ng buong system. Ang paglutas ng linya ng pagkaantala ay limitado ng mga constant ng oras ng mga kunwa na synapses at neuron, na sa aming scheme ay lumampas sa 10 µs, na tumutugma sa isang angular na resolusyon na 4° (tingnan ang Mga Paraan). Ang mas advanced na mga node na may teknolohiyang CMOS ay magbibigay-daan sa disenyo ng mga neural at synaptic na circuit na may mas mababang mga constant ng oras, na nagreresulta sa mas mataas na katumpakan ng mga elemento ng delay line. Gayunpaman, sa aming system, ang katumpakan ay nalilimitahan ng error pMUT sa pagtatantya ng angular na posisyon, ibig sabihin, 10° (asul na pahalang na linya sa Fig. 7a). Inayos namin ang bilang ng mga CD module sa 40, na tumutugma sa isang anggular na resolusyon na humigit-kumulang 4°, ibig sabihin, ang angular na katumpakan ng computational graph (light blue horizontal line sa Fig. 7a). Sa antas ng system, nagbibigay ito ng resolution na 4° at katumpakan ng 10° para sa mga bagay na matatagpuan 50 cm sa harap ng sensor system. Ang halagang ito ay maihahambing sa mga neuromorphic sound localization system na iniulat sa ref. 67. Ang paghahambing ng iminungkahing sistema sa makabagong sistema ay makikita sa Karagdagang Talahanayan 1. Ang pagdaragdag ng mga karagdagang pMUT, pagtaas ng antas ng acoustic signal, at pagbabawas ng elektronikong ingay ay posibleng mga paraan upang higit pang mapabuti ang katumpakan ng lokalisasyon. ) ay tinatantya sa 9.7. nz. 55. Dahil sa 40 CD units sa computational graph, tinantya ng SPICE simulation ang enerhiya sa bawat operasyon (ibig sabihin, object positioning energy) na 21.6 nJ. Ang neuromorphic system ay ina-activate lamang kapag dumating ang isang input event, ibig sabihin, kapag ang acoustic wave ay umabot sa anumang pMUT receiver at lumampas sa detection threshold, kung hindi, ito ay nananatiling hindi aktibo. Iniiwasan nito ang hindi kinakailangang paggamit ng kuryente kapag walang input signal. Isinasaalang-alang ang dalas ng mga pagpapatakbo ng lokalisasyon na 100 Hz at isang panahon ng pag-activate na 300 µs bawat operasyon (ang pinakamataas na posibleng ITD), ang paggamit ng kuryente ng neuromorphic computing graph ay 61.7 nW. Sa neuromorphic pre-processing na inilapat sa bawat pMUT receiver, ang konsumo ng kuryente ng buong system ay umabot sa 81.6 nW. Upang maunawaan ang kahusayan ng enerhiya ng iminungkahing neuromorphic na diskarte kumpara sa maginoo na hardware, inihambing namin ang numerong ito sa enerhiya na kinakailangan upang maisagawa ang parehong gawain sa isang modernong low power microcontroller gamit ang alinman sa neuromorphic o conventional beamforming68 Skill. Isinasaalang-alang ng neuromorphic na diskarte ang isang yugto ng analog-to-digital converter (ADC), na sinusundan ng isang band-pass filter at isang yugto ng pagkuha ng sobre (paraan ng Teeger-Kaiser). Sa wakas, ang isang threshold na operasyon ay isinasagawa upang kunin ang ToF. Inalis namin ang pagkalkula ng ITD batay sa ToF at ang conversion sa tinantyang angular na posisyon dahil nangyayari ito nang isang beses para sa bawat pagsukat (tingnan ang Mga Paraan). Kung ipagpalagay na ang sampling rate na 250 kHz sa parehong mga channel (pMUT receiver), 18 band pass filter operations, 3 envelope extraction operations, at 1 threshold operation bawat sample, ang kabuuang paggamit ng kuryente ay tinatantya sa 245 microwatts. Ginagamit nito ang low-power mode69 ng microcontroller, na nag-o-on kapag hindi gumagana ang mga algorithm, na binabawasan ang pagkonsumo ng kuryente sa 10.8 µW. Ang paggamit ng kuryente ng beamforming signal processing solution na iminungkahi sa reference. 31, na may 5 pMUT receiver at 11 beam na pantay na ipinamamahagi sa azimuth plane [-50°, +50°], ay 11.71 mW (tingnan ang seksyong Mga Paraan para sa mga detalye). Bilang karagdagan, iniuulat namin ang pagkonsumo ng kuryente ng isang FPGA47 na nakabatay sa Time Difference Encoder (TDE) na tinatayang nasa 1.5 mW bilang kapalit ng modelong Jeffress para sa lokalisasyon ng object. Batay sa mga pagtatantya na ito, ang iminungkahing neuromorphic na diskarte ay binabawasan ang pagkonsumo ng kuryente ng limang mga order ng magnitude kumpara sa isang microcontroller na gumagamit ng mga klasikal na pamamaraan ng beamforming para sa mga pagpapatakbo ng lokalisasyon ng bagay. Ang paggamit ng isang neuromorphic na diskarte sa pagpoproseso ng signal sa isang klasikong microcontroller ay binabawasan ang pagkonsumo ng kuryente ng humigit-kumulang dalawang order ng magnitude. Ang pagiging epektibo ng iminungkahing sistema ay maaaring ipaliwanag sa pamamagitan ng kumbinasyon ng isang asynchronous resistive-memory analog circuit na may kakayahang magsagawa ng mga kalkulasyon sa memorya at ang kakulangan ng analog-to-digital na conversion na kinakailangan upang makita ang mga signal.
isang angular na resolusyon (asul) at pagkonsumo ng kuryente (berde) ng pagpapatakbo ng lokalisasyon depende sa bilang ng mga module ng CD. Ang dark blue horizontal bar ay kumakatawan sa angular accuracy ng PMUT at ang light blue horizontal bar ay kumakatawan sa angular accuracy ng neuromorphic computational graph. b Pagkonsumo ng kuryente ng iminungkahing sistema at paghahambing sa dalawang tinalakay na pagpapatupad ng microcontroller at digital na pagpapatupad ng Time Difference Encoder (TDE)47 FPGA.
Upang mabawasan ang pagkonsumo ng kuryente ng target na sistema ng lokalisasyon, kami ay nag-isip, nagdisenyo at nagpatupad ng isang mahusay, na hinimok ng kaganapan na RRAM-based na neuromorphic circuit na nagpoproseso ng impormasyon ng signal na nabuo ng mga built-in na sensor upang kalkulahin ang posisyon ng target na bagay sa totoong buhay. oras. . Habang ang mga tradisyunal na pamamaraan sa pagpoproseso ay patuloy na nagsa-sample ng mga nakitang signal at nagsasagawa ng mga kalkulasyon upang kunin ang kapaki-pakinabang na impormasyon, ang iminungkahing neuromorphic na solusyon ay nagsasagawa ng mga kalkulasyon nang asynchronous habang dumarating ang kapaki-pakinabang na impormasyon, na nagma-maximize ng system power efficiency ng limang order ng magnitude. Bilang karagdagan, itinatampok namin ang kakayahang umangkop ng mga neuromorphic circuit na nakabatay sa RRAM. Ang kakayahan ng RRAM na baguhin ang conductance sa isang non-volatile na paraan (plasticity) ay nagbabayad para sa likas na pagkakaiba-iba ng ultra-low power analog DPI's synaptic at neural circuits. Ginagawa nitong versatile at makapangyarihan ang RRAM-based circuit na ito. Ang aming layunin ay hindi upang kunin ang mga kumplikadong function o pattern mula sa mga signal, ngunit upang i-localize ang mga bagay sa real time. Ang aming system ay maaari ding mahusay na i-compress ang signal at kalaunan ay ipadala ito sa mga karagdagang hakbang sa pagproseso upang makagawa ng mas kumplikadong mga desisyon kapag kinakailangan. Sa konteksto ng mga aplikasyon ng lokalisasyon, ang aming neuromorphic na hakbang sa preprocessing ay maaaring magbigay ng impormasyon tungkol sa lokasyon ng mga bagay. Maaaring gamitin ang impormasyong ito, halimbawa, para sa motion detection o gesture recognition. Binibigyang-diin namin ang kahalagahan ng pagsasama-sama ng mga ultra low power sensor gaya ng mga pMUT na may ultra low power na electronics. Para dito, naging susi ang mga neuromorphic approach dahil pinangunahan tayo nitong bumuo ng mga bagong pagpapatupad ng circuit ng mga biologically inspired na computational na pamamaraan tulad ng modelong Jeffress. Sa konteksto ng mga application ng sensor fusion, maaaring isama ang aming system sa ilang iba't ibang sensor na nakabatay sa kaganapan upang makakuha ng mas tumpak na impormasyon. Bagama't mahusay ang mga kuwago sa paghahanap ng biktima sa dilim, mayroon silang mahusay na paningin at nagsasagawa ng pinagsamang auditory at visual na paghahanap bago mahuli ang biktima70. Kapag nag-apoy ang isang partikular na auditory neuron, natatanggap ng kuwago ang impormasyong kailangan nito upang matukoy kung saang direksyon sisimulan ang visual na paghahanap nito, kaya itinuon ang atensyon nito sa maliit na bahagi ng visual na eksena. Ang kumbinasyon ng mga visual sensor (DVS camera) at isang iminungkahing sensor sa pakikinig (batay sa pMUT) ay dapat i-explore para sa pagbuo ng mga hinaharap na autonomous na ahente.
Ang pMUT sensor ay matatagpuan sa isang PCB na may dalawang receiver na humigit-kumulang 10 cm ang pagitan, at ang transmitter ay matatagpuan sa pagitan ng mga receiver. Sa gawaing ito, ang bawat lamad ay isang suspendido na bimorph na istraktura na binubuo ng dalawang layer ng piezoelectric aluminum nitride (AlN) 800 nm makapal na naka-sandwich sa pagitan ng tatlong layer ng molybdenum (Mo) na 200 nm ang kapal at pinahiran ng isang layer na 200 nm ang kapal. ang tuktok na passivating SiN layer tulad ng inilarawan sa reference. 71. Ang panloob at panlabas na mga electrodes ay inilalapat sa ilalim at itaas na mga layer ng molibdenum, habang ang gitnang molibdenum electrode ay hindi naka-pattern at ginagamit bilang isang lupa, na nagreresulta sa isang lamad na may apat na pares ng mga electrodes.
Ang arkitektura na ito ay nagpapahintulot sa paggamit ng isang karaniwang pagpapapangit ng lamad, na nagreresulta sa pinabuting pagpapadala at pagtanggap ng sensitivity. Ang ganitong pMUT ay karaniwang nagpapakita ng sensitivity ng paggulo na 700 nm/V bilang isang emitter, na nagbibigay ng presyon sa ibabaw na 270 Pa/V. Bilang isang receiver, ang isang pMUT film ay nagpapakita ng short circuit sensitivity na 15 nA/Pa, na direktang nauugnay sa piezoelectric coefficient ng AlN. Ang teknikal na pagkakaiba-iba ng boltahe sa AlN layer ay humahantong sa isang pagbabago sa resonant frequency, na maaaring mabayaran sa pamamagitan ng paglalapat ng DC bias sa pMUT. Ang sensitivity ng DC ay sinusukat sa 0.5 kHz/V. Para sa acoustic characterization, isang mikropono ang ginagamit sa harap ng pMUT.
Upang sukatin ang pulso ng echo, naglagay kami ng isang hugis-parihaba na plato na may lawak na humigit-kumulang 50 cm2 sa harap ng pMUT upang maipakita ang mga ibinubuga na sound wave. Parehong ang distansya sa pagitan ng mga plato at ang anggulo na nauugnay sa pMUT plane ay kinokontrol gamit ang mga espesyal na may hawak. Ang isang Tectronix CPX400DP boltahe source biases tatlong pMUT membranes, tuning ang resonant frequency sa 111.9 kHz31, habang ang mga transmitters ay hinihimok ng isang Tectronix AFG 3102 pulse generator na nakatutok sa resonant frequency (111.9 kHz) at isang duty cycle na 0.01. Ang mga alon na nabasa mula sa apat na output port ng bawat pMUT receiver ay kino-convert sa mga boltahe gamit ang isang espesyal na kaugalian ng kasalukuyang at boltahe na arkitektura, at ang mga resultang signal ay na-digitize ng Spektrum data acquisition system. Ang limitasyon ng pagtuklas ay nailalarawan sa pamamagitan ng pagkuha ng pMUT signal sa ilalim ng iba't ibang mga kondisyon: inilipat namin ang reflector sa iba't ibang distansya [30, 40, 50, 60, 80, 100] cm at binago ang anggulo ng suporta ng pMUT ([0, 20, 40] o ) Ipinapakita ng Figure 2b ang temporal na resolusyon ng pagtuklas ng ITD depende sa kaukulang posisyon ng anggular sa mga degree.
Gumagamit ang artikulong ito ng dalawang magkaibang mga off-the-shelf na RRAM circuit. Ang una ay isang hanay ng 16,384 (16,000) na aparato (128 × 128 na aparato) sa isang 1T1R na pagsasaayos na may isang transistor at isang risistor. Ang pangalawang chip ay ang neuromorphic platform na ipinapakita sa Fig. 4a. Ang RRAM cell ay binubuo ng isang 5 nm makapal na HfO2 film na naka-embed sa isang stack ng TiN/HfO2/Ti/TiN. Ang RRAM stack ay isinama sa back-of-line (BEOL) ng karaniwang 130nm CMOS na proseso. Ang mga neuromorphic circuit na nakabatay sa RRAM ay nagpapakita ng isang hamon sa disenyo para sa all-analog na mga electronic system kung saan ang mga RRAM device ay magkakasamang nabubuhay sa tradisyonal na teknolohiya ng CMOS. Sa partikular, ang conduction state ng RRAM device ay dapat basahin at gamitin bilang function variable para sa system. Sa layuning ito, ang isang circuit ay idinisenyo, ginawa at sinubukan na nagbabasa ng kasalukuyang mula sa device kapag ang isang input pulse ay natanggap at ginagamit ang kasalukuyang ito upang timbangin ang tugon ng isang differential pair integrator (DPI) synapse. Ang circuit na ito ay ipinapakita sa Figure 3a, na kumakatawan sa mga pangunahing bloke ng gusali ng neuromorphic platform sa Figure 4a. Ina-activate ng isang input pulse ang gate ng 1T1R device, na nag-uudyok ng kasalukuyang sa pamamagitan ng RRAM na proporsyonal sa conductance ng device na G (Iweight = G(Vtop – Vx)). Ang inverting input ng operational amplifier (op-amp) circuit ay may pare-parehong DC bias na boltahe na Vtop. Ang negatibong feedback ng op-amp ay magbibigay ng Vx = Vtop sa pamamagitan ng pagbibigay ng pantay na kasalukuyang mula sa M1. Ang kasalukuyang Iweight na nakuha mula sa device ay ini-inject sa DPI synapse. Ang isang mas malakas na agos ay magreresulta sa higit na depolarization, kaya ang RRAM conductance ay epektibong nagpapatupad ng mga synaptic na timbang. Ang exponential synaptic current na ito ay ini-injected sa pamamagitan ng membrane capacitor ng Leaky Integration and Excitation (LIF) neurons, kung saan ito ay isinama bilang isang boltahe. Kung ang threshold boltahe ng lamad (ang switching boltahe ng inverter) ay nagtagumpay, ang output na bahagi ng neuron ay isinaaktibo, na gumagawa ng isang output spike. Ang pulso na ito ay bumabalik at inililipat ang membrane capacitor ng neuron sa lupa, na nagiging sanhi ng paglabas nito. Ang circuit na ito ay dinadagdagan ng isang pulse expander (hindi ipinapakita sa Fig. 3a), na humuhubog sa output pulse ng LIF neuron sa target na lapad ng pulso. Ang mga Multiplexer ay binuo din sa bawat linya, na nagpapahintulot sa boltahe na mailapat sa itaas at ibabang mga electrodes ng RRAM device.
Kasama sa pagsusuri sa elektrikal ang pagsusuri at pagtatala ng dynamic na pag-uugali ng mga analog circuit, pati na rin ang programming at pagbabasa ng mga RRAM device. Ang parehong mga hakbang ay nangangailangan ng mga espesyal na tool, na lahat ay konektado sa sensor board sa parehong oras. Ang pag-access sa mga aparatong RRAM sa mga neuromorphic circuit ay isinasagawa mula sa mga panlabas na tool sa pamamagitan ng isang multiplexer (MUX). Ang MUX ay naghihiwalay sa 1T1R cell mula sa natitirang bahagi ng circuitry kung saan ito nabibilang, na nagpapahintulot sa device na mabasa at/o ma-program. Para mag-program at magbasa ng mga RRAM device, ang Keithley 4200 SCS machine ay ginagamit kasabay ng Arduino microcontroller: ang una para sa tumpak na henerasyon ng pulso at kasalukuyang pagbabasa, at ang pangalawa para sa mabilis na pag-access sa mga indibidwal na elemento ng 1T1R sa memory array. Ang unang operasyon ay ang pagbuo ng RRAM device. Ang mga cell ay pinili nang paisa-isa at ang isang positibong boltahe ay inilalapat sa pagitan ng itaas at ibabang mga electrodes. Sa kasong ito, ang kasalukuyang ay limitado sa pagkakasunud-sunod ng sampu-sampung microamperes dahil sa supply ng kaukulang boltahe ng gate sa selector transistor. Ang RRAM cell ay maaaring umikot sa pagitan ng mababang conductive state (LCS) at high conductive state (HCS) gamit ang RESET at SET operations, ayon sa pagkakabanggit. Ang operasyon ng SET ay isinasagawa sa pamamagitan ng paglalapat ng isang hugis-parihaba na pulso ng boltahe na may tagal na 1 μs at isang peak boltahe na 2.0-2.5 V sa itaas na elektrod, at isang sync pulse ng isang katulad na hugis na may peak na boltahe na 0.9-1.3 V hanggang ang gate ng selector transistor. Ang mga halagang ito ay nagpapahintulot sa modulate RRAM conductance sa 20-150 µs na pagitan. Para sa RESET, isang 1 µs ang lapad, 3 V peak pulse ay inilalapat sa ilalim na electrode (bit line) ng cell kapag ang boltahe ng gate ay nasa hanay na 2.5-3.0 V. Ang mga input at output ng analog circuit ay mga dynamic na signal . Para sa input, nag-interleaved kami ng dalawang HP 8110 pulse generator na may Tektronix AFG3011 signal generators. Ang input pulse ay may lapad na 1 µs at taas/pagbagsak na gilid na 50 ns. Ang ganitong uri ng pulso ay ipinapalagay na isang tipikal na glitch sa analog glitch based circuits. Tulad ng para sa output signal, ang output signal ay naitala gamit ang Teledyne LeCroy 1 GHz oscilloscope. Ang bilis ng pagkuha ng isang oscilloscope ay napatunayang hindi isang limiting factor sa pagsusuri at pagkuha ng circuit data.
Ang paggamit ng dynamics ng analog electronics upang gayahin ang pag-uugali ng mga neuron at synapses ay isang elegante at mahusay na solusyon upang mapabuti ang kahusayan sa pag-compute. Ang kawalan ng computational underlay na ito ay ang pagkakaiba-iba nito sa bawat scheme. Binibilang namin ang pagkakaiba-iba ng mga neuron at synaptic circuit (Karagdagang Fig. 2a, b). Sa lahat ng mga pagpapakita ng pagkakaiba-iba, ang mga nauugnay sa mga constant ng oras at nakuha ng input ay may pinakamalaking epekto sa antas ng system. Ang pare-pareho ng oras ng LIF neuron at ang DPI synapse ay tinutukoy ng isang RC circuit, kung saan ang halaga ng R ay kinokontrol ng isang bias na boltahe na inilapat sa gate ng transistor (Vlk para sa neuron at Vtau para sa synapse), na tinutukoy ang rate ng pagtagas. Ang input gain ay tinukoy bilang ang peak voltage na naabot ng synaptic at neuronal membrane capacitors na pinasigla ng isang input pulse. Ang input gain ay kinokontrol ng isa pang bias transistor na nagmo-modulate sa input current. Isang Monte Carlo simulation na na-calibrate sa 130nm na proseso ng ST Microelectronics ay isinagawa upang mangolekta ng ilang input gain at time constant na mga istatistika. Ang mga resulta ay ipinakita sa Karagdagang Larawan 2, kung saan ang input gain at time constant ay binibilang bilang isang function ng bias boltahe na kumokontrol sa leakage rate. Tinutukoy ng mga berdeng marker ang karaniwang paglihis ng pare-parehong oras mula sa mean. Ang parehong mga neuron at synaptic circuit ay nakapagpahayag ng malawak na hanay ng mga constant ng oras sa hanay ng 10-5-10-2 s, tulad ng ipinapakita sa Pandagdag na Fig. scheme. Ang pagpapalakas ng input (Karagdagang Fig. 2e, d) ng pagkakaiba-iba ng neuronal at synaps ay humigit-kumulang 8% at 3%, ayon sa pagkakabanggit. Ang nasabing kakulangan ay mahusay na naitala sa panitikan: ang iba't ibang mga sukat ay isinagawa sa hanay ng mga DYNAP chips upang masuri ang mismatch sa pagitan ng mga populasyon ng LIF63 neuron. Ang mga synapses sa BrainScale mixed signal chip ay sinusukat at ang kanilang mga hindi pagkakapare-pareho ay nasuri, at isang pamamaraan ng pagkakalibrate ay iminungkahi upang mabawasan ang epekto ng pagkakaiba-iba sa antas ng system64.
Ang pag-andar ng RRAM sa mga neuromorphic circuit ay dalawa: kahulugan ng arkitektura (pagruruta ng mga input sa mga output) at pagpapatupad ng mga synaptic na timbang. Ang huling pag-aari ay maaaring gamitin upang malutas ang problema ng pagkakaiba-iba ng mga modelong neuromorphic circuit. Nakabuo kami ng isang simpleng pamamaraan sa pag-calibrate na nagsasangkot ng muling pagprograma ng RRAM device hanggang sa matugunan ng circuit na sinusuri ang ilang mga kinakailangan. Para sa isang ibinigay na input, ang output ay sinusubaybayan at ang RRAM ay reprogrammed hanggang sa ang target na gawi ay makamit. Ang isang oras ng paghihintay na 5 s ay ipinakilala sa pagitan ng mga pagpapatakbo ng programming upang malutas ang problema ng RRAM relaxation na nagreresulta sa lumilipas na mga pagbabago sa conductance (Karagdagang Impormasyon). Ang mga synaptic na timbang ay inaayos o na-calibrate ayon sa mga kinakailangan ng neuromorphic circuit na ginagaya. Ang pamamaraan ng pag-calibrate ay ibinubuod sa mga karagdagang algorithm [1, 2] na tumutuon sa dalawang pangunahing tampok ng mga neuromorphic na platform, mga linya ng pagkaantala at hindi sensitibo sa direksyon na CD. Para sa isang circuit na may delay line, ang target na gawi ay magbigay ng output pulse na may delay na Δt. Kung ang aktwal na pagkaantala ng circuit ay mas mababa kaysa sa target na halaga, ang synaptic na timbang ng G3 ay dapat na bawasan (G3 ay dapat na i-reset at pagkatapos ay itakda sa isang mas mababang tumutugmang kasalukuyang Icc). Sa kabaligtaran, kung ang aktwal na pagkaantala ay mas malaki kaysa sa target na halaga, ang conductance ng G3 ay dapat na tumaas (G3 ay dapat munang i-reset at pagkatapos ay itakda sa isang mas mataas na halaga ng Icc). Ang prosesong ito ay paulit-ulit hanggang ang pagkaantala na nabuo ng circuit ay tumugma sa target na halaga at isang pagpapaubaya ay nakatakda upang ihinto ang proseso ng pagkakalibrate. Para sa mga CD na hindi sensitibo sa oryentasyon, dalawang RRAM device, G1 at G3, ang kasangkot sa proseso ng pagkakalibrate. Ang circuit na ito ay may dalawang input, Vin0 at Vin1, na naantala ng dt. Ang circuit ay dapat lamang tumugon sa mga pagkaantala sa ibaba ng pagtutugma ng hanay [0,dtCD]. Kung walang output peak, ngunit malapit na ang input peak, dapat na palakasin ang parehong RRAM device upang matulungan ang neuron na maabot ang threshold. Sa kabaligtaran, kung tumugon ang circuit sa isang pagkaantala na lumampas sa target na hanay ng dtCD, dapat bawasan ang conductance. Ulitin ang proseso hanggang sa makuha ang tamang pag-uugali. Ang kasalukuyang pagsunod ay maaaring ma-modulate ng built-in na analog circuit sa ref. 72.73. Gamit ang built-in na circuit na ito, ang mga naturang pamamaraan ay maaaring isagawa nang pana-panahon upang i-calibrate ang system o muling gamitin ito para sa isa pang aplikasyon.
Sinusuri namin ang pagkonsumo ng kuryente ng aming diskarte sa pagpoproseso ng neuromorphic signal sa isang karaniwang 32-bit microcontroller68. Sa pagsusuring ito, ipinapalagay namin ang operasyon na may parehong setup tulad ng sa papel na ito, na may isang pMUT transmitter at dalawang pMUT receiver. Gumagamit ang paraang ito ng bandpass filter, na sinusundan ng isang hakbang sa pagkuha ng sobre (Teeger-Kaiser), at sa wakas ay inilapat ang isang thresholding operation sa signal upang kunin ang oras ng paglipad. Ang pagkalkula ng ITD at ang conversion nito sa mga anggulo ng pagtuklas ay tinanggal sa pagsusuri. Isinasaalang-alang namin ang pagpapatupad ng band pass filter gamit ang 4th order na infinite impulse response filter na nangangailangan ng 18 floating point operations. Gumagamit ang pagkuha ng sobre ng tatlo pang pagpapatakbo ng floating point, at ang huling operasyon ay ginagamit upang itakda ang threshold. Isang kabuuan ng 22 floating point operations ang kinakailangan upang paunang iproseso ang signal. Ang ipinadalang signal ay isang maikling pagsabog ng 111.9 kHz sine waveform na nabuo tuwing 10 ms na nagreresulta sa isang positioning operating frequency na 100 Hz. Gumamit kami ng sampling rate na 250 kHz para sumunod sa Nyquist at isang 6 ms window para sa bawat pagsukat upang makuha ang saklaw na 1 metro. Tandaan na ang 6 na millisecond ay ang oras ng paglipad ng isang bagay na 1 metro ang layo. Nagbibigay ito ng konsumo ng kuryente na 180 µW para sa conversion ng A/D sa 0.5 MSPS. Ang signal preprocessing ay 6.60 MIPS (mga tagubilin sa bawat segundo), na bumubuo ng 0.75 mW. Gayunpaman, maaaring lumipat ang microcontroller sa low power mode 69 kapag hindi tumatakbo ang algorithm. Nagbibigay ang mode na ito ng static na pagkonsumo ng kuryente na 10.8 μW at isang wake-up time na 113 μs. Dahil sa dalas ng orasan na 84 MHz, kinukumpleto ng microcontroller ang lahat ng operasyon ng neuromorphic algorithm sa loob ng 10 ms, at kinakalkula ng algorithm ang duty cycle na 6.3%, kaya gumagamit ng low power mode. Ang nagresultang pagkawala ng kuryente ay 244.7 μW. Tandaan na tinanggal namin ang output ng ITD mula sa ToF at ang conversion sa anggulo ng pagtuklas, kaya minamaliit ang konsumo ng kuryente ng microcontroller. Nagbibigay ito ng karagdagang halaga para sa kahusayan ng enerhiya ng iminungkahing sistema. Bilang karagdagang kundisyon ng paghahambing, sinusuri namin ang paggamit ng kuryente ng mga klasikal na pamamaraan ng beamforming na iminungkahi sa sanggunian. 31.54 kapag naka-embed sa parehong microcontroller68 sa 1.8V supply boltahe. Limang pantay na pagitan ng pMUT membrane ang ginagamit para makakuha ng data para sa beamforming. Tulad ng para sa pagproseso mismo, ang beamforming method na ginamit ay delay summation. Binubuo lamang ito ng paglalapat ng pagkaantala sa mga lane na tumutugma sa inaasahang pagkakaiba sa mga oras ng pagdating sa pagitan ng isang lane at ng reference lane. Kung nasa phase ang mga signal, magkakaroon ng mataas na enerhiya ang kabuuan ng mga signal na ito pagkatapos ng time shift. Kung wala na sila sa yugto, malilimitahan ng mapanirang interference ang enerhiya ng kanilang kabuuan. sa isang relasyon. Sa fig. 31, ang isang sampling rate na 2 MHz ay ​​pinili upang ilipat sa oras ang data sa pamamagitan ng isang integer na bilang ng mga sample. Ang isang mas katamtamang diskarte ay upang mapanatili ang isang mas magaspang na sample rate na 250 kHz at gumamit ng isang Finite Impulse Response (FIR) na filter upang mag-synthesize ng mga fractional na pagkaantala. Ipagpalagay namin na ang pagiging kumplikado ng beamforming algorithm ay pangunahing tinutukoy ng paglilipat ng oras, dahil ang bawat channel ay pinagsama sa isang FIR filter na may 16 na pag-tap sa bawat direksyon. Upang kalkulahin ang bilang ng MIPS na kinakailangan para sa operasyong ito, isinasaalang-alang namin ang isang window na 6ms bawat pagsukat upang makuha ang hanay ng 1 metro, 5 channel, 11 beamforming na direksyon (range +/- 50° sa 10° na hakbang). 75 mga sukat bawat segundo ang nagtulak sa microcontroller sa maximum na 100 MIPS. Link. 68, na nagreresulta sa power dissipation na 11.26 mW para sa kabuuang power dissipation na 11.71 mW pagkatapos idagdag ang onboard na kontribusyon ng ADC.
Ang data na sumusuporta sa mga resulta ng pag-aaral na ito ay makukuha mula sa kani-kanilang may-akda, FM, sa makatwirang kahilingan.
Indiveri, G. & Sandamirskaya, Y. Ang kahalagahan ng espasyo at oras para sa pagpoproseso ng signal sa mga ahente ng neuromorphic: Ang hamon ng pagbuo ng mababang kapangyarihan, mga autonomous na ahente na nakikipag-ugnayan sa kapaligiran. Indiveri, G. & Sandamirskaya, Y. Ang kahalagahan ng espasyo at oras para sa pagpoproseso ng signal sa mga ahente ng neuromorphic: Ang hamon ng pagbuo ng mababang kapangyarihan, mga autonomous na ahente na nakikipag-ugnayan sa kapaligiran.Indiveri G. at Sandamirskaya Y. Ang kahalagahan ng espasyo at oras para sa pagpoproseso ng signal sa mga ahente ng neuromorphic: ang hamon ng pagbuo ng mga autonomous na ahente na may mababang kapangyarihan na nakikipag-ugnayan sa kapaligiran. Indiveri, G. & Sandamirskaya, Y.理的挑战。 Indiveri, G. at Sandamirskaya, Y.Indiveri G. at Sandamirskaya Y. Ang kahalagahan ng espasyo at oras para sa pagpoproseso ng signal sa mga ahente ng neuromorphic: ang hamon ng pagbuo ng mga autonomous na ahente na may mababang kapangyarihan na nakikipag-ugnayan sa kapaligiran.IEEE Signal Processing. Journal 36, 16–28 (2019).
Thorpe, SJ Peak na Oras ng Pagdating: Isang Mahusay na Neural Network Coding Scheme. sa Eckmiller, R., Hartmann, G. & Hauske, G. (eds). sa Eckmiller, R., Hartmann, G. & Hauske, G. (eds).sa Eckmiller, R., Hartmann, G. at Hauske, G. (eds.).Sa Eckmiller, R., Hartmann, G., at Hauske, G. (eds.). Parallel processing sa neural system at computer 91–94 (North-Holland Elsevier, 1990).
Ang Levy, WB & Calvert, VG Communication ay kumokonsumo ng 35 beses na mas maraming enerhiya kaysa sa pag-compute sa cortex ng tao, ngunit ang parehong mga gastos ay kinakailangan upang mahulaan ang numero ng synaps. Ang Levy, WB & Calvert, VG Communication ay kumokonsumo ng 35 beses na mas maraming enerhiya kaysa sa pag-compute sa cortex ng tao, ngunit ang parehong mga gastos ay kinakailangan upang mahulaan ang numero ng synaps.Ang Levy, WB at Calvert, WG Communication ay kumokonsumo ng 35 beses na mas maraming enerhiya kaysa sa pag-compute sa cortex ng tao, ngunit ang parehong mga gastos ay kinakailangan upang mahulaan ang bilang ng mga synapses. Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35 倍，但这两种成本都需要预测突触数量。 Levy, WB at Calvert, VG CommunicationAng Levy, WB at Calvert, WG Communication ay gumagamit ng 35 beses na mas maraming enerhiya kaysa sa pag-compute sa cortex ng tao, ngunit ang parehong mga gastos ay nangangailangan ng paghula sa bilang ng mga synapses.proseso. National Academy of Science. ang agham. US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing.Dalgati, T., Vianello, E., DeSalvo, B. at Casas, J. Insect-inspired neuromorphic computing.Dalgati T., Vianello E., DeSalvo B. at Casas J. Insect-inspired neuromorphic computing. Kasalukuyan. Opinyon. Agham ng insekto. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Patungo sa spike-based machine intelligence na may neuromorphic computing. Roy, K., Jaiswal, A. & Panda, P. Patungo sa spike-based machine intelligence na may neuromorphic computing. Roy, K., Jaiswal, A. & Panda, P. Tungo sa Spike-Based Machine Intelligence na may Neuromorphic Computing.Roy K, Jaiswal A, at Panda P. Pulse-based na artificial intelligence gamit ang neuromorphic computing. Kalikasan 575, 607–617 (2019).
Indiveri, G. at Liu, S.-C. Indiveri, G. at Liu, S.-C.Indiveri, G. at Liu, S.-K. Indiveri, G. at Liu, S.-C. Indiveri, G. at Liu, S.-C.Indiveri, G. at Liu, S.-K.Pagproseso ng memorya at impormasyon sa mga neuromorphic system. proseso. IEEE 103, 1379–1397 (2015).
Akopyan F. et al. Truenorth: Disenyo at toolkit para sa 65 mW 1 milyong neuron programmable synaptic chip. Mga transaksyon sa IEEE. Disenyo ng computer ng mga integrated circuit system. 34, 1537–1557 (2015).
Schemmel, J. et al. Live na demo: pinaliit na bersyon ng BrainScaleS neuromorphic system sa plate scale. 2012 IEEE International Symposium on Circuits and Systems (ISCAS), (IEEE ed.) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Isang scalable na multicore na arkitektura na may magkakaibang mga istruktura ng memorya para sa mga dynamic na neuromorphic asynchronous na processor (DYNAPs). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Isang scalable na multicore na arkitektura na may magkakaibang mga istruktura ng memorya para sa mga dynamic na neuromorphic asynchronous na processor (DYNAPs).Moradi S., Qiao N., Stefanini F. at Indiviri G. Isang scalable na multicore na arkitektura na may magkakaibang istruktura ng memorya para sa mga dynamic na neuromorphic asynchronous na processor (DYNAP). Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. 一种可扩展的多核架构，具有用于动态神经形态异经形态器经形态异物形态异物形态异步态存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Isang uri ng napapalawak na multi-core na arkitektura, na may natatanging istraktura ng memorya para sa dynamic na neural processing (DYNAP).Moradi S., Qiao N., Stefanini F. at Indiviri G. Isang scalable na multicore na arkitektura na may magkakaibang istruktura ng memorya para sa mga dynamic na neuromorphic asynchronous na processor (DYNAP).IEEE Transactions on Biomedical science. sistema ng kuryente. 12, 106–122 (2018).
Davis, M. et al. Loihi: Isang neuromorphic multi-core processor na may naka-embed na pag-aaral. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA Ang proyekto ng SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA Ang proyekto ng SpiNNaker.Ferber SB, Galluppi F., Temple S. at Plana LA SpiNNaker na proyekto.Ferber SB, Galluppi F., Temple S. at Plana LA SpiNNaker na proyekto. proseso. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Neuromorphic sensory system. & Delbruck, T. Neuromorphic sensory system.at Delbrück T. Neuromorphic sensory system. & Delbruck, T. 神经形态感觉系统。 & Delbruck, T.at Delbrück T. Neuromorphic sensory system.Kasalukuyan. Opinyon. Neurobiology. 20, 288–295 (2010).
Chope, T. et al. Neuromorphic sensory integration para sa pinagsamang sound source localization at pag-iwas sa banggaan. Noong 2019 sa IEEE Conference on Biomedical Circuits and Systems (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Isang spike-based na neuromorphic architecture ng stereo vision. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Isang spike-based na neuromorphic architecture ng stereo vision.Risi N, Aymar A, Donati E, Solinas S, at Indiveri G. Isang arkitekturang neuromorphic stereovision na nakabatay sa spike. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S, at Indiveri G. Nakabatay sa spike na neuromorphic architecture para sa stereo vision.harap. Neurorobotics 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Isang spiking neural network na modelo ng 3Dperception para sa neuromorphic stereo vision system na nakabatay sa kaganapan. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Isang spiking neural network na modelo ng 3Dperception para sa neuromorphic stereo vision system na nakabatay sa kaganapan.Oswald, M., Ieng, S.-H., Benosman, R., at Indiveri, G. Isang 3D Pulsed Neural Network Perception Model para sa Event-Based Neuromorphic Stereo Vision Systems. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 基于事件的神经形态立体视觉系统的3Dperception 脉冲神经网神神经网。 Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R., at Indiveri, G. Spiked 3Dperception Neural Network Model para sa isang Event-Based Neuromorphic Stereo Vision System.ang agham. Ulat 7, 1–11 (2017).
Dalgaty, T. et al. Kasama sa insect-inspired basic motion detection ang resistive memory at bursty neural network. Bionic biohybrid system. 10928, 115–128 (2018).
D'Angelo, G. et al. Pag-detect ng eccentric na paggalaw na nakabatay sa kaganapan gamit ang temporal differential coding. harap. Neurology. 14, 451 (2020).