Ang mga aplikasyon sa pagproseso sa datos sa tinuod nga kalibutan nanginahanglan mga compact, low-latency, low-power computing system. Uban sa mga kapabilidad sa pag-compute nga gipadagan sa panghitabo, ang komplementaryong metal-oxide-semiconductor hybrid memristive neuromorphic nga mga arkitektura naghatag usa ka sulundon nga pundasyon sa hardware alang sa ingon nga mga buluhaton. Aron ipakita ang bug-os nga potensyal sa ingon nga mga sistema, among gisugyot ug eksperimento nga gipakita ang usa ka komprehensibo nga solusyon sa pagproseso sa sensor alang sa mga aplikasyon sa lokal nga lokal nga butang sa kalibutan. Pagdrowing og inspirasyon gikan sa barn owl neuroanatomy, nakahimo kami og bioinspired, event-driven object localization system nga naghiusa sa state-of-the-art nga piezoelectric micromechanical transducer transducer nga adunay computational graph-based neuromorphic resistive memory. Gipakita namo ang mga pagsukod sa usa ka hinimo nga sistema nga naglakip sa usa ka detektor sa resistive coincidence nga nakabase sa memorya, delay line circuitry, ug usa ka hingpit nga napasadya nga ultrasonic transducer. Gigamit namo kini nga mga resulta sa eksperimento aron ma-calibrate ang mga simulation sa lebel sa sistema. Kini nga mga simulation gigamit dayon sa pagtimbang-timbang sa angular resolution ug energy efficiency sa object localization model. Gipakita sa mga resulta nga ang among pamaagi mahimong daghang mga order sa kadako nga labi ka episyente sa enerhiya kaysa sa mga microcontroller nga naghimo sa parehas nga buluhaton.
Nagsulod kami sa usa ka panahon sa ubiquitous nga pag-compute diin ang gidaghanon sa mga aparato ug sistema nga gipakatap nagkadaghan aron matabangan kami sa among adlaw-adlaw nga kinabuhi. Kini nga mga sistema gilauman nga magpadayon sa pagdagan, nga mag-usik sa gamay nga gahum kutob sa mahimo samtang nagkat-on sa paghubad sa datos nga ilang nakolekta gikan sa daghang mga sensor sa tinuud nga oras ug makahimo og binary nga output ingon usa ka sangputanan sa mga buluhaton sa klasipikasyon o pag-ila. Usa sa labing importante nga mga lakang nga gikinahanglan aron makab-ot kini nga tumong mao ang pagkuha sa mapuslanon ug compact nga impormasyon gikan sa saba ug kasagaran dili kompleto nga sensory data. Ang naandan nga mga pamaagi sa inhenyero kasagarang nagsampol sa mga signal sa sensor sa makanunayon ug taas nga rate, nga nagpatunghag daghang mga datos bisan kung wala ang mapuslanon nga mga input. Dugang pa, kini nga mga pamaagi naggamit ug komplikado nga digital signal processing techniques aron maproseso daan ang (kasagarang saba) input data. Hinunoa, ang biology nagtanyag ug alternatibong mga solusyon alang sa pagproseso sa saba nga sensory data gamit ang energy-efficient, asynchronous, event-driven approaches (spikes)2,3. Ang neuromorphic computing nagkinahanglan og inspirasyon gikan sa biological nga mga sistema aron makunhuran ang mga gasto sa pagkalkula sa mga termino sa enerhiya ug mga kinahanglanon sa panumduman kon itandi sa tradisyonal nga pamaagi sa pagproseso sa signal4,5,6. Bag-ohay lang, ang mga innovative nga kinatibuk-ang katuyoan nga mga sistema nga nakabase sa utok nga nagpatuman sa mga impulse neural network (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11) gipakita. Kini nga mga processor naghatag og ubos nga gahum, ubos nga latency nga mga solusyon alang sa machine learning ug cortical circuit modeling. Aron hingpit nga mapahimuslan ang ilang kahusayan sa enerhiya, kini nga mga neuromorphic nga mga processor kinahanglan nga direktang konektado sa mga sensor nga gipadagan sa panghitabo12,13. Bisan pa, karon adunay pipila ra nga mga aparato sa paghikap nga direkta nga naghatag data nga gipadagan sa panghitabo. Ang mga prominenteng pananglitan mao ang dynamic visual sensors (DVS) para sa mga aplikasyon sa panan-aw sama sa tracking ug motion detection14,15,16,17 ang silicon cochlea18 ug neuromorphic auditory sensors (NAS)19 para sa auditory signal processing, olfactory sensors20 ug daghang pananglitan21,22 sa paghikap. . mga sensor sa texture.
Sa kini nga papel, gipresentar namon ang usa ka bag-ong naugmad nga sistema sa pagproseso sa auditory nga gipadagan sa panghitabo nga gipadapat sa lokalisasyon sa butang. Dinhi, sa unang higayon, among gihulagway ang usa ka end-to-end nga sistema alang sa localization sa butang nga nakuha pinaagi sa pagkonektar sa usa ka state-of-the-art nga piezoelectric micromachined ultrasonic transducer (pMUT) nga adunay computational graph base sa neuromorphic resistive memory (RRAM). Ang mga arkitektura sa pag-compute sa memorya gamit ang RRAM usa ka maayong solusyon alang sa pagkunhod sa konsumo sa kuryente23,24,25,26,27,28,29. Ang ilang kinaiyanhon nga non-volatility-nga wala magkinahanglan og aktibo nga konsumo sa kuryente sa pagtipig o pag-update sa impormasyon-usa ka hingpit nga haum sa asynchronous, event-driven nga kinaiya sa neuromorphic computing, nga miresulta sa hapit-walay konsumo sa kuryente kung ang sistema walay pulos. Ang piezoelectric micromachined ultrasonic transducers (pMUTs) kay barato, miniaturized nga silicon-based ultrasonic transducers nga makahimo sa paglihok isip mga transmitter ug receiver30,31,32,33,34. Aron maproseso ang mga signal nga nadawat sa mga built-in nga sensor, nakakuha kami inspirasyon gikan sa barn owl neuroanatomy35,36,37. Ang barn owl nga Tyto alba nailhan tungod sa talagsaon nga mga abilidad sa pagpangayam sa gabii salamat sa usa ka maayo kaayo nga auditory localization system. Aron makalkulo ang lokasyon sa tukbonon, ang sistema sa lokalisasyon sa barn owl nag-encode sa oras sa paglupad (ToF) kung ang mga sound wave gikan sa biktima makaabot sa matag dalunggan sa owl o sound receptor. Tungod sa gilay-on tali sa mga dalunggan, ang kalainan tali sa duha ka mga sukod sa ToF (Interaural Time Difference, ITD) nagpaposible sa analitikong pagkalkulo sa posisyon sa azimuth sa target. Bisan tuod ang mga biyolohikal nga sistema dili maayo nga haum sa pagsulbad sa mga algebraic equation, sila makasulbad sa mga problema sa lokalisasyon nga epektibo kaayo. Ang sistema sa nerbiyos sa barn owl naggamit ug usa ka set sa coincidence detector (CD)35 neurons (ie, mga neuron nga makahimo sa pag-detect sa temporal nga mga correlasyon tali sa mga spike nga mokaylap paubos ngadto sa convergent excitatory endings)38,39 nga giorganisar ngadto sa computational graphs aron masulbad ang mga problema sa positioning.
Gipakita sa miaging panukiduki nga ang komplementaryong metal-oxide-semiconductor (CMOS) hardware ug RRAM-based neuromorphic hardware nga giinspirar sa ubos nga colliculus ("auditory cortex") sa barn owl usa ka episyente nga pamaagi sa pagkalkula sa posisyon gamit ang ITD13, 40, 41, 42, 43, 44, 45, 46. Bisan pa, ang potensyal sa kompleto nga mga sistema sa neuromorphic nga nagsumpay sa auditory Ang mga timailhan sa neuromorphic computational graphs wala pa gipakita. Ang nag-unang problema mao ang kinaiyanhon nga kabag-ohan sa mga analog nga CMOS circuit, nga nakaapekto sa katukma sa pagtuki sa posporo. Bag-ohay lang, ang mga alternatibo nga pagpatuman sa numero sa mga banabana sa ITD47 gipakita. Niini nga papel, among gisugyot nga gamiton ang abilidad sa RRAM aron mabag-o ang bili sa conductance sa usa ka non-volatile nga paagi aron masumpo ang kabag-ohan sa mga analog circuit. Gipatuman namo ang usa ka eksperimento nga sistema nga gilangkuban sa usa ka pMUT transmitting membrane nga naglihok sa frequency nga 111.9 kHz, duha ka pMUT nga nakadawat nga mga lamad (sensor) nga nagsundog sa mga dalunggan sa barn owl, ug usa. Gi-eksperimento namo ang pMUT detection system ug RRAM-based ITD computational graph aron sulayan ang among localization system ug pagtimbang-timbang sa angular resolution niini.
Gikumpara namon ang among pamaagi sa usa ka digital nga pagpatuman sa usa ka microcontroller nga naghimo sa parehas nga buluhaton sa lokalisasyon gamit ang naandan nga beamforming o neuromorphic nga mga pamaagi, ingon man usa ka field programmable gate array (FPGA) alang sa pagtantiya sa ITD nga gisugyot sa reference. 47. Kini nga pagtandi nagpasiugda sa competitive power efficiency sa gisugyot nga RRAM-based analog neuromorphic system.
Usa sa labing katingad-an nga mga pananglitan sa usa ka tukma ug episyente nga sistema sa lokalisasyon sa butang makita sa barn owl35,37,48. Sa kilumkilom ug kaadlawon, ang barn owl (Tyto Alba) nag-una nga nagsalig sa passive nga pagpaminaw, aktibong nangita og gamay nga tukbonon sama sa mga vole o ilaga. Kini nga mga eksperto sa auditory maka-localize sa auditory signal gikan sa tukbonon nga adunay katingad-an nga katukma (mga 2°)35, ingon sa gipakita sa Fig. 1a. Ang mga barn owls nag-ihap sa lokasyon sa mga tinubdan sa tingog sa azimuth (horizontal) nga eroplano gikan sa kalainan sa umaabot nga oras sa paglupad (ITD) gikan sa tinubdan sa tingog ngadto sa duha ka dalunggan. Ang mekanismo sa pag-compute sa ITD gisugyot ni Jeffress49,50 nga nagsalig sa neural geometry ug nanginahanglan duha ka hinungdanon nga sangkap: usa ka axon, usa ka nerve fiber sa neuron nga naglihok ingon usa ka linya sa paglangan, ug usa ka han-ay sa mga coincidence detector neuron nga giorganisar sa usa ka sistema sa pagkalkula. graph sama sa gipakita sa Figure 1b. Ang tingog moabot sa dalunggan nga adunay azimuth dependent time delay (ITD). Dayon ang tingog himoong spike pattern sa matag dalunggan. Ang mga axon sa wala ug tuo nga dalunggan naglihok isip mga linya sa paglangan ug nagtapok sa mga CD neuron. Sa teoriya, usa lamang ka neuron sa usa ka han-ay sa gipares nga mga neuron ang makadawat sa input sa usa ka higayon (diin ang paglangan mokanselar sa eksakto) ug mosunog sa labing taas (ang mga silingan nga mga selula mosunog usab, apan sa mas ubos nga frequency). Ang pagpaaktibo sa pipila ka mga neuron nag-encode sa posisyon sa target sa wanang nga wala’y dugang nga pagbag-o sa ITD sa mga anggulo. Kini nga konsepto gi-summarize sa Figure 1c: pananglitan, kung ang tunog gikan sa tuo nga kilid kung ang input signal gikan sa tuo nga dalunggan nagbiyahe sa usa ka mas taas nga agianan kaysa sa agianan gikan sa wala nga dalunggan, nga nagbayad sa gidaghanon sa mga ITD, pananglitan, kung ang neuron 2 magkatugma. Sa laing pagkasulti, ang matag CD motubag sa usa ka piho nga ITD (nailhan usab nga labing maayo nga paglangan) tungod sa paglangan sa axonal. Busa, ang utok nag-convert sa temporal nga impormasyon ngadto sa spatial nga impormasyon. Anatomical nga ebidensya alang niini nga mekanismo nakaplagan37,51. Ang phase-locked macronucleus neurons nagtipig sa temporal nga impormasyon bahin sa umaabot nga mga tingog: sumala sa gipasabot sa ilang ngalan, sila nagpabuto sa pipila ka mga hugna sa signal. Ang mga neuron sa coincidence detector sa modelo nga Jeffress makita sa laminar core. Nakadawat sila og impormasyon gikan sa mga macronuclear neuron, kansang mga axon naglihok isip mga linya sa paglangan. Ang gidaghanon sa paglangan nga gihatag sa linya sa paglangan mahimong ipatin-aw sa gitas-on sa axon, ingon man usab sa lain nga pattern sa myelination nga nagbag-o sa tulin sa pagpadagan. Nadasig sa auditory system sa barn owl, nakahimo kami og biomimetic system alang sa pag-localize sa mga butang. Ang duha ka dalunggan girepresentahan sa duha ka pMUT receiver. Ang tinubdan sa tingog mao ang pMUT transmitter nga nahimutang sa taliwala nila (Fig. 1a), ug ang computational graph naporma sa usa ka grid sa RRAM-based CD circuits (Fig. 1b, green), nga nagdula sa papel sa CD neurons kansang mga input nalangan. pinaagi sa sirkito, ang mga linya sa paglangan (asul) molihok sama sa mga axon sa biolohikal nga katugbang. Ang gisugyot nga sensory system lahi sa operating frequency gikan sa owl, kansang auditory system naglihok sa 1-8 kHz range, apan ang pMUT sensor nga naglihok sa mga 117 kHz gigamit niini nga trabaho. Ang pagpili sa usa ka ultrasonic transducer gikonsiderar sumala sa teknikal ug optimization criteria. Una, ang paglimite sa makadawat nga bandwidth sa usa ka frequency nga labing maayo nga nagpauswag sa katukma sa pagsukod ug gipasimple ang lakang sa pagproseso sa post. Dugang pa, ang operasyon sa ultrasound adunay bentaha nga ang gipagawas nga mga pulso dili madungog, busa ayaw pagsamok sa mga tawo, tungod kay ang ilang auditory range mao ang ~ 20-20 kHz.
ang barn owl nakadawat ug sound waves gikan sa usa ka target, sa niini nga kaso naglihok nga tukbonon. Ang oras sa paglupad (ToF) sa sound wave managlahi sa matag dalunggan (gawas kon ang tukbonon anaa diretso sa atubangan sa bukaw). Ang tuldok-tuldok nga linya nagpakita sa dalan nga giagian sa mga sound wave aron makaabot sa mga dalunggan sa barn owl. Ang biktima mahimong tukma nga ma-localize sa pinahigda nga eroplano base sa gitas-on nga kalainan tali sa duha ka acoustic nga mga agianan ug sa katugbang nga interaural time difference (ITD) (wala nga hulagway nga giinspirar sa ref. 74, copyright 2002, Society for Neuroscience). Sa among sistema, ang pMUT transmitter (dark blue) nagpatunghag mga sound wave nga nag-bounce sa target. Ang gipabanaag nga ultrasound waves nadawat sa duha ka pMUT receiver (light green) ug giproseso sa neuromorphic processor (tuo). b Usa ka ITD (Jeffress) computational model nga naghulagway kon sa unsang paagi ang mga tingog nga mosulod sa mga dalunggan sa barn owl unang gi-encode isip phase-locked spikes sa dako nga nucleus (NM) ug dayon naggamit ug geometrically arranged grid sa gipares nga detector neurons sa lamellar nucleus. Pagproseso (Netherlands) (wala). Ilustrasyon sa usa ka neuroITD computational graph nga naghiusa sa mga linya sa paglangan ug coincidence detector neurons, ang owl biosensor system mahimong mamodelo gamit ang RRAM-based neuromorphic circuits (tuo). c Schematic sa nag-unang Jeffress mekanismo, tungod sa kalainan sa ToF, ang duha ka dalunggan makadawat sa tingog stimuli sa lain-laing mga panahon ug ipadala axons gikan sa duha ka tumoy ngadto sa detector. Ang mga axon kabahin sa usa ka serye sa mga coincidence detector (CD) neurons, nga ang matag usa pilion nga motubag sa kusog nga mga input nga may kalabutan sa panahon. Ingon usa ka sangputanan, ang mga CD lamang kansang mga input moabut nga adunay labing gamay nga kalainan sa oras ang labi nga naghinam-hinam (ang ITD eksakto nga bayad). Ang CD unya mag-encode sa angular nga posisyon sa target.
Ang piezoelectric micromechanical ultrasonic transducers mga scalable ultrasonic transducers nga mahimong i-integrate sa advanced CMOS technology31,32,33,52 ug adunay mas ubos nga inisyal nga boltahe ug power consumption kaysa tradisyonal nga volumetric transducers53. Sa among trabaho, ang diametro sa lamad mao ang 880 µm, ug ang resonant frequency giapod-apod sa han-ay nga 110-117 kHz (Fig. 2a, tan-awa ang Mga Pamaagi alang sa mga detalye). Sa usa ka batch sa napulo ka mga himan sa pagsulay, ang kasagaran nga kalidad nga hinungdan mga 50 (ref. 31). Ang teknolohiya nakaabot sa pagkahamtong sa industriya ug dili bioinspired per se. Ang paghiusa sa impormasyon gikan sa lain-laing pMUT nga mga salida kay usa ka ilado nga teknik, ug ang anggulo nga impormasyon makuha gikan sa pMUT gamit, pananglitan, beamforming techniques31,54. Bisan pa, ang pagproseso sa signal nga gikinahanglan aron makuha ang impormasyon sa anggulo dili angay alang sa ubos nga pagsukod sa gahum. Ang gisugyot nga sistema naghiusa sa neuromorphic data preprocessing circuit pMUT sa usa ka RRAM-based neuromorphic computing graph nga giinspirar sa modelo nga Jeffress (Figure 2c), nga naghatag ug alternatibong enerhiya-episyente ug resource-constrained hardware solution. Naghimo kami usa ka eksperimento diin ang duha ka pMUT sensor gibutang gibana-bana nga 10 cm ang gilay-on aron mapahimuslan ang lainlaing mga tunog sa ToF nga nadawat sa duha nga nakadawat nga mga lamad. Usa ka pMUT nga naglihok isip usa ka transmitter naglingkod taliwala sa mga tigdawat. Ang target mao ang PVC plate nga 12 cm ang gilapdon, nga nahimutang sa layo nga D atubangan sa pMUT device (Fig. 2b). Ang tigdawat nagrekord sa tingog nga gipakita gikan sa butang ug nag-react kutob sa mahimo sa panahon sa pag-agi sa sound wave. Balika ang eksperimento pinaagi sa pag-usab sa posisyon sa butang, determinado sa gilay-on D ug ang anggulo θ. Nadasig sa usa ka link. 55, among gisugyot ang usa ka neuromorphic pre-processing sa pMUT nga hilaw nga mga signal aron mabag-o ang gipakita nga mga balud ngadto sa mga taluktok aron ma-input ang usa ka neuromorphic computational graph. Ang ToF nga katumbas sa peak amplitude gikuha gikan sa matag usa sa duha ka mga kanal ug gi-encode ingon nga eksakto nga oras sa indibidwal nga mga taluktok. Sa fig. Gipakita sa 2c ang circuitry nga gikinahanglan aron ma-interface ang pMUT sensor sa usa ka RRAM-based computational graph: para sa matag usa sa duha ka pMUT receiver, ang hilaw nga signal kay band-pass gisala aron hapsay, tul-iron, ug dayon ipasa ngadto sa leaky integrator sa pagbuntog sa mode. ang dinamikong threshold (Fig. 2d) nagmugna og output event (spike) ug firing (LIF) neuron: ang output spike time nag-encode sa nakita nga flight time. Ang LIF threshold gi-calibrate batok sa pMUT nga tubag, sa ingon gipakunhod ang pMUT variability gikan sa device ngadto sa device. Uban niini nga pamaagi, imbes nga tipigan ang tibuok sound wave sa memorya ug iproseso kini sa ulahi, makamugna lang kami ug peak nga katumbas sa ToF sa sound wave, nga maoy magporma sa input sa resistive memory computational graph. Ang mga spike direkta nga gipadala sa mga linya sa paglangan ug gipares sa mga modulo sa pagtuki sa posporo sa mga graph sa pagkalkula sa neuromorphic. Tungod kay kini gipadala ngadto sa mga ganghaan sa mga transistor, walay dugang nga amplification circuitry ang gikinahanglan (tan-awa ang Supplementary Fig. 4 alang sa mga detalye). Aron sa pagtimbang-timbang sa localization angular accuracy nga gihatag sa pMUT ug ang gisugyot nga pamaagi sa pagproseso sa signal, among gisukod ang ITD (nga mao, ang kalainan sa panahon tali sa peak nga mga panghitabo nga namugna sa duha ka receiver) kay lainlain ang gilay-on ug anggulo sa butang. Ang pag-analisa sa ITD dayon nakabig sa mga anggulo (tan-awa ang Mga Pamaagi) ug giplano batok sa posisyon sa butang: ang kawalay kasiguruhan sa gisukod nga ITD nagdugang sa gilay-on ug anggulo sa butang (Fig. 2e, f). Ang nag-unang problema mao ang peak-to-noise ratio (PNR) sa tubag sa pMUT. Kon mas layo ang butang, mas ubos ang acoustic signal, sa ingon makunhuran ang PNR (Fig. 2f, berde nga linya). Ang pagkunhod sa PNR nagdala ngadto sa usa ka pagtaas sa kawalay kasiguruhan sa banabana sa ITD, nga miresulta sa usa ka pagtaas sa pagkatukma sa localization (Fig. 2f, asul nga linya). Alang sa usa ka butang sa gilay-on nga 50 cm gikan sa transmitter, ang angular nga katukma sa sistema gibanabana nga 10 °. Kini nga limitasyon nga gipahamtang sa mga kinaiya sa sensor mahimong mapauswag. Pananglitan, ang presyur nga gipadala sa emitter mahimong madugangan, sa ingon nagdugang ang boltahe nga nagmaneho sa pMUT membrane. Ang laing solusyon aron mapadako ang gipasa nga signal mao ang pagkonektar sa daghang mga transmiter 56. Kini nga mga solusyon makadugang sa range sa detection sa gasto sa dugang nga gasto sa enerhiya. Ang dugang nga mga pag-uswag mahimo sa bahin sa pagdawat. Ang salog sa kasaba sa receiver sa pMUT mahimong makunhuran pinaagi sa pagpaayo sa koneksyon tali sa pMUT ug sa una nga yugto nga amplifier, nga karon gihimo sa mga koneksyon sa wire ug RJ45 nga mga kable.
usa ka Imahe sa pMUT nga kristal nga adunay unom ka 880 µm nga mga lamad nga gisagol sa 1.5 mm nga pitch. b Diagram sa setup sa pagsukod. Ang target nahimutang sa azimuth nga posisyon θ ug sa gilay-on D. Ang pMUT transmitter makamugna og 117.6 kHz signal nga mo-bounce sa target ug moabot sa duha ka pMUT receiver nga adunay lain-laing time-of-flight (ToF). Kini nga kalainan, gihubit ingon nga inter-aural time difference (ITD), nag-encode sa posisyon sa usa ka butang ug mahimong mabanabana pinaagi sa pagbanabana sa peak response sa duha ka receiver sensors. c Schematic sa pre-processing nga mga lakang alang sa pag-convert sa hilaw nga pMUT signal ngadto sa spike sequences (ie input sa neuromorphic computation graph). Ang pMUT sensor ug neuromorphic computational graphs gihimo ug gisulayan, ug ang neuromorphic pre-processing gibase sa software simulation. d Tubag sa pMUT lamad sa pagkadawat sa usa ka signal ug ang pagbag-o niini ngadto sa usa ka spike domain. e Experimental localization angular accuracy isip usa ka function sa anggulo sa butang (Θ) ug gilay-on (D) sa target nga butang. Ang pamaagi sa pagkuha sa ITD nanginahanglan usa ka minimum nga resolusyon sa anggulo nga gibana-bana nga 4 ° C. f Angular nga katukma (asul nga linya) ug katugbang nga peak-to-noise ratio (berde nga linya) batok sa gilay-on sa butang para sa Θ = 0.
Ang resistive memory nagtipig sa impormasyon sa usa ka non-volatile conductive state. Ang sukaranan nga prinsipyo sa pamaagi mao nga ang pagbag-o sa materyal sa lebel sa atomic hinungdan sa pagbag-o sa conductivity sa kuryente57. Dinhi atong gigamit ang usa ka oxide-based resistive memory nga naglangkob sa usa ka 5nm layer sa hafnium dioxide sandwiched tali sa ibabaw ug sa ubos titanium ug titanium nitride electrodes. Ang conductivity sa RRAM device mahimong mabag-o pinaagi sa paggamit sa usa ka kasamtangan/boltahe nga waveform nga nagmugna o nagbungkag sa conductive filaments sa oxygen vacancies tali sa mga electrodes. Gihiusa namo ang maong mga device58 ngadto sa usa ka standard nga 130 nm CMOS nga proseso aron makahimo og usa ka fabricated reconfigurable neuromorphic circuit nga nagpatuman sa usa ka coincidence detector ug usa ka delay line circuit (Fig. 3a). Ang non-volatile ug analog nga kinaiya sa device, inubanan sa event-driven nga kinaiya sa neuromorphic circuit, nagpamenos sa konsumo sa kuryente. Ang sirkito adunay usa ka instant on/off function: kini naglihok diha-diha dayon human ma-on, nga nagtugot sa gahum nga mapalong sa hingpit kon ang sirkito walay trabaho. Ang nag-unang mga bloke sa pagtukod sa gisugyot nga laraw gipakita sa fig. 3b. Kini naglangkob sa N parallel single-resistor single-transistor (1T1R) nga mga istruktura nga nag-encode sa synaptic nga mga gibug-aton diin gikuha ang gibug-aton nga mga sulog, gi-inject sa komon nga synapse sa usa ka differential pair integrator (DPI)59, ug sa katapusan gi-inject sa synapse nga adunay integration ug leakage. gi-activate (LIF) neuron 60 (tan-awa ang Mga Pamaagi para sa mga detalye). Ang mga pagdagsang sa input gipadapat sa ganghaan sa istruktura sa 1T1R sa porma sa usa ka han-ay sa mga pulso sa boltahe nga adunay gidugayon sa han-ay sa gatusan ka nanosecond. Ang resistive memory mahimong ibutang sa taas nga conductive state (HCS) pinaagi sa paggamit ug external positive reference sa Vtop kung ang Vbottom na-grounded, ug i-reset sa low conductive state (LCS) pinaagi sa pagbutang ug positive voltage sa Vbottom kung ang Vtop na-grounded. Ang kasagaran nga bili sa HCS mahimong kontrolahon pinaagi sa paglimit sa kasamtangan nga programming (pagsunod) sa SET (ICC) pinaagi sa boltahe sa gate-source sa serye nga transistor (Fig. 3c). Ang mga gimbuhaton sa RRAM sa sirkito duha ka pilo: sila nagdumala ug nagtimbang sa mga pulso sa input.
Pag-scan sa electron microscope (SEM) nga hulagway sa asul nga HfO2 1T1R RRAM device nga gisagol sa 130 nm CMOS nga teknolohiya nga adunay mga selector transistors (650 nm ang gilapdon) sa berde. b Basic building blocks sa gisugyot nga neuromorphic schema. Ang input boltahe pulses (peaks) Vin0 ug Vin1-ut-ut sa kasamtangan nga Iweight, nga mao ang proporsyonal sa conduction nag-ingon G0 ug G1 sa 1T1R istruktura. Kini nga kasamtangan gi-injected sa mga synapses sa DPI ug gipukaw ang mga neuron sa LIF. Ang RRAM G0 ug G1 gi-install sa HCS ug LCS matag usa. c Function sa cumulative conductance density alang sa usa ka grupo sa 16K RRAM devices isip function sa ICC current matching, nga epektibong nagkontrol sa conduction level. d Circuit measurements sa (a) nga nagpakita nga ang G1 (sa LCS) epektibo nga nagbabag sa input gikan sa Vin1 (berde), ug sa pagkatinuod ang boltahe sa lamad sa output neuron motubag lamang sa asul nga input gikan sa Vin0. Ang RRAM epektibo nga nagtino sa mga koneksyon sa sirkito. e Pagsukod sa sirkito sa (b) nga nagpakita sa epekto sa conductance bili G0 sa lamad boltahe Vmem human sa paggamit sa usa ka boltahe pulse Vin0. Ang labi nga conductance, labi ka kusog ang tubag: sa ingon, ang aparato sa RRAM nagpatuman sa gibug-aton sa koneksyon sa I / O. Ang mga pagsukod gihimo sa sirkito ug gipakita ang dual function sa RRAM, routing ug gibug-aton sa input pulses.
Una, tungod kay adunay duha ka batakang conduction states (HCS ug LCS), ang mga RRAM mahimong maka-block o makawala sa input pulses kung anaa sila sa LCS o HCS states, matag usa. Ingon usa ka sangputanan, ang RRAM epektibo nga nagtino sa mga koneksyon sa circuit. Kini ang sukaranan aron makahimo pag-usab sa arkitektura. Aron ipakita kini, atong ihulagway ang usa ka hinimo nga circuit nga pagpatuman sa circuit block sa Fig. 3b. Ang RRAM nga katumbas sa G0 giprograma sa HCS, ug ang ikaduha nga RRAM G1 giprograma sa LCS. Ang mga pulso sa input gigamit sa Vin0 ug Vin1. Ang mga epekto sa duha ka han-ay sa input pulses gisusi sa output neurons pinaagi sa pagkolekta sa neuron membrane boltahe ug ang output signal gamit ang oscilloscope. Nagmalampuson ang eksperimento sa dihang ang HCS device (G0) lamang ang konektado sa pulso sa neuron aron mapukaw ang tensiyon sa lamad. Gipakita kini sa Figure 3d, diin ang asul nga pulso nga tren hinungdan sa boltahe sa lamad nga magtukod sa kapasitor sa lamad, samtang ang berde nga tren sa pulso nagpadayon sa boltahe sa lamad nga kanunay.
Ang ikaduha nga importante nga function sa RRAM mao ang pagpatuman sa koneksyon gibug-aton. Gamit ang analog conductance adjustment sa RRAM, ang mga koneksyon sa I/O mahimong matimbang sumala niana. Sa ikaduhang eksperimento, ang G0 device giprograma sa lainlaing lebel sa HCS, ug ang input pulse gipadapat sa VIn0 input. Ang input pulse nagkuha sa usa ka kasamtangan (Iweight) gikan sa device, nga proporsyonal sa conductance ug ang katugbang nga potensyal nga drop Vtop - Vbot. Kini nga gibug-aton nga kasamtangan gi-injected ngadto sa DPI synapses ug LIF output neurons. Ang boltahe sa lamad sa mga neuron sa output girekord gamit ang usa ka oscilloscope ug gipakita sa Fig. 3d. Ang boltahe nga peak sa neuron membrane agig tubag sa usa ka input nga pulso proporsyonal sa conductance sa resistive memory, nga nagpakita nga ang RRAM mahimong magamit ingon usa ka programmable nga elemento sa synaptic nga gibug-aton. Kining duha ka pasiuna nga mga pagsulay nagpakita nga ang gisugyot nga RRAM-based neuromorphic nga plataporma makahimo sa pagpatuman sa mga batakang elemento sa batakang Jeffress nga mekanismo, nga mao ang linya sa paglangan ug ang coincidence detector circuit. Ang plataporma sa sirkito gitukod pinaagi sa pag-stack sa sunud-sunod nga mga bloke sa kilid, sama sa mga bloke sa Figure 3b, ug pagkonektar sa ilang mga ganghaan ngadto sa usa ka komon nga linya sa input. Gidisenyo, gimugna, ug gisulayan namo ang usa ka neuromorphic nga plataporma nga naglangkob sa duha ka output neurons nga nakadawat og duha ka inputs (Fig. 4a). Ang circuit diagram gipakita sa Figure 4b. Ang ibabaw nga 2 × 2 RRAM matrix nagtugot sa input pulses nga idirekta sa duha ka output neurons, samtang ang ubos nga 2 × 2 matrix nagtugot sa balik-balik nga koneksyon sa duha ka neurons (N0, N1). Gipakita namo nga kini nga plataporma mahimong magamit sa usa ka paglangay sa linya sa pagsumpo ug duha ka lain-laing mga coincidence detector functions, sama sa gipakita sa mga eksperimento nga pagsukod sa Fig. 4c-e.
Circuit diagram nga naporma sa duha ka output neurons N0 ug N1 nga nakadawat ug duha ka input 0 ug 1. Ang nag-una nga upat ka mga himan sa array naghubit sa mga synaptic nga koneksyon gikan sa input ngadto sa output, ug ang ubos nga upat ka mga selula naghubit sa balik-balik nga koneksyon tali sa mga neuron. Ang mga dekolor nga RRAM nagrepresentar sa mga himan nga gi-configure sa HCS sa tuo: ang mga himan sa HCS nagtugot sa mga koneksyon ug nagrepresentar sa mga gibug-aton, samtang ang mga himan sa LCS nag-block sa input pulses ug nag-disable sa mga koneksyon sa mga output. b Diagram sa sirkito (a) nga adunay walo ka RRAM modules nga gipasiugda sa asul. c Ang mga linya sa paglangan naporma pinaagi lamang sa paggamit sa dynamics sa DPI synapses ug LIF neurons. Ang berde nga RRAM gibutang sa conductance nga taas nga igo aron makahimo sa usa ka glitch sa output pagkahuman sa input delay Δt. d Ilustrasyon sa eskematiko sa dili sensitibo nga direksyon sa CD detection sa mga signal nga nagsalig sa oras. Ang output neuron 1, N1, nagdilaab sa mga input 0 ug 1 nga adunay mubo nga paglangan. e Direction sensitive CD circuit, usa ka sirkito nga makamatikod kon ang input 1 moduol sa input 0 ug moabot human sa input 0. Ang output sa circuit girepresentahan sa neuron 1 (N1).
Ang linya sa paglangan (Figure 4c) yano nga naggamit sa dinamikong kinaiya sa DPI synapses ug LIF neurons aron kopyahon ang input spike gikan sa Vin1 ngadto sa Vout1 pinaagi sa paglangan sa Tdel. Ang G3 RRAM ra nga konektado sa Vin1 ug Vout1 ang giprograma sa HCS, ang nahabilin nga mga RRAM giprograma sa LCS. Ang G3 device giprograma alang sa 92.6 µs aron masiguro nga ang matag input pulse nagdugang sa boltahe sa lamad sa output neuron nga igo aron makaabot sa threshold ug makamugna og usa ka nalangan nga output pulse. Ang paglangan sa Tdel gitino sa synaptic ug neural time constants. Ang mga coincidence detector nakamatikod sa panghitabo sa temporal nga correlated apan spatially distributed input signal. Ang CD nga dili sensitibo sa direksyon nagsalig sa indibidwal nga mga input nga nagtagbo sa usa ka komon nga output neuron (Figure 4d). Ang duha ka RRAM nga nagkonektar sa Vin0 ug Vin1 sa Vout1, G2 ug G4 matag usa giprograma alang sa taas nga pagpadagan. Ang dungan nga pag-abot sa mga spike sa Vin0 ug Vin1 nagdugang sa boltahe sa N1 neuron membrane sa ibabaw sa threshold nga gikinahanglan aron makamugna ang output spike. Kung ang duha nga mga input layo kaayo sa oras, ang bayad sa boltahe sa lamad nga natipon sa una nga input mahimo’g adunay panahon nga madunot, nga mapugngan ang potensyal sa lamad nga N1 nga makaabut sa kantidad sa threshold. Ang G1 ug G2 giprograma alang sa gibana-bana nga 65 µs, nga nagsiguro nga ang usa ka input surge dili makadugang sa boltahe sa lamad nga igo nga hinungdan sa usa ka output surge. Ang pagkita sa sulagma tali sa mga panghitabo nga giapod-apod sa wanang ug oras usa ka sukaranan nga operasyon nga gigamit sa usa ka halapad nga mga buluhaton sa pag-sensing sama sa paglikay sa babag nga gibase sa optical flow ug pag-localize sa gigikanan sa tunog. Busa, ang pag-compute nga sensitibo sa direksyon ug dili sensitibo nga mga CD usa ka sukaranan nga bloke sa pagtukod alang sa pagtukod sa visual ug audio localization system. Ingon sa gipakita sa mga kinaiya sa mga kanunay nga oras (tan-awa ang Supplementary Fig. 2), ang gisugyot nga sirkito nagpatuman sa usa ka angay nga han-ay sa upat ka mga order sa magnitude nga mga timbangan sa panahon. Sa ingon, mahimo kini nga dungan nga makatagbo sa mga kinahanglanon sa visual ug sound system. Ang sensitibo sa direksyon nga CD usa ka sirkito nga sensitibo sa spatial nga han-ay sa pag-abot sa mga pulso: gikan sa tuo ngadto sa wala ug vice versa. Kini usa ka sukaranan nga bloke sa pagtukod sa sukaranan nga network sa pag-detect sa paglihok sa Drosophila visual system, nga gigamit sa pagkalkulo sa mga direksyon sa paglihok ug pag-ila sa mga bangga62. Aron makab-ot ang usa ka CD nga sensitibo sa direksyon, ang duha ka mga input kinahanglan idirekta sa duha ka lain-laing mga neuron (N0, N1) ug usa ka direksyon nga koneksyon kinahanglan nga matukod tali kanila (Fig. 4e). Kung madawat ang una nga input, ang NO mo-reaksyon pinaagi sa pagdugang sa boltahe sa iyang lamad sa ibabaw sa kantidad sa threshold ug magpadala usa ka pagdagsang. Kini nga output nga panghitabo, sa baylo, nagpabuto sa N1 salamat sa direksyon nga koneksyon nga gipasiugda sa berde. Kung ang usa ka input nga panghitabo nga Vin1 moabut ug nagpakusog sa N1 samtang ang boltahe sa lamad niini taas pa, ang N1 nagmugna usa ka panghitabo sa output nga nagpakita nga nakit-an ang usa ka tugma tali sa duha nga mga input. Gitugotan sa mga koneksyon sa direksyon ang N1 nga makapagawas lang og output kung ang input 1 moabut pagkahuman sa input 0. Ang G0, G3, ug G7 giprograma sa 73.5 µS, 67.3 µS, ug 40.2 µS, matag usa, pagsiguro nga ang usa ka spike sa input Vin0 hinungdan sa pagkalangan output spike, samtang ang N1's membrane potential moabot lang sa threshold kung ang duha ka input burst moabot dungan. .
Ang pagkalainlain usa ka gigikanan sa pagkadili hingpit sa gimodelo nga mga sistema sa neuromorphic63,64,65. Nagdala kini sa heterogeneous nga kinaiya sa mga neuron ug synapses. Ang mga pananglitan sa maong mga disbentaha naglakip sa 30% (nagpasabot nga standard deviation) variability sa input gain, time constant, ug refractory period, sa paghingalan og pipila (tan-awa ang Methods). Kini nga problema labi pa nga gipahayag kung daghang mga neural circuit ang konektado, sama sa usa ka sensitibo nga oryentasyon nga CD nga gilangkuban sa duha nga mga neuron. Aron molihok sa hustong paagi, ang ganansya ug pagkadunot nga mga makanunayon sa duha ka neuron kinahanglan nga susama kutob sa mahimo. Pananglitan, ang usa ka dako nga kalainan sa input gain mahimong hinungdan sa usa ka neuron nga mag-overreact sa usa ka input pulse samtang ang laing neuron halos dili mosanong. Sa fig. Gipakita sa Figure 5a nga ang random nga gipili nga mga neuron lainlain ang pagtubag sa parehas nga pulso sa input. Kini nga neural variability may kalabutan, pananglitan, sa function sa mga CD nga sensitibo sa direksyon. Sa laraw nga gipakita sa fig. 5b, c, ang input gain sa neuron 1 mas taas kay sa neuron 0. Busa, ang neuron 0 nagkinahanglan og tulo ka input pulses (imbes 1) aron makaabot sa threshold, ug ang neuron 1, sama sa gipaabot, nagkinahanglan og duha ka input nga mga panghitabo. Ang pagpatuman sa spike time-dependent biomimetic plasticity (STDP) usa ka posible nga paagi aron makunhuran ang epekto sa dili tukma ug hinay nga neural ug synaptic nga mga sirkito sa performance sa sistema43. Dinhi among gisugyot nga gamiton ang plastik nga kinaiya sa resistive memory isip usa ka paagi sa pag-impluwensya sa pagpalambo sa neural input ug pagkunhod sa mga epekto sa pagkausab sa neuromorphic circuits. Ingon sa gipakita sa fig. 4e, ang mga lebel sa conductance nga may kalabotan sa RRAM synaptic mass epektibo nga nagbag-o sa katugbang nga tubag sa boltahe sa neural membrane. Gigamit namo ang usa ka iterative RRAM programming strategy. Alang sa gihatag nga input, ang mga kantidad sa conductance sa synaptic nga gibug-aton giprograma pag-usab hangtod makuha ang target nga pamatasan sa circuit (tan-awa ang Mga Pamaagi).
Usa ka eksperimento nga pagsukod sa tubag sa siyam ka random nga gipili nga indibidwal nga mga neuron sa parehas nga pulso sa input. Nagkalainlain ang tubag sa mga populasyon, nga nakaapekto sa nakuha sa input ug kanunay nga oras. b Mga eksperimento nga pagsukod sa impluwensya sa mga neuron sa pagkausab sa mga neuron nga nakaapekto sa sensitibo sa direksyon nga CD. Ang duha ka direksyon nga sensitibo sa CD output neurons lahi nga tubag sa input stimuli tungod sa neuron-to-neuron variability. Ang Neuron 0 adunay mas ubos nga input gain kaysa neuron 1, mao nga nagkinahanglan kini og tulo ka input pulses (imbes nga 1) aron makahimo og output spike. Sama sa gipaabut, ang neuron 1 nakaabot sa threshold nga adunay duha nga mga panghitabo sa pag-input. Kung ang input 1 moabut Δt = 50 µs pagkahuman sa neuron 0 nga sunog, ang CD magpabilin nga hilom tungod kay ang Δt mas dako kaysa sa kanunay nga oras sa neuron 1 (mga 22 µs). c gipakunhod sa Δt = 20 µs, aron ang input 1 mosaka sa dihang taas pa ang pagpabuto sa neuron 1, nga moresulta sa dungan nga pagkakita sa duha ka mga panghitabo sa input.
Ang duha ka elemento nga gigamit sa kolum sa pagkalkula sa ITD mao ang linya sa paglangan ug ang direksyon nga dili sensitibo sa CD. Ang duha nga mga sirkito nanginahanglan tukma nga pagkakalibrate aron masiguro ang maayo nga pagpahimutang sa posisyon sa butang. Ang linya sa paglangan kinahanglan nga maghatag usa ka tukma nga nalangan nga bersyon sa input peak (Fig. 6a), ug ang CD kinahanglan nga ma-aktibo lamang kung ang input nahulog sa sulud sa target detection range. Alang sa linya sa paglangan, ang mga synaptic nga gibug-aton sa mga koneksyon sa input (G3 sa Fig. 4a) gi-reprogram hangtod nakuha ang target nga paglangan. Pagbutang ug tolerance sa palibot sa target nga paglangan aron mapahunong ang programa: mas gamay ang tolerance, mas lisud ang malampusong pagtakda sa delay line. Sa fig. Ang Figure 6b nagpakita sa mga resulta sa proseso sa pag-calibrate sa linya sa paglangan: makita nga ang gisugyot nga laraw makahatag gayud sa tanang mga paglangan nga gikinahanglan sa laraw sa disenyo (gikan sa 10 ngadto sa 300 μs). Ang labing kadaghan nga mga pag-usab sa pagkakalibrate makaapekto sa kalidad sa proseso sa pagkakalibrate: Ang 200 nga mga pag-usab makapakunhod sa sayup sa dili moubos sa 5%. Usa ka pag-usab sa pagkakalibrate katumbas sa usa ka set/reset nga operasyon sa usa ka RRAM cell. Ang proseso sa pag-tune hinungdanon usab sa pagpaayo sa katukma sa CD module nga dali nga makit-an nga suod nga panghitabo. Nagkinahanglan kini og napulo ka mga pag-usab sa calibration aron makab-ot ang tinuod nga positibo nga rate (ie, ang rate sa mga panghitabo nga husto nga giila nga may kalabutan) labaw sa 95% (asul nga linya sa Figure 6c). Bisan pa, ang proseso sa pag-tune wala makaapekto sa sayup nga positibo nga mga panghitabo (nga mao, ang kasubsob sa mga panghitabo nga sayop nga giila nga may kalabutan). Ang laing paagi nga naobserbahan sa biological nga mga sistema sa pagbuntog sa mga limitasyon sa oras sa paspas nga pagpaaktibo sa mga agianan mao ang redundancy (nga mao, daghang mga kopya sa parehas nga butang ang gigamit sa paghimo sa usa ka gihatag nga function). Nadasig sa biology66, nagbutang mig daghang CD circuits sa matag CD module tali sa duha ka delay lines aron makunhuran ang epekto sa false positives. Ingon sa gipakita sa fig. 6c (berde nga linya), ang pagbutang og tulo ka elemento sa CD sa matag CD module makapamenos sa false alarm rate ngadto sa ubos sa 10-2.
usa ka Epekto sa neuronal variability sa delay line circuits. b Ang mga sirkito sa linya sa paglangan mahimong ma-scale sa dagkong mga paglangan pinaagi sa pagtakda sa mga kanunay nga oras sa katugbang nga mga neuron sa LIF ug mga synapses sa DPI sa dagkong mga kantidad. Ang pagdugang sa gidaghanon sa mga pag-usab sa pamaagi sa pag-calibrate sa RRAM nagpaposible nga mapauswag ang katukma sa paglangan sa target: Ang 200 nga mga pag-usab nagpamenos sa sayup nga wala’y 5%. Ang usa ka pag-uli katumbas sa usa ka SET/RESET nga operasyon sa usa ka RRAM cell. Ang matag CD module sa c Jeffress nga modelo mahimong ipatuman gamit ang N parallel CD nga mga elemento alang sa mas dako nga pagka-flexible bahin sa mga kapakyasan sa sistema. d Dugang nga RRAM calibration iteration nagdugang sa tinuod nga positibo nga rate (asul nga linya), samtang ang sayop nga positibo nga rate dili independente sa gidaghanon sa mga pag-uli (berde nga linya). Ang pagbutang ug daghang elemento sa CD nga magkaparehas makalikay sa sayop nga pagkakita sa mga CD module nga mga posporo.
Among gisusi karon ang performance ug power consumption sa end-to-end integrated object localization system nga gipakita sa Figure 2 gamit ang mga pagsukod sa acoustic properties sa pMUT sensor, CD, ug delay line circuits nga naglangkob sa neuromorphic computing graph. Modelo ni Jeffrey (Fig. 1a). Mahitungod sa neuromorphic computing graph, mas daghan ang gidaghanon sa CD modules, mas maayo ang angular nga resolusyon, apan mas taas usab ang enerhiya sa sistema (Fig. 7a). Ang usa ka kompromiso mahimong makab-ot pinaagi sa pagtandi sa katukma sa indibidwal nga mga sangkap (pMUT sensors, neurons, ug synaptic circuits) sa katukma sa tibuok nga sistema. Ang resolusyon sa linya sa paglangan limitado sa mga kanunay nga oras sa simulated synapses ug neurons, nga sa among laraw milapas sa 10 µs, nga katumbas sa usa ka angular nga resolusyon sa 4 ° (tan-awa ang Mga Pamaagi). Ang mas abante nga mga node nga adunay CMOS nga teknolohiya magtugot sa disenyo sa mga neural ug synaptic nga mga sirkito nga adunay mas ubos nga mga constant sa oras, nga moresulta sa mas taas nga katukma sa mga elemento sa delay line. Bisan pa, sa among sistema, ang katukma limitado sa sayup nga pMUT sa pagbanabana sa angular nga posisyon, ie 10 ° (asul nga pinahigda nga linya sa Fig. 7a). Gitakda namo ang gidaghanon sa mga CD module sa 40, nga katumbas sa usa ka angular nga resolusyon nga mga 4 °, ie, ang angular accuracy sa computational graph (light blue horizontal line sa Fig. 7a). Sa lebel sa sistema, naghatag kini usa ka resolusyon nga 4 ° ug usa ka katukma nga 10 ° alang sa mga butang nga nahimutang 50 cm sa atubangan sa sistema sa sensor. Kini nga kantidad ikatandi sa neuromorphic sound localization system nga gitaho sa ref. 67. Ang pagtandi sa gisugyot nga sistema uban sa state of the art makita sa Supplementary Table 1. Pagdugang ug dugang nga pMUTs, pagpataas sa lebel sa acoustic signal, ug pagkunhod sa electronic noise mao ang posible nga mga paagi aron mapalambo pa ang pagkatukma sa localization. ) gibanabana nga 9.7. nz. 55. Gihatagan og 40 ka CD units sa computational graph, ang SPICE simulation nagbanabana sa enerhiya kada operasyon (ie, object positioning energy) nga 21.6 nJ. Ang sistema sa neuromorphic gi-aktibo lamang kung moabut ang usa ka panghitabo sa pag-input, ie kung ang usa ka acoustic wave moabot sa bisan unsang pMUT receiver ug molapas sa threshold sa pagkakita, kung dili kini magpabilin nga dili aktibo. Gilikayan niini ang dili kinahanglan nga pagkonsumo sa kuryente kung wala’y signal sa input. Gikonsiderar ang frequency sa localization operations nga 100 Hz ug usa ka activation period nga 300 µs kada operasyon (ang maximum possible ITD), ang power consumption sa neuromorphic computing graph mao ang 61.7 nW. Uban sa neuromorphic pre-processing nga gipadapat sa matag pMUT receiver, ang konsumo sa kuryente sa tibuok sistema moabot sa 81.6 nW. Aron masabtan ang kahusayan sa enerhiya sa gisugyot nga neuromorphic nga pamaagi kung itandi sa naandan nga hardware, among gitandi kini nga numero sa kusog nga gikinahanglan aron mahimo ang parehas nga buluhaton sa usa ka moderno nga low power microcontroller gamit ang neuromorphic o conventional beamforming68 Skill. Gikonsiderar sa neuromorphic nga pamaagi ang usa ka yugto sa analog-to-digital converter (ADC), gisundan sa usa ka band-pass filter ug usa ka yugto sa pagkuha sa sobre (Paagi sa Teeger-Kaiser). Sa katapusan, ang usa ka threshold nga operasyon gihimo aron makuha ang ToF. Giwala namo ang kalkulasyon sa ITD base sa ToF ug ang pagkakabig ngadto sa gibana-bana nga angular nga posisyon tungod kay kini mahitabo kausa sa matag sukod (tan-awa ang Mga Pamaagi). Sa pag-ingon nga ang sampling rate nga 250 kHz sa duha ka channel (pMUT receiver), 18 band pass filter operations, 3 envelope extraction operations, ug 1 threshold operation kada sample, ang kinatibuk-ang konsumo sa kuryente gibanabana sa 245 microwatts. Gigamit niini ang low-power mode69 sa microcontroller, nga nag-on kung ang mga algorithm wala magpatuman, nga nagpamenos sa konsumo sa kuryente sa 10.8 µW. Ang konsumo sa kuryente sa beamforming signal processing solution nga gisugyot sa reperensiya. 31, nga adunay 5 pMUT receiver ug 11 beam nga parehas nga giapod-apod sa azimuth plane [-50°, +50°], mao ang 11.71 mW (tan-awa ang Methods section para sa mga detalye). Dugang pa, gi-report namon ang konsumo sa kuryente sa usa ka Time Difference Encoder (TDE) nga nakabase sa FPGA47 nga gibanabana sa 1.5 mW ingon usa ka kapuli sa modelo nga Jeffress alang sa lokalisasyon sa butang. Base sa kini nga mga banabana, ang gisugyot nga neuromorphic nga pamaagi nagpamenos sa pagkonsumo sa kuryente sa lima ka mga order sa kadako kumpara sa usa ka microcontroller nga naggamit mga klasikal nga pamaagi sa beamforming alang sa mga operasyon sa lokalisasyon sa butang. Ang pagsagop sa usa ka neuromorphic nga pamaagi sa pagproseso sa signal sa usa ka klasiko nga microcontroller makapakunhod sa konsumo sa kuryente sa mga duha ka order sa kadako. Ang pagka-epektibo sa gisugyot nga sistema mahimong ipasabut pinaagi sa kombinasyon sa usa ka asynchronous resistive-memory analog circuit nga makahimo sa paghimo sa mga kalkulasyon sa memorya ug ang kakulang sa analog-to-digital nga pagkakabig nga gikinahanglan aron mahibal-an ang mga signal.
usa ka Angular nga resolusyon (asul) ug konsumo sa kuryente (berde) sa operasyon sa lokalisasyon depende sa gidaghanon sa mga modulo sa CD. Ang itom nga asul nga pinahigda nga bar nagrepresentar sa angular nga katukma sa PMUT ug ang kahayag nga asul nga pinahigda nga bar nagrepresentar sa angular nga katukma sa neuromorphic computational graph. b Ang pagkonsumo sa kuryente sa gisugyot nga sistema ug pagtandi sa duha nga gihisgutan nga mga pagpatuman sa microcontroller ug digital nga pagpatuman sa Time Difference Encoder (TDE)47 FPGA.
Aron maminusan ang pagkonsumo sa kuryente sa target nga sistema sa lokalisasyon, among gimugna, gidesinyo ug gipatuman ang usa ka episyente, gipadagan sa panghitabo nga RRAM-based neuromorphic circuit nga nagproseso sa kasayuran sa signal nga gihimo sa mga built-in nga sensor aron makalkulo ang posisyon sa target nga butang sa tinuud. panahon. . Samtang ang tradisyonal nga mga pamaagi sa pagproseso padayon nga nagsampol sa mga nakit-an nga signal ug naghimo sa mga kalkulasyon aron makuha ang mapuslanon nga kasayuran, ang gisugyot nga solusyon sa neuromorphic naghimo sa mga kalkulasyon nga asynchronously samtang ang mapuslanon nga kasayuran moabut, nga nagpadako sa kahusayan sa gahum sa sistema sa lima ka mga order sa kadako. Dugang pa, gipasiugda namon ang pagka-flexible sa mga neuromorphic circuit nga nakabase sa RRAM. Ang katakus sa RRAM nga magbag-o sa conductance sa usa ka non-volatile nga paagi (plasticity) nagbayad alang sa kinaiyanhon nga pagbag-o sa ultra-low power analog DPI's synaptic ug neural circuits. Kini naghimo niining RRAM-based nga sirkito nga versatile ug gamhanan. Ang among tumong dili ang pagkuha sa mga komplikadong function o pattern gikan sa mga signal, kondili ang pag-localize sa mga butang sa tinuod nga panahon. Ang among sistema mahimo usab nga epektibo nga ma-compress ang signal ug sa katapusan ipadala kini sa dugang nga pagproseso nga mga lakang aron makahimo og mas komplikado nga mga desisyon kung gikinahanglan. Sa konteksto sa mga aplikasyon sa localization, ang among neuromorphic preprocessing nga lakang makahatag kasayuran bahin sa lokasyon sa mga butang. Kini nga impormasyon mahimong gamiton, pananglitan, alang sa motion detection o gesture recognition. Gipasiugda namo ang importansya sa paghiusa sa mga ultra low power sensors sama sa pMUTs sa ultra low power electronics. Alang niini, ang mga pamaagi sa neuromorphic nahimong yawe tungod kay kini nagdala kanamo sa paghimo og bag-ong mga pagpatuman sa sirkito sa mga pamaagi sa pagkalkula sa biologically inspirado sama sa modelo nga Jeffress. Sa konteksto sa mga aplikasyon sa sensor fusion, ang among sistema mahimong ikombinar sa daghang lain-laing mga sensor nga nakabase sa panghitabo aron makakuha og mas tukma nga impormasyon. Bisan tuod ang mga ngiwngiw maayo kaayo sa pagpangitag tukbonon diha sa kangitngit, sila adunay maayo kaayong panan-aw ug naghimo sa hiniusang auditory ug biswal nga pagpangita sa dili pa makadakop ug tukbonon70. Sa diha nga ang usa ka partikular nga auditory neuron mosunog, ang bukaw makadawat sa impormasyon nga gikinahanglan niini aron mahibal-an kung asa nga direksyon magsugod sa iyang biswal nga pagpangita, sa ingon nagpunting sa iyang pagtagad sa gamay nga bahin sa talan-awon. Ang kombinasyon sa mga visual sensors (DVS camera) ug usa ka gisugyot nga sensor sa pagpaminaw (base sa pMUT) kinahanglan nga tukion alang sa pagpalambo sa umaabot nga mga autonomous nga ahente.
Ang pMUT sensor nahimutang sa usa ka PCB nga adunay duha ka receiver nga gibana-bana nga 10 cm ang gilay-on, ug ang transmitter nahimutang taliwala sa mga receiver. Niini nga trabaho, ang matag lamad usa ka gisuspinde nga bimorph nga istruktura nga gilangkuban sa duha ka mga layer sa piezoelectric aluminum nitride (AlN) 800 nm ang gibag-on nga gisudlan sa taliwala sa tulo ka mga layer sa molybdenum (Mo) 200 nm ang gibag-on ug giputos sa usa ka layer nga 200 nm ang gibag-on. ang ibabaw nga passivating SiN layer sama sa gihulagway sa reference. 71. Ang sulod ug gawas nga mga electrodes gipadapat sa ubos ug ibabaw nga mga lut-od sa molybdenum, samtang ang tunga-tunga nga molybdenum electrode kay unpatterned ug gigamit ingon nga usa ka yuta, nga miresulta sa usa ka lamad uban sa upat ka parisan sa electrodes.
Kini nga arkitektura nagtugot sa paggamit sa usa ka komon nga deformation sa lamad, nga miresulta sa mas maayo nga pagpadala ug pagdawat sa pagkasensitibo. Ang ingon nga usa ka pMUT kasagaran nagpakita sa usa ka pagkasensitibo sa pagpukaw sa 700 nm / V ingon usa ka emitter, nga naghatag usa ka presyur sa nawong nga 270 Pa / V. Ingon usa ka tigdawat, ang usa ka pMUT nga pelikula nagpakita sa usa ka mubo nga pagkasensitibo sa sirkito nga 15 nA / Pa, nga direktang may kalabutan sa piezoelectric coefficient sa AlN. Ang teknikal nga kabag-ohan sa boltahe sa AlN layer nagdala ngadto sa usa ka pagbag-o sa resonant frequency, nga mahimong mabayran pinaagi sa paggamit sa usa ka DC bias sa pMUT. Ang pagkasensitibo sa DC gisukod sa 0.5 kHz/V. Para sa acoustic characterization, usa ka mikropono ang gigamit atubangan sa pMUT.
Aron masukod ang pulso sa echo, nagbutang kami usa ka rectangular plate nga adunay gilapdon nga mga 50 cm2 sa atubangan sa pMUT aron mapakita ang gipagawas nga mga balud sa tunog. Ang gilay-on tali sa mga plato ug ang anggulo nga may kalabotan sa pMUT nga eroplano kontrolado gamit ang mga espesyal nga tighupot. Usa ka Tectronix CPX400DP boltahe nga tinubdan biases tulo ka pMUT lamad, tuning sa resonant frequency ngadto sa 111.9 kHz31, samtang ang mga transmitters gimaneho sa usa ka Tectronix AFG 3102 pulse generator tuned sa resonant frequency (111.9 kHz) ug usa ka duty cycle sa 0.01. Ang mga sulog nga gibasa gikan sa upat ka mga output port sa matag pMUT receiver gi-convert sa mga boltahe gamit ang usa ka espesyal nga differential current ug boltahe nga arkitektura, ug ang mga resulta nga signal gi-digitize sa Spektrum data acquisition system. Ang limitasyon sa detection gihulagway pinaagi sa pMUT signal acquisition ubos sa lain-laing mga kondisyon: among gibalhin ang reflector sa lain-laing mga gilay-on [30, 40, 50, 60, 80, 100] cm ug giusab ang pMUT support angle ([0, 20, 40] o ) Ang Figure 2b nagpakita sa temporal nga ITD detection resolution depende sa katugbang nga angular nga posisyon sa degrees.
Kini nga artikulo naggamit ug duha ka lainlain nga off-the-shelf nga RRAM circuits. Ang una usa ka han-ay sa 16,384 (16,000) nga mga aparato (128 × 128 nga mga aparato) sa usa ka 1T1R nga pagsumpo nga adunay usa ka transistor ug usa ka resistor. Ang ikaduhang chip mao ang neuromorphic nga plataporma nga gipakita sa Fig. 4a. Ang RRAM cell naglangkob sa usa ka 5 nm nga gibag-on nga HfO2 film nga gisukip sa usa ka TiN/HfO2/Ti/TiN stack. Ang RRAM stack gisagol sa back-of-line (BEOL) sa standard nga 130nm CMOS nga proseso. Ang mga neuromorphic circuit nga nakabase sa RRAM nagpresentar usa ka hagit sa disenyo alang sa tanan nga analog nga mga sistema sa elektroniko diin ang mga aparato sa RRAM nag-uban sa tradisyonal nga teknolohiya sa CMOS. Sa partikular, ang conduction state sa RRAM device kinahanglang basahon ug gamiton isip function variable para sa system. Sa kini nga katuyoan, usa ka sirkito ang gidisenyo, gimugna ug gisulayan nga nagbasa sa kasamtangan gikan sa aparato kung ang usa ka input pulse nadawat ug gigamit kini nga karon aron mabug-atan ang tubag sa usa ka synapse nga panagsama sa pares nga differential (DPI). Kini nga sirkito gipakita sa Figure 3a, nga nagrepresentar sa batakang mga bloke sa pagtukod sa neuromorphic nga plataporma sa Figure 4a. Ang usa ka input pulse nagpalihok sa ganghaan sa 1T1R device, nga nag-aghat sa usa ka kasamtangan pinaagi sa RRAM nga proporsyonal sa conductance sa device G (Iweight = G(Vtop – Vx)). Ang inverting input sa operational amplifier (op-amp) circuit adunay kanunay nga DC bias voltage Vtop. Ang negatibo nga feedback sa op-amp maghatag Vx = Vtop pinaagi sa paghatag ug parehas nga sulog gikan sa M1. Ang kasamtangan nga Iweight nga nakuha gikan sa device gi-inject sa DPI synapse. Ang usa ka mas kusog nga sulog moresulta sa dugang nga depolarization, mao nga ang RRAM conductance epektibo nga nagpatuman sa synaptic nga mga gibug-aton. Kini nga exponential synaptic current gi-injected pinaagi sa membrane capacitor sa Leaky Integration and Excitation (LIF) neurons, diin kini gi-integrate isip boltahe. Kung ang threshold boltahe sa lamad (ang switching boltahe sa inverter) mabuntog, ang output nga bahin sa neuron gi-activate, nga nagpatunghag usa ka output spike. Kini nga pulso mibalik ug mobalhin sa membrane capacitor sa neuron ngadto sa yuta, hinungdan nga kini mogawas. Kini nga sirkito unya gidugangan sa usa ka pulse expander (wala gipakita sa Fig. 3a), nga naghulma sa output pulse sa LIF neuron ngadto sa target nga gilapdon sa pulso. Ang mga multiplexer gitukod usab sa matag linya, nga nagtugot sa boltahe nga magamit sa ibabaw ug ubos nga mga electrodes sa RRAM device.
Ang pagsulay sa elektrikal naglakip sa pag-analisar ug pagrekord sa dinamikong pamatasan sa mga analog circuit, ingon man ang pagprograma ug pagbasa sa mga aparato sa RRAM. Ang duha nga mga lakang nanginahanglan espesyal nga mga himan, nga ang tanan konektado sa sensor board sa parehas nga oras. Ang pag-access sa mga aparato sa RRAM sa mga neuromorphic circuit gihimo gikan sa gawas nga mga himan pinaagi sa usa ka multiplexer (MUX). Gibulag sa MUX ang 1T1R cell gikan sa nahabilin nga circuitry diin kini nahisakop, nga gitugotan ang aparato nga mabasa ug / o maprograma. Sa pagprograma ug pagbasa sa mga RRAM device, ang Keithley 4200 SCS nga makina gigamit kauban sa Arduino microcontroller: ang una alang sa tukma nga henerasyon sa pulso ug kasamtangan nga pagbasa, ug ang ikaduha alang sa dali nga pag-access sa indibidwal nga 1T1R nga mga elemento sa memory array. Ang unang operasyon mao ang pagporma sa RRAM device. Ang mga selyula gipili sa usag usa ug usa ka positibo nga boltahe ang gipadapat taliwala sa taas ug ubos nga mga electrodes. Sa kini nga kaso, ang kasamtangan limitado sa han-ay sa napulo ka microamperes tungod sa suplay sa katugbang nga boltahe sa ganghaan sa selector transistor. Ang RRAM cell mahimo unya nga mag-cycle tali sa usa ka low conductive state (LCS) ug usa ka high conductive state (HCS) gamit ang RESET ug SET nga mga operasyon, matag usa. Ang operasyon sa SET gihimo pinaagi sa pag-apply sa usa ka rectangular nga boltahe nga pulso nga adunay gidugayon nga 1 μs ug usa ka peak nga boltahe nga 2.0-2.5 V sa ibabaw nga electrode, ug usa ka pag-sync nga pulso sa parehas nga porma nga adunay usa ka peak nga boltahe nga 0.9-1.3 V hangtod sa ang ganghaan sa selector transistor. Kini nga mga kantidad nagtugot sa modulate RRAM conductance sa 20-150 µs agwat. Alang sa RESET, usa ka 1 µs nga gilapdon, 3 V peak pulse ang gipadapat sa ilawom nga electrode (bit line) sa cell kung ang boltahe sa ganghaan naa sa sakup nga 2.5-3.0 V. Ang mga input ug output sa mga analog circuit mga dinamikong signal . Alang sa input, among gi-interleaved ang duha ka HP 8110 pulse generator nga adunay Tektronix AFG3011 signal generators. Ang input pulse adunay gilapdon nga 1 µs ug usa ka pagtaas/pagkahulog nga ngilit sa 50 ns. Kini nga matang sa pulso gituohan nga usa ka tipikal nga glitch sa analog glitch based circuits. Mahitungod sa output signal, ang output signal girekord gamit ang Teledyne LeCroy 1 GHz oscilloscope. Ang katulin sa pagkuha sa usa ka oscilloscope napamatud-an nga dili usa ka limitasyon nga hinungdan sa pag-analisar ug pag-angkon sa datos sa sirkito.
Ang paggamit sa dinamika sa analog electronics aron masundog ang pamatasan sa mga neuron ug synapses usa ka elegante ug episyente nga solusyon aron mapauswag ang kahusayan sa pagkalkula. Ang disbentaha sa kini nga computational underlay mao nga kini magkalainlain sa matag laraw. Among gi-quantiate ang variability sa neurons ug synaptic circuits (Supplementary Fig. 2a,b). Sa tanan nga mga pagpakita sa kabag-ohan, kadtong nakig-uban sa mga kanunay nga oras ug nakuha nga input adunay labing dako nga epekto sa lebel sa sistema. Ang kanunay nga oras sa LIF neuron ug ang DPI synapse gitino sa usa ka RC circuit, diin ang kantidad sa R kontrolado sa usa ka bias nga boltahe nga gigamit sa ganghaan sa transistor (Vlk alang sa neuron ug Vtau alang sa synapse), pagtino sa leakage rate. Ang ganansya sa input gihubit ingon ang peak boltahe nga naabot sa synaptic ug neuronal membrane capacitors nga gipukaw sa usa ka input pulse. Ang input gain kontrolado sa laing bias transistor nga modulate sa input current. Usa ka simulation sa Monte Carlo nga na-calibrate sa proseso sa 130nm sa ST Microelectronics ang gihimo aron makolekta ang pipila nga nakuha sa input ug kanunay nga mga istatistika sa oras. Ang mga resulta gipresentar sa Supplementary Figure 2, diin ang input gain ug time constant kay gi-quantified isip function sa bias voltage nga nagkontrol sa leakage rate. Ang green nga mga marka nag-ihap sa standard deviation sa time constant gikan sa mean. Ang duha ka neurons ug synaptic circuits nakahimo sa pagpahayag sa usa ka halapad nga han-ay sa mga constants sa panahon sa han-ay sa 10-5-10-2 s, ingon sa gipakita sa Supplementary Fig. scheme. Input amplification (Supplementary Fig. 2e, d) sa neuronal ug synapse variability mao ang gibana-bana nga 8% ug 3%, sa tinagsa. Ang ingon nga kakulangan maayo nga dokumentado sa literatura: lain-laing mga pagsukod ang gihimo sa han-ay sa DYNAP chips aron masusi ang mismatch tali sa mga populasyon sa LIF63 neurons. Ang mga synapses sa BrainScale mixed signal chip gisukod ug ang ilang mga inconsistencies gisusi, ug usa ka calibration procedure ang gisugyot aron makunhuran ang epekto sa system-level variability64.
Ang function sa RRAM sa neuromorphic circuits duha ka pilo: arkitektura kahulugan (routing inputs sa outputs) ug pagpatuman sa synaptic gibug-aton. Ang ulahi nga kabtangan mahimong magamit aron masulbad ang problema sa pagkalainlain sa mga modelo nga neuromorphic circuit. Naghimo kami og usa ka yano nga pamaagi sa pag-calibrate nga naglakip sa pag-reprogram sa RRAM device hangtud nga ang sirkito nga gi-analisa makatagbo sa pipila ka mga kinahanglanon. Alang sa usa ka gihatag nga input, ang output gibantayan ug ang RRAM giprograma pag-usab hangtod nga makab-ot ang target nga pamatasan. Ang usa ka oras sa paghulat sa 5 s gipaila tali sa mga operasyon sa pagprograma aron masulbad ang problema sa pagpahayahay sa RRAM nga miresulta sa mga pagbag-o sa paglihok sa paglihok (Supplementary Information). Ang mga gibug-aton sa synaptic gi-adjust o gi-calibrate sumala sa mga kinahanglanon sa neuromorphic circuit nga gimodelo. Ang pamaagi sa pag-calibrate gisumada sa dugang nga mga algorithm [1, 2] nga nagpunting sa duha ka sukaranan nga mga bahin sa mga neuromorphic nga plataporma, mga linya sa paglangan ug direksyon nga dili sensitibo sa CD. Alang sa usa ka sirkito nga adunay linya sa paglangan, ang target nga pamatasan mao ang paghatag usa ka output nga pulso nga adunay usa ka paglangan Δt. Kung ang aktuwal nga paglangan sa sirkito mas ubos kaysa target nga kantidad, ang synaptic nga gibug-aton sa G3 kinahanglan nga mapakunhod (Ang G3 kinahanglan nga i-reset ug dayon ibutang sa usa ka ubos nga pagpares sa kasamtangan nga Icc). Sa kasukwahi, kung ang aktuwal nga paglangan mas dako pa sa target nga kantidad, ang conductance sa G3 kinahanglan nga madugangan (G3 kinahanglan una nga i-reset ug dayon ibutang sa mas taas nga kantidad sa Icc). Kini nga proseso gisubli hangtod nga ang paglangan nga namugna sa sirkito motakdo sa target nga kantidad ug ang usa ka pagtugot gitakda aron mapahunong ang proseso sa pagkakalibrate. Para sa orientation-insensitive nga mga CD, duha ka RRAM device, G1 ug G3, ang apil sa proseso sa calibration. Kini nga sirkito adunay duha ka input, Vin0 ug Vin1, nalangan sa dt. Ang sirkito kinahanglang motubag lamang sa mga paglangan ubos sa matching range [0,dtCD]. Kung walay output peak, apan ang input peak duol na, ang duha ka RRAM device kinahanglan nga pauswagon aron matabangan ang neuron nga makaabot sa threshold. Sa kasukwahi, kung ang sirkito motubag sa usa ka paglangan nga molapas sa target range sa dtCD, ang conductance kinahanglan nga pagkunhod. Balika ang proseso hangtod makuha ang husto nga pamatasan. Ang pagsunod sa kasamtangan mahimong modulated sa built-in nga analog circuit sa ref. 72.73. Uban niining built-in nga sirkito, ang ingon nga mga pamaagi mahimo nga himuon matag karon ug unya aron ma-calibrate ang sistema o magamit kini pag-usab alang sa lain nga aplikasyon.
Among gisusi ang konsumo sa kuryente sa among neuromorphic signal processing approach sa standard 32-bit microcontroller68. Sa kini nga ebalwasyon, among gihunahuna ang operasyon nga adunay parehas nga pag-setup sama sa kini nga papel, nga adunay usa ka pMUT transmitter ug duha nga pMUT receiver. Kini nga pamaagi naggamit sa usa ka bandpass filter, gisundan sa usa ka lakang sa pagkuha sa sobre (Teeger-Kaiser), ug sa katapusan usa ka operasyon sa thresholding ang gipadapat sa signal aron makuha ang oras sa paglupad. Ang kalkulasyon sa ITD ug ang pagkakabig niini ngadto sa mga anggulo sa detection wala iapil sa ebalwasyon. Gikonsiderar namo ang pagpatuman sa band pass filter gamit ang 4th order infinite impulse response filter nga nagkinahanglan ug 18 floating point operations. Ang pagkuha sa sobre naggamit ug tulo pa ka floating point nga mga operasyon, ug ang kataposang operasyon gigamit sa pagtakda sa threshold. Kinatibuk-ang 22 ka floating point operations ang gikinahanglan aron maproseso ang signal. Ang gipasa nga signal usa ka mubo nga pagbuto sa 111.9 kHz sine waveform nga nahimo matag 10 ms nga nagresulta sa usa ka frequency sa pag-operate sa pagpoposisyon nga 100 Hz. Gigamit namo ang sampling rate nga 250 kHz aron pagtuman sa Nyquist ug usa ka 6 ms nga bintana alang sa matag sukod aron makuha ang gilay-on nga 1 metros. Timan-i nga ang 6 milliseconds mao ang oras sa paglupad sa usa ka butang nga 1 metros ang gilay-on. Naghatag kini og konsumo sa kuryente nga 180 µW para sa pagkakabig sa A/D sa 0.5 MSPS. Ang preprocessing sa signal mao ang 6.60 MIPS (mga instruksiyon kada segundo), nga makamugna og 0.75 mW. Bisan pa, ang microcontroller mahimong mobalhin sa usa ka low power mode 69 kung ang algorithm wala magdagan. Kini nga mode naghatag og static nga konsumo sa kuryente nga 10.8 μW ug usa ka oras sa pagmata nga 113 μs. Gihatag ang frequency sa orasan nga 84 MHz, gikompleto sa microcontroller ang tanan nga mga operasyon sa neuromorphic algorithm sa sulod sa 10 ms, ug ang algorithm nagkalkula sa usa ka siklo sa katungdanan nga 6.3%, sa ingon gigamit ang usa ka low power mode. Ang resulta nga pagkawala sa kuryente mao ang 244.7 μW. Timan-i nga wala namo iapil ang output sa ITD gikan sa ToF ug ang pagkakabig ngadto sa anggulo sa detection, sa ingon gipakaubos ang konsumo sa kuryente sa microcontroller. Naghatag kini og dugang nga kantidad alang sa kahusayan sa enerhiya sa gisugyot nga sistema. Isip usa ka dugang nga kondisyon sa pagtandi, among gisusi ang konsumo sa kuryente sa mga klasikal nga pamaagi sa beamforming nga gisugyot sa reperensiya. 31.54 kung na-embed sa parehas nga microcontroller68 sa 1.8V nga boltahe sa suplay. Lima ka parehas nga gilay-on nga pMUT membrane ang gigamit aron makakuha mga datos alang sa beamforming. Sama sa alang sa pagproseso sa iyang kaugalingon, ang pamaagi sa beamforming nga gigamit mao ang paglangan sa pagsuma. Naglangkob lamang kini sa pag-aplay ug paglangan sa mga lane nga katumbas sa gipaabot nga kalainan sa mga oras sa pag-abot tali sa usa ka lane ug sa reference lane. Kung ang mga signal naa sa hugna, ang kantidad sa kini nga mga signal adunay taas nga kusog pagkahuman sa pagbalhin sa oras. Kung wala sila sa hugna, ang makadaot nga pagpanghilabot maglimite sa kusog sa ilang kantidad. sa usa ka relasyon. Sa fig. 31, usa ka sampling rate nga 2 MHz ang gipili aron ibalhin sa oras ang datos pinaagi sa usa ka integer nga gidaghanon sa mga sample. Ang usa ka mas kasarangan nga pamaagi mao ang pagpadayon sa usa ka coarser sample rate sa 250 kHz ug paggamit sa usa ka Finite Impulse Response (FIR) filter aron ma-synthesize ang fractional nga mga paglangan. Atong hunahunaon nga ang pagkakomplikado sa beamforming algorithm nag-una nga gitino sa pagbalhin sa oras, tungod kay ang matag channel gilangkuban sa usa ka FIR filter nga adunay 16 ka taps sa matag direksyon. Aron makalkulo ang gidaghanon sa MIPS nga gikinahanglan alang niini nga operasyon, among gikonsiderar ang usa ka bintana nga 6ms kada sukod aron makuha ang usa ka range nga 1 metros, 5 ka channel, 11 beamforming nga direksyon (range +/- 50° sa 10° nga mga lakang). Ang 75 nga pagsukod matag segundo nagduso sa microcontroller sa labing taas nga 100 MIPS. Link. 68, nga miresulta sa power dissipation nga 11.26 mW para sa total power dissipation nga 11.71 mW human madugang ang onboard ADC nga kontribusyon.
Ang mga datos nga nagsuporta sa mga resulta niini nga pagtuon makuha gikan sa tagsa-tagsa nga tagsulat, FM, sa makatarunganong hangyo.
Indiveri, G. & Sandamirskaya, Y. Ang kamahinungdanon sa luna ug panahon alang sa pagproseso sa signal sa neuromorphic nga mga ahente: Ang hagit sa pagpalambo sa ubos nga gahum, mga autonomous nga ahente nga nakig-uban sa kalikupan. Indiveri, G. & Sandamirskaya, Y. Ang kamahinungdanon sa luna ug panahon alang sa pagproseso sa signal sa neuromorphic nga mga ahente: Ang hagit sa pagpalambo sa ubos nga gahum, mga autonomous nga ahente nga nakig-uban sa kalikupan.Indiveri G. ug Sandamirskaya Y. Ang kamahinungdanon sa luna ug panahon alang sa pagproseso sa signal sa neuromorphic nga mga ahente: ang hagit sa pagpalambo sa ubos nga gahum nga autonomous nga mga ahente nga nakig-uban sa kalikupan. Indiveri, G. & Sandamirskaya, Y.空间和时间对于神经形态代理中信号处理的重要性：开发与环境交互的低功耗、自主代理的挑战。 Indiveri, G. & Sandamirskaya, Y.Indiveri G. ug Sandamirskaya Y. Ang kamahinungdanon sa luna ug panahon alang sa pagproseso sa signal sa neuromorphic nga mga ahente: ang hagit sa pagpalambo sa ubos nga gahum nga autonomous nga mga ahente nga nakig-uban sa kalikupan.Pagproseso sa IEEE Signal. Journal 36, 16–28 (2019).
Thorpe, SJ Peak nga Panahon sa Pag-abot: Usa ka Episyente nga Neural Network Coding Scheme. sa Eckmiller, R., Hartmann, G. & Hauske, G. (eds). sa Eckmiller, R., Hartmann, G. & Hauske, G. (eds).sa Eckmiller, R., Hartmann, G. ug Hauske, G. (eds.).Sa Eckmiller, R., Hartmann, G., ug Hauske, G. (eds.). Parallel nga pagproseso sa mga sistema sa neural ug mga kompyuter 91-94 (North-Holland Elsevier, 1990).
Ang Levy, WB & Calvert, VG Communication mokonsumo ug 35 ka pilo nga mas kusog kay sa pagkuwenta sa cortex sa tawo, apan ang duha ka gasto gikinahanglan aron matagna ang numero sa synaps. Ang Levy, WB & Calvert, VG Communication mokonsumo ug 35 ka pilo nga mas kusog kay sa pagkuwenta sa cortex sa tawo, apan ang duha ka gasto gikinahanglan aron matagna ang numero sa synaps.Ang Levy, WB ug Calvert, WG Communication naggamit ug 35 ka pilo nga mas kusog kay sa pagkuwenta sa cortex sa tawo, apan ang duha ka gasto gikinahanglan aron matagna ang gidaghanon sa mga synapses. Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35 倍，但这两种成本都需要预测突触数量。 Levy, WB & Calvert, VG CommunicationAng Levy, WB ug Calvert, WG Communication naggamit ug 35 ka pilo nga mas kusog kay sa pagkuwenta sa cortex sa tawo, apan ang duha ka gasto nagkinahanglan sa pagtagna sa gidaghanon sa mga synapses.proseso. National Academy of Science. ang siyensya. US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing.Dalgati, T., Vianello, E., DeSalvo, B. ug Casas, J. Insect-inspired neuromorphic computing.Dalgati T., Vianello E., DeSalvo B. ug Casas J. Insect-inspired neuromorphic computing. kasamtangan. Opinyon. Siyensiya sa insekto. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Ngadto sa spike-based machine intelligence nga adunay neuromorphic computing. Roy, K., Jaiswal, A. & Panda, P. Ngadto sa spike-based machine intelligence nga adunay neuromorphic computing. Roy, K., Jaiswal, A. & Panda, P. Ngadto sa Spike-Based Machine Intelligence uban sa Neuromorphic Computing.Roy K, Jaiswal A, ug Panda P. Pulse-based artificial intelligence gamit ang neuromorphic computing. Kinaiyahan 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. ug Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. ug Liu, S.-K.Pagproseso sa memorya ug impormasyon sa mga sistema sa neuromorphic. proseso. IEEE 103, 1379–1397 (2015).
Akopyan F. et al. Truenorth: Disenyo ug toolkit alang sa 65 mW 1 milyon nga neuron programmable synaptic chip. Mga transaksyon sa IEEE. Disenyo sa kompyuter sa mga integrated circuit system. 34, 1537–1557 (2015).
Schemmel, J. ug uban pa. Live nga demo: gipaubos nga bersyon sa BrainScaleS neuromorphic system sa plate scale. 2012 IEEE International Symposium on Circuits and Systems (ISCAS), (IEEE ed.) 702-702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Usa ka scalable nga multicore nga arkitektura nga adunay heterogeneous nga mga istruktura sa panumduman alang sa dinamikong neuromorphic asynchronous nga mga processor (DYNAPs). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Usa ka scalable nga multicore nga arkitektura nga adunay heterogeneous nga mga istruktura sa panumduman alang sa dinamikong neuromorphic asynchronous nga mga processor (DYNAPs).Moradi S., Qiao N., Stefanini F. ug Indiviri G. Usa ka scalable nga multicore nga arkitektura nga adunay heterogeneous memory structures alang sa dinamikong neuromorphic asynchronous processors (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G.的异构内存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Usa ka matang sa expandable multi-core nga arkitektura, nga adunay talagsaon nga istruktura sa memorya alang sa dinamikong pagproseso sa neural (DYNAP).Moradi S., Qiao N., Stefanini F. ug Indiviri G. Usa ka scalable nga multicore nga arkitektura nga adunay heterogeneous memory structures alang sa dinamikong neuromorphic asynchronous processors (DYNAP).Mga Transaksyon sa IEEE sa Biomedical Science. elektrikal nga sistema. 12, 106–122 (2018).
Davis, M. ug uban pa. Loihi: Usa ka neuromorphic multi-core processor nga adunay naka-embed nga pagkat-on. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA Ang proyekto sa SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA Ang proyekto sa SpiNNaker.Ferber SB, Galluppi F., Temple S. ug Plana LA SpiNNaker nga proyekto.Ferber SB, Galluppi F., Temple S. ug Plana LA SpiNNaker nga proyekto. proseso. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Neuromorphic sensory system. & Delbruck, T. Neuromorphic sensory system.ug Delbrück T. Neuromorphic sensory systems. & Delbruck, T. 神经形态感觉系统。 ug Delbruck, T.ug Delbrück T. Neuromorphic sensory system.kasamtangan. Opinyon. Neurobiology. 20, 288–295 (2010).
Chope, T. et al. Neuromorphic sensory integration alang sa hiniusa nga sound source localization ug paglikay sa pagbangga. Sa 2019 sa IEEE Conference on Biomedical Circuits and Systems (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Usa ka spike-based neuromorphic architecture sa stereo vision. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Usa ka spike-based neuromorphic architecture sa stereo vision.Risi N, Aymar A, Donati E, Solinas S, ug Indiveri G. Usa ka spike-based neuromorphic stereovision architecture. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S, ug Indiveri G. Spike-based neuromorphic architecture alang sa stereo vision.atubangan. Neurorobotics 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Usa ka spiking neural network nga modelo sa 3Dperception alang sa neuromorphic stereo vision system nga nakabase sa panghitabo. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Usa ka spiking neural network nga modelo sa 3Dperception alang sa neuromorphic stereo vision system nga nakabase sa panghitabo.Oswald, M., Ieng, S.-H., Benosman, R., ug Indiveri, G. Usa ka 3D Pulsed Neural Network Perception Model alang sa Neuromorphic Stereo Vision Systems nga Gibase sa Hitabo. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 基于事件的神经形态立体视觉系统的3Dperception 脉冲神经网神经网。 Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R., ug Indiveri, G. Spiked 3Dperception Neural Network Model alang sa usa ka Event-Based Neuromorphic Stereo Vision System.ang siyensya. Report 7, 1–11 (2017).
Dalgaty, T. et al. Ang inspirado sa insekto nga batakang motion detection naglakip sa resistive memory ug bursty neural network. Bionic nga biohybrid nga sistema. 10928, 115–128 (2018).
D'Angelo, G. ug uban pa. Ang eccentric motion detection nga nakabase sa panghitabo gamit ang temporal differential coding. atubangan. Neurology. 14, 451 (2020).
Panahon sa pag-post: Nob-17-2022