Správy

Aplikácie na spracovanie údajov v reálnom svete vyžadujú kompaktné výpočtové systémy s nízkou latenciou a nízkou spotrebou. Komplementárne hybridné memristívne neuromorfné architektúry kov-oxid-polovodič s výpočtovými schopnosťami riadenými udalosťami poskytujú ideálny hardvérový základ pre takéto úlohy. Aby sme demonštrovali plný potenciál takýchto systémov, navrhujeme a experimentálne demonštrujeme komplexné riešenie spracovania senzorov pre aplikácie na lokalizáciu objektov v reálnom svete. Čerpajúc inšpiráciu z neuroanatómie sovy pálenej sme vyvinuli bioinšpirovaný, udalosťami riadený systém lokalizácie objektov, ktorý kombinuje najmodernejší piezoelektrický mikromechanický prevodník prevodníka s výpočtovou grafovou neuromorfnou odporovou pamäťou. Ukážeme merania vyrobeného systému, ktorý obsahuje pamäťový odporový koincidenčný detektor, obvody oneskorovacej linky a plne prispôsobiteľný ultrazvukový prevodník. Tieto experimentálne výsledky používame na kalibráciu simulácií na úrovni systému. Tieto simulácie sa potom použijú na vyhodnotenie uhlového rozlíšenia a energetickej účinnosti modelu lokalizácie objektu. Výsledky ukazujú, že náš prístup môže byť o niekoľko rádov energeticky efektívnejší ako mikrokontroléry vykonávajúce rovnakú úlohu.
Vstupujeme do éry všadeprítomnej výpočtovej techniky, kde počet nasadených zariadení a systémov exponenciálne rastie, aby nám pomohli v každodennom živote. Očakáva sa, že tieto systémy budú bežať nepretržite, spotrebúvajú čo najmenej energie, zatiaľ čo sa učia interpretovať údaje, ktoré zbierajú z viacerých senzorov v reálnom čase, a produkovať binárny výstup ako výsledok úloh klasifikácie alebo rozpoznávania. Jedným z najdôležitejších krokov potrebných na dosiahnutie tohto cieľa je extrahovanie užitočných a kompaktných informácií zo zašumených a často neúplných senzorických údajov. Konvenčné inžinierske prístupy typicky vzorkujú signály snímača konštantnou a vysokou rýchlosťou, čím sa generujú veľké množstvá údajov aj pri absencii užitočných vstupov. Okrem toho tieto metódy využívajú zložité techniky digitálneho spracovania signálu na predbežné spracovanie (často zašumených) vstupných údajov. Namiesto toho biológia ponúka alternatívne riešenia na spracovanie hlučných senzorických údajov pomocou energeticky účinných, asynchrónnych, udalosťami riadených prístupov (špičky)2,3. Neuromorfné výpočty sa inšpirujú biologickými systémami, aby znížili výpočtové náklady z hľadiska energetických a pamäťových požiadaviek v porovnaní s tradičnými metódami spracovania signálu4,5,6. Nedávno boli demonštrované inovatívne univerzálne systémy založené na mozgu implementujúce impulzné neurónové siete (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Tieto procesory poskytujú riešenia s nízkou spotrebou a nízkou latenciou pre strojové učenie a modelovanie kortikálnych obvodov. Aby sa plne využila ich energetická účinnosť, tieto neuromorfné procesory musia byť priamo pripojené k senzorom riadeným udalosťami12,13. Dnes však existuje len niekoľko dotykových zariadení, ktoré priamo poskytujú dáta riadené udalosťami. Významnými príkladmi sú dynamické vizuálne senzory (DVS) pre zrakové aplikácie, ako je sledovanie a detekcia pohybu14,15,16,17 kremíková kochlea18 a neuromorfné sluchové senzory (NAS)19 na spracovanie sluchového signálu, čuchové senzory20 a mnohé príklady21,22 dotyku. . textúrové senzory.
V tomto článku predstavujeme novo vyvinutý systém spracovania sluchu riadený udalosťami aplikovaný na lokalizáciu objektov. Prvýkrát tu popisujeme end-to-end systém na lokalizáciu objektov získaný spojením najmodernejšieho piezoelektrického mikroobrobeného ultrazvukového meniča (pMUT) s výpočtovým grafom založeným na neuromorfnej odporovej pamäti (RRAM). In-memory výpočtové architektúry využívajúce RRAM sú sľubným riešením na zníženie spotreby energie23,24,25,26,27,28,29. Ich inherentná stálosť – nevyžadujúca aktívnu spotrebu energie na ukladanie alebo aktualizáciu informácií – dokonale zapadá do asynchrónneho, udalosťami riadeného charakteru neuromorfných výpočtov, čo vedie k takmer žiadnej spotrebe energie, keď je systém nečinný. Piezoelektrické mikroobrobené ultrazvukové prevodníky (pMUT) sú lacné, miniaturizované ultrazvukové prevodníky na báze kremíka schopné pôsobiť ako vysielače a prijímače30,31,32,33,34. Na spracovanie signálov prijatých vstavanými senzormi sme čerpali inšpiráciu z neuroanatómie sovy pálenej35,36,37. Sova pálená Tyto alba je známa svojimi pozoruhodnými schopnosťami nočného lovu vďaka veľmi efektívnemu sluchovému lokalizačnému systému. Na výpočet polohy koristi zakóduje lokalizačný systém sovy pálenej čas letu (ToF), keď zvukové vlny z koristi dosiahnu každé z uší sovy alebo zvukové receptory. Vzhľadom na vzdialenosť medzi ušami umožňuje rozdiel medzi dvoma meraniami ToF (Interaural Time Difference, ITD) analyticky vypočítať azimutovú polohu cieľa. Hoci biologické systémy nie sú vhodné na riešenie algebraických rovníc, dokážu veľmi efektívne riešiť lokalizačné problémy. Nervový systém sovy pálenej využíva súbor neurónov s detektorom koincidencií (CD)35 (tj neuróny schopné detekovať časové korelácie medzi hrotmi, ktoré sa šíria smerom nadol ku konvergentným excitačným zakončeniam)38,39 usporiadaných do výpočtových grafov na riešenie problémov s polohovaním.
Predchádzajúce výskumy ukázali, že doplnkový metal-oxid-semiconductor (CMOS) hardvér a neuromorfný hardvér na báze RRAM inšpirovaný inferior colliculus („sluchová kôra“) sovy pálenej je účinnou metódou na výpočet polohy pomocou ITD13, 40, 41, 42, 43, 44, 45, 46. Avšak potenciál úplných neuromorfných systémov, ktoré spájajú sluchové podnety k neuromorfným výpočtovým grafom sa ešte musia preukázať. Hlavným problémom je inherentná variabilita analógových CMOS obvodov, ktorá ovplyvňuje presnosť detekcie zhody. Nedávno boli preukázané alternatívne numerické implementácie odhadov ITD47. V tomto článku navrhujeme využiť schopnosť RRAM meniť hodnotu vodivosti neprchavým spôsobom, aby sme pôsobili proti variabilite v analógových obvodoch. Implementovali sme experimentálny systém pozostávajúci z jednej vysielacej membrány pMUT pracujúcej na frekvencii 111,9 kHz, dvoch prijímacích membrán pMUT (senzorov) simulujúcich uši sovy obyčajnej a jednej . Experimentálne sme charakterizovali detekčný systém pMUT a výpočtový graf ITD založený na RRAM, aby sme otestovali náš lokalizačný systém a vyhodnotili jeho uhlové rozlíšenie.
Našu metódu porovnávame s digitálnou implementáciou na mikrokontroléri, ktorý vykonáva rovnakú lokalizačnú úlohu pomocou konvenčných metód tvarovania lúčov alebo neuromorfných metód, ako aj pole programovateľného hradlového poľa (FPGA) na odhad ITD navrhnutého v odkaze. 47. Toto porovnanie poukazuje na konkurenčnú energetickú účinnosť navrhovaného analógového neuromorfného systému založeného na RRAM.
Jeden z najvýraznejších príkladov presného a efektívneho systému lokalizácie objektov možno nájsť v sove pálenej35,37,48. Za súmraku a úsvitu sa sova obyčajná (Tyto Alba) spolieha predovšetkým na pasívne počúvanie, aktívne vyhľadáva malú korisť, ako sú hraboše alebo myši. Títo sluchoví experti dokážu lokalizovať sluchové signály od koristi s úžasnou presnosťou (asi 2°)35, ako je znázornené na obr. 1a. Sovy pálené odvodzujú umiestnenie zdrojov zvuku v azimutovej (horizontálnej) rovine z rozdielu v čase prichádzajúceho letu (ITD) od zdroja zvuku k dvom ušiam. Výpočtový mechanizmus ITD navrhol Jeffress49, 50, ktorý sa opiera o neurálnu geometriu a vyžaduje dve kľúčové komponenty: axón, nervové vlákno neurónu pôsobiace ako oneskorovacia linka a rad neurónov detektora koincidencie organizovaných do výpočtového systému. graf, ako je znázornené na obrázku 1b. Zvuk sa dostane do ucha s časovým oneskorením závislým od azimutu (ITD). Zvuk sa potom prevedie do vzoru bodcov v každom uchu. Axóny ľavého a pravého ucha fungujú ako oneskorovacie čiary a zbiehajú sa na CD neurónoch. Teoreticky iba jeden neurón v rade zhodných neurónov dostane vstup naraz (kde sa oneskorenie presne ruší) a vystrelí maximálne (susedné bunky budú tiež strieľať, ale s nižšou frekvenciou). Aktivácia určitých neurónov zakóduje polohu cieľa v priestore bez ďalšej konverzie ITD na uhly. Tento koncept je zhrnutý na obrázku 1c: ak napríklad zvuk prichádza z pravej strany, keď vstupný signál z pravého ucha prechádza dlhšou dráhou ako dráha z ľavého ucha, kompenzuje sa napríklad počet ITD, keď sa neurón 2 zhoduje. Inými slovami, každé CD reaguje na určité ITD (tiež známe ako optimálne oneskorenie) v dôsledku axonálneho oneskorenia. Mozog teda premieňa časové informácie na priestorové informácie. Našli sa anatomické dôkazy tohto mechanizmu37,51. Fázovo uzamknuté makronukleové neuróny uchovávajú časové informácie o prichádzajúcich zvukoch: ako ich názov napovedá, spúšťajú sa v určitých fázach signálu. Neuróny koincidenčného detektora Jeffressovho modelu možno nájsť v laminárnom jadre. Dostávajú informácie z makronukleárnych neurónov, ktorých axóny fungujú ako oneskorovacie čiary. Veľkosť oneskorenia, ktorú poskytuje oneskorovacia čiara, možno vysvetliť dĺžkou axónu, ako aj iným myelinizačným vzorom, ktorý mení rýchlosť vedenia. Inšpirovaní sluchovým systémom sovy obyčajnej sme vyvinuli biomimetický systém na lokalizáciu predmetov. Dve uši predstavujú dva prijímače pMUT. Zdrojom zvuku je vysielač pMUT umiestnený medzi nimi (obr. 1a) a výpočtový graf je tvorený mriežkou CD obvodov na báze RRAM (obr. 1b, zelená), ktoré zohrávajú úlohu CD neurónov, ktorých vstupy sú oneskorené. cez obvod pôsobia oneskorovacie čiary (modré) ako axóny v biologickom náprotivku. Navrhovaný senzorický systém sa odlišuje prevádzkovou frekvenciou od sovy, ktorej sluchový systém pracuje v rozsahu 1–8 kHz, ale v tejto práci sú použité senzory pMUT pracujúce na frekvencii asi 117 kHz. Výber ultrazvukového meniča sa posudzuje podľa technických a optimalizačných kritérií. Po prvé, obmedzenie šírky prijímaného pásma na jednu frekvenciu ideálne zlepšuje presnosť merania a zjednodušuje krok následného spracovania. Prevádzka v ultrazvuku má navyše tú výhodu, že vyžarované impulzy nie sú počuteľné, a preto nerušia ľudí, pretože ich sluchový rozsah je ~20-20 kHz.
sova lesná prijíma zvukové vlny od cieľa, v tomto prípade pohybujúcej sa koristi. Doba letu (ToF) zvukovej vlny je pre každé ucho iná (pokiaľ korisť nie je priamo pred sovou). Bodkovaná čiara znázorňuje cestu, ktorou sa zvukové vlny dostanú k ušiam sovy obyčajnej. Korisť možno presne lokalizovať v horizontálnej rovine na základe dĺžkového rozdielu medzi dvoma akustickými dráhami a zodpovedajúceho interaurálneho časového rozdielu (ITD) (ľavý obrázok inšpirovaný ref. 74, copyright 2002, Society for Neuroscience). V našom systéme vysielač pMUT (tmavomodrá) generuje zvukové vlny, ktoré sa odrážajú od cieľa. Odrazené ultrazvukové vlny sú prijímané dvomi pMUT prijímačmi (svetlo zelené) a spracovávané neuromorfným procesorom (vpravo). b Výpočtový model ITD (Jeffress) popisujúci, ako sa zvuky vstupujúce do uší sovy pálenej najprv zakódujú ako fázovo uzamknuté hroty vo veľkom jadre (NM) a potom pomocou geometricky usporiadanej siete zhodných detektorových neurónov v lamelárnom jadre. Spracovanie (Holandsko) (vľavo). Ilustrácia výpočtového grafu neuroITD, ktorý kombinuje oneskorovacie čiary a neuróny detektora koincidencií, systém biosenzorov sovy možno modelovať pomocou neuromorfných obvodov založených na RRAM (vpravo). c Schéma hlavného Jeffressovho mechanizmu, kvôli rozdielu v ToF, dve uši prijímajú zvukové podnety v rôznych časoch a posielajú axóny z oboch koncov do detektora. Axóny sú súčasťou série neurónov s detektorom koincidencie (CD), z ktorých každý selektívne reaguje na silne časovo korelované vstupy. V dôsledku toho sú maximálne vybudené iba CD, ktorých vstupy prichádzajú s najmenším časovým rozdielom (ITD je presne kompenzovaný). CD potom zakóduje uhlovú polohu cieľa.
Piezoelektrické mikromechanické ultrazvukové prevodníky sú škálovateľné ultrazvukové prevodníky, ktoré možno integrovať s pokročilou technológiou CMOS31,32,33,52 a majú nižšie počiatočné napätie a spotrebu energie ako tradičné objemové prevodníky53. V našej práci je priemer membrány 880 µm a rezonančná frekvencia je distribuovaná v rozsahu 110–117 kHz (obr. 2a, podrobnosti pozri Metódy). V sérii desiatich testovacích zariadení bol priemerný faktor kvality asi 50 (ref. 31). Technológia dosiahla priemyselnú zrelosť a sama o sebe nie je bioinšpirovaná. Kombinácia informácií z rôznych pMUT filmov je dobre známa technika a informácie o uhloch možno získať z pMUT pomocou napríklad techník vytvárania lúčov31,54. Spracovanie signálu potrebné na extrakciu informácií o uhle však nie je vhodné pre merania s nízkym výkonom. Navrhovaný systém kombinuje neuromorfný obvod na predspracovanie údajov pMUT s neuromorfným výpočtovým grafom založeným na RRAM inšpirovanom Jeffressovým modelom (obrázok 2c), ktorý poskytuje alternatívne energeticky efektívne hardvérové ​​riešenie s obmedzenými zdrojmi. Uskutočnili sme experiment, v ktorom boli dva senzory pMUT umiestnené približne 10 cm od seba, aby sa využili rôzne zvuky ToF prijímané dvomi prijímacími membránami. Jeden pMUT pôsobiaci ako vysielač je umiestnený medzi prijímačmi. Cieľom bola PVC platňa široká 12 cm, umiestnená vo vzdialenosti D pred zariadením pMUT (obr. 2b). Prijímač zaznamenáva zvuk odrazený od objektu a pri prechode zvukovej vlny maximálne reaguje. Experiment zopakujte zmenou polohy objektu, určenej vzdialenosťou D a uhlom θ. Inšpirované odkazom. 55 navrhujeme neuromorfné predbežné spracovanie nespracovaných signálov pMUT na konverziu odrazených vĺn na vrcholy, aby sa vložil neuromorfný výpočtový graf. ToF zodpovedajúca špičkovej amplitúde sa extrahuje z každého z dvoch kanálov a zakóduje sa ako presné načasovanie jednotlivých pikov. Na obr. 2c ukazuje obvody potrebné na prepojenie senzora pMUT s výpočtovým grafom založeným na RRAM: pre každý z dvoch prijímačov pMUT je surový signál filtrovaný pásmovou priepustou, aby sa vyhladil, upravil a potom sa v režime prekonania prenáša do unikajúceho integrátora. dynamický prah (obr. 2d) vytvára neurón výstupnej udalosti (spike) a vystrelenia (LIF): čas výstupnej špičky kóduje zistený čas letu. Prah LIF je kalibrovaný proti odpovedi pMUT, čím sa znižuje variabilita pMUT medzi jednotlivými zariadeniami. Pri tomto prístupe namiesto uloženia celej zvukovej vlny do pamäte a jej neskoršieho spracovania jednoducho vygenerujeme vrchol zodpovedajúci ToF zvukovej vlny, ktorý tvorí vstup do výpočtového grafu odporovej pamäte. Hroty sú posielané priamo do oneskorovacích liniek a paralelizované s modulmi detekcie zhody v neuromorfných výpočtových grafoch. Pretože sa posielajú do brán tranzistorov, nie sú potrebné žiadne ďalšie zosilňovacie obvody (podrobnosti nájdete v doplnkovom obrázku 4). Na vyhodnotenie uhlovej presnosti lokalizácie poskytovanej pMUT a navrhovanou metódou spracovania signálu sme zmerali ITD (to znamená časový rozdiel medzi špičkovými udalosťami generovanými dvoma prijímačmi), keď sa vzdialenosť a uhol objektu menili. Analýza ITD bola potom prevedená na uhly (pozri Metódy) a vynesená oproti polohe objektu: neistota v meranom ITD sa zvyšovala so vzdialenosťou a uhlom k objektu (obr. 2e, f). Hlavným problémom je pomer vrcholov k šumu (PNR) v odpovedi pMUT. Čím je objekt vzdialenejší, tým je akustický signál nižší, čím sa znižuje PNR (obr. 2f, zelená čiara). Zníženie PNR vedie k zvýšeniu neistoty v odhade ITD, čo vedie k zvýšeniu presnosti lokalizácie (obr. 2f, modrá čiara). Pre objekt vo vzdialenosti 50 cm od vysielača je uhlová presnosť systému približne 10°. Toto obmedzenie spôsobené charakteristikami snímača je možné zlepšiť. Napríklad sa môže zvýšiť tlak vysielaný emitorom, čím sa zvýši napätie poháňajúce membránu pMUT. Ďalším riešením na zosilnenie vysielaného signálu je pripojenie viacerých vysielačov 56. Tieto riešenia zvýšia dosah detekcie na úkor zvýšených nákladov na energiu. Na prijímacej strane je možné vykonať ďalšie vylepšenia. Podlaha šumu prijímača pMUT môže byť výrazne znížená zlepšením spojenia medzi pMUT a zosilňovačom prvého stupňa, čo sa v súčasnosti vykonáva pomocou káblových spojení a káblov RJ45.
Obrázok kryštálu pMUT so šiestimi 880 µm membránami integrovanými s rozstupom 1,5 mm. b Schéma nastavenia merania. Cieľ sa nachádza v azimutovej polohe θ a vo vzdialenosti D. Vysielač pMUT generuje signál 117,6 kHz, ktorý sa odrazí od cieľa a dosiahne dva prijímače pMUT s rôznym časom letu (ToF). Tento rozdiel, definovaný ako interaurálny časový rozdiel (ITD), kóduje polohu objektu a možno ho odhadnúť odhadom maximálnej odozvy dvoch prijímačov. c Schéma krokov predspracovania na konverziu surového signálu pMUT na sekvencie špičiek (tj vstup do grafu neuromorfného výpočtu). Senzory pMUT a neuromorfné výpočtové grafy boli vyrobené a testované a neuromorfné predbežné spracovanie je založené na softvérovej simulácii. d Reakcia membrány pMUT po prijatí signálu a jeho transformácia na spike doménu. e Experimentálna uhlová presnosť lokalizácie ako funkcia uhla objektu (Θ) a vzdialenosti (D) od cieľového objektu. Metóda extrakcie ITD vyžaduje minimálne uhlové rozlíšenie približne 4 °C. f Uhlová presnosť (modrá čiara) a zodpovedajúci pomer špičky k šumu (zelená čiara) verzus vzdialenosť objektu pre Θ = 0.
Odporová pamäť uchováva informácie v energeticky nezávislom vodivom stave. Základným princípom metódy je, že modifikácia materiálu na atómovej úrovni spôsobí zmenu jeho elektrickej vodivosti57. Tu používame odporovú pamäť na báze oxidu pozostávajúcu z 5nm vrstvy oxidu hafničitého vloženého medzi hornú a spodnú titánovú a titánnitridovú elektródu. Vodivosť zariadení RRAM môže byť zmenená aplikáciou prúdového/napäťového tvaru vlny, ktorá vytvára alebo prerušuje vodivé vlákna voľných kyslíkových miest medzi elektródami. Takéto zariadenia58 sme kointegrovali do štandardného 130 nm CMOS procesu, aby sme vytvorili vyrobený rekonfigurovateľný neuromorfný obvod implementujúci koincidenčný detektor a obvod oneskorovacej linky (obr. 3a). Neprchavá a analógová povaha zariadenia v kombinácii s udalosťou riadenou povahou neuromorfného obvodu minimalizuje spotrebu energie. Obvod má funkciu okamžitého zapnutia/vypnutia: funguje ihneď po zapnutí, čo umožňuje úplné vypnutie napájania, keď je obvod nečinný. Hlavné stavebné bloky navrhovanej schémy sú znázornené na obr. 3b. Pozostáva z N paralelných jednorezistorových jednotranzistorových (1T1R) štruktúr, ktoré kódujú synaptické váhy, z ktorých sa odoberajú vážené prúdy, vstrekujú sa do spoločnej synapsie diferenciálneho párového integrátora (DPI)59 a nakoniec sa vstrekujú do synapsie s integráciou a únik. aktivovaný (LIF) neurón 60 (podrobnosti nájdete v časti Metódy). Vstupné rázy sú aplikované na hradlo štruktúry 1T1R vo forme sekvencie napäťových impulzov s trvaním rádovo v stovkách nanosekúnd. Odporovú pamäť možno uviesť do stavu vysokej vodivosti (HCS) privedením externej kladnej referencie na Vtop, keď je Vbottom uzemnený, a resetovať do stavu nízkej vodivosti (LCS) privedením kladného napätia na Vbottom, keď je Vtop uzemnený. Priemerná hodnota HCS môže byť riadená obmedzením programovacieho prúdu (compliance) SET (ICC) hradlovým napätím sériového tranzistora (obr. 3c). Funkcie RRAM v obvode sú dvojaké: usmerňujú a vážia vstupné impulzy.
Obrázok modrého zariadenia HfO2 1T1R RRAM integrovaného v 130 nm CMOS technológii so selektorovými tranzistormi (šírka 650 nm) v zelenej farbe zo skenovacieho elektrónového mikroskopu (SEM). b Základné stavebné kamene navrhovanej neuromorfnej schémy. Vstupné napäťové impulzy (vrcholy) Vin0 a Vin1 spotrebúvajú prúd Iweight, ktorý je úmerný stavom vodivosti G0 a G1 štruktúry 1T1R. Tento prúd sa vstrekuje do synapsií DPI a excituje neuróny LIF. RRAM G0 a G1 sú nainštalované v HCS a LCS. c Funkcia kumulatívnej hustoty vodivosti pre skupinu zariadení 16K RRAM ako funkcia prispôsobenia prúdu ICC, ktoré účinne riadi úroveň vodivosti. d Merania obvodu v (a), ktoré ukazujú, že G1 (v LCS) účinne blokuje vstup z Vin1 (zelený) a skutočne membránové napätie výstupného neurónu reaguje iba na modrý vstup z Vin0. RRAM efektívne určuje spojenia v obvode. e Meranie obvodu v (b) ukazujúce vplyv hodnoty vodivosti G0 na membránové napätie Vmem po aplikácii napäťového impulzu Vin0. Čím väčšia vodivosť, tým silnejšia je odozva: zariadenie RRAM teda implementuje váženie I/O pripojenia. Merania boli vykonané na obvode a demonštrujú dvojitú funkciu RRAM, smerovanie a váženie vstupných impulzov.
Po prvé, keďže existujú dva základné stavy vodivosti (HCS a LCS), pamäte RRAM môžu blokovať alebo vynechať vstupné impulzy, keď sú v stave LCS alebo HCS. V dôsledku toho RRAM efektívne určuje pripojenia v obvode. To je základ pre možnosť rekonfigurácie architektúry. Aby sme to demonštrovali, popíšeme zhotovenú implementáciu obvodu bloku obvodu na obr. 3b. RRAM zodpovedajúca G0 je naprogramovaná do HCS a druhá RRAM G1 je naprogramovaná do LCS. Vstupné impulzy sú aplikované na Vin0 aj Vin1. Účinky dvoch sekvencií vstupných impulzov sa analyzovali vo výstupných neurónoch zberom napätia na neurónovej membráne a výstupného signálu pomocou osciloskopu. Experiment bol úspešný, keď bolo k pulzu neurónu pripojené iba zariadenie HCS (G0) na stimuláciu membránového napätia. To je znázornené na obrázku 3d, kde modrý sled impulzov spôsobuje, že membránové napätie sa hromadí na membránovom kondenzátore, zatiaľ čo zelený sled impulzov udržuje membránové napätie konštantné.
Druhou dôležitou funkciou RRAM je implementácia váh pripojenia. Pomocou nastavenia analógovej vodivosti RRAM je možné zodpovedajúcim spôsobom zvážiť I/O pripojenia. V druhom experimente bolo zariadenie G0 naprogramované na rôzne úrovne HCS a vstupný impulz bol privedený na vstup VIn0. Vstupný impulz odoberá zo zariadenia prúd (Iweight), ktorý je úmerný vodivosti a zodpovedajúcemu poklesu potenciálu Vtop − Vbot. Tento vážený prúd sa potom vstrekuje do synapsií DPI a výstupných neurónov LIF. Membránové napätie výstupných neurónov bolo zaznamenané pomocou osciloskopu a zobrazené na obr. 3d. Vrchol napätia na neurónovej membráne v reakcii na jediný vstupný impulz je úmerný vodivosti odporovej pamäte, čo dokazuje, že RRAM možno použiť ako programovateľný prvok synaptickej hmotnosti. Tieto dva predbežné testy ukazujú, že navrhovaná neuromorfná platforma založená na RRAM je schopná implementovať základné prvky základného Jeffressovho mechanizmu, konkrétne oneskorovaciu linku a obvod detektora koincidencií. Platforma obvodov je postavená naskladaním po sebe nasledujúcich blokov vedľa seba, ako sú bloky na obrázku 3b, a pripojením ich brán k spoločnej vstupnej linke. Navrhli sme, vyrobili a otestovali neuromorfnú platformu pozostávajúcu z dvoch výstupných neurónov, ktoré prijímajú dva vstupy (obr. 4a). Schéma zapojenia je znázornená na obrázku 4b. Horná matica 2 × 2 RRAM umožňuje smerovanie vstupných impulzov na dva výstupné neuróny, zatiaľ čo spodná matica 2 × 2 umožňuje opakované spojenie dvoch neurónov (N0, N1). Preukázali sme, že táto platforma môže byť použitá s konfiguráciou oneskorovacej linky a dvoma rôznymi funkciami koincidenčného detektora, ako ukazujú experimentálne merania na obr. 4c-e.
Schéma obvodu tvorená dvoma výstupnými neurónmi N0 a N1 prijímajúcimi dva vstupy 0 a 1. Štyri horné zariadenia poľa definujú synaptické spojenia zo vstupu na výstup a spodné štyri bunky definujú opakujúce sa spojenia medzi neurónmi. Farebné RRAM predstavujú zariadenia nakonfigurované v HCS na pravej strane: zariadenia v HCS umožňujú pripojenia a predstavujú váhy, zatiaľ čo zariadenia v LCS blokujú vstupné impulzy a deaktivujú pripojenia k výstupom. b Schéma obvodu (a) s ôsmimi modulmi RRAM zvýraznenými modrou farbou. c Delay linky sú tvorené jednoduchým využitím dynamiky DPI synapsií a LIF neurónov. Zelená RRAM je nastavená na dostatočne vysokú vodivosť, aby mohla vyvolať poruchu na výstupe po vstupnom oneskorení Δt. d Schematické znázornenie smerovo necitlivej CD detekcie časovo závislých signálov. Výstupný neurón 1, N1, sa spúšťa na vstupoch 0 a 1 s krátkym oneskorením. e Smerovo citlivý obvod CD, obvod, ktorý deteguje, keď sa vstup 1 blíži k vstupu 0 a prichádza po vstupe 0. Výstup obvodu je reprezentovaný neurónom 1 (N1).
Oneskorovacia linka (obrázok 4c) jednoducho využíva dynamické správanie DPI synapsií a LIF neurónov na reprodukciu vstupnej špičky z Vin1 na Vout1 oneskorením Tdel. Iba G3 RRAM pripojená k Vin1 a Vout1 je naprogramovaná v HCS, zvyšok RRAM je naprogramovaný v LCS. Zariadenie G3 bolo naprogramované na 92,6 µs, aby sa zabezpečilo, že každý vstupný impulz dostatočne zvýši membránové napätie výstupného neurónu na dosiahnutie prahu a vygeneruje oneskorený výstupný impulz. Oneskorenie Tdel je určené synaptickými a nervovými časovými konštantami. Koincidenčné detektory detekujú výskyt časovo korelovaných, ale priestorovo distribuovaných vstupných signálov. CD necitlivé na smer sa spolieha na to, že jednotlivé vstupy sa zbiehajú do spoločného výstupného neurónu (obrázok 4d). Dve pamäte RRAM spájajúce Vin0 a Vin1 s Vout1, G2 a G4 sú naprogramované na vysokú vodivosť. Súčasný príchod špičiek na Vin0 a Vin1 zvyšuje napätie membrány neurónu N1 nad prahovú hodnotu potrebnú na generovanie výstupnej špičky. Ak sú dva vstupy príliš vzdialené od seba, náboj na membránovom napätí akumulovaný prvým vstupom môže mať čas na pokles, čím sa zabráni membránovému potenciálu N1 dosiahnuť prahovú hodnotu. G1 a G2 sú naprogramované na približne 65 µs, čo zaisťuje, že jediný vstupný náraz nezvýši napätie membrány natoľko, aby spôsobil výstupný náraz. Detekcia zhody medzi udalosťami distribuovanými v priestore a čase je základnou operáciou používanou v širokej škále snímacích úloh, ako je vyhýbanie sa prekážkam na základe optického toku a lokalizácia zdroja zvuku. Preto je výpočet smerovo citlivých a necitlivých CD základným stavebným kameňom pre konštrukciu vizuálnych a zvukových lokalizačných systémov. Ako ukazujú charakteristiky časových konštánt (pozri doplnkový obr. 2), navrhovaný obvod implementuje vhodný rozsah štyroch rádových časových mierok. Môže tak súčasne spĺňať požiadavky vizuálneho a zvukového systému. Smerovo citlivý CD je obvod, ktorý je citlivý na priestorové poradie príchodu impulzov: sprava doľava a naopak. Je základným stavebným kameňom základnej siete detekcie pohybu vizuálneho systému Drosophila, ktorý sa používa na výpočet smerov pohybu a detekciu kolízií62. Na dosiahnutie smerovo citlivého CD musia byť dva vstupy nasmerované na dva rôzne neuróny (N0, N1) a musí byť medzi nimi vytvorené smerové spojenie (obr. 4e). Keď je prijatý prvý vstup, NO zareaguje zvýšením napätia na svojej membráne nad prahovú hodnotu a vyšle ráz. Táto výstupná udalosť zase spustí N1 vďaka smerovému spojeniu zvýraznenému zelenou farbou. Ak príde vstupná udalosť Vin1 a nabudí N1, zatiaľ čo jej membránové napätie je stále vysoké, N1 vygeneruje výstupnú udalosť, ktorá indikuje, že medzi týmito dvoma vstupmi bola nájdená zhoda. Smerové pripojenia umožňujú N1 vysielať výstup iba vtedy, ak vstup 1 prichádza po vstupe 0. G0, G3 a G7 sú naprogramované na 73,5 µS, 67,3 µS a 40,2 µS, v tomto poradí, čo zaisťuje, že jediná špička na vstupe Vin0 spôsobí oneskorenie výstupná špička, zatiaľ čo membránový potenciál N1 dosiahne prah iba vtedy, keď oba vstupné impulzy prídu synchronizovane. .
Variabilita je zdrojom nedokonalostí v modelovaných neuromorfných systémoch63,64,65. To vedie k heterogénnemu správaniu neurónov a synapsií. Príklady takýchto nevýhod zahŕňajú 30% (priemernú štandardnú odchýlku) variabilitu vstupného zisku, časovej konštanty a refraktérnej periódy, aby sme vymenovali aspoň niektoré (pozri Metódy). Tento problém je ešte výraznejší, keď je spojených viacero nervových okruhov, ako napríklad CD citlivé na orientáciu pozostávajúce z dvoch neurónov. Aby fungovali správne, časové konštanty zosilnenia a rozpadu dvoch neurónov by mali byť čo najviac podobné. Napríklad veľký rozdiel vo vstupnom zosilnení môže spôsobiť, že jeden neurón nadmerne reaguje na vstupný impulz, zatiaľ čo druhý neurón takmer nereaguje. Na obr. Obrázok 5a ukazuje, že náhodne vybrané neuróny reagujú odlišne na rovnaký vstupný impulz. Táto nervová variabilita je relevantná napríklad pre funkciu smerovo citlivých CD. V schéme znázornenej na obr. 5b, c, vstupné zosilnenie neurónu 1 je oveľa vyššie ako neurónu 0. Neurón 0 teda vyžaduje tri vstupné impulzy (namiesto 1) na dosiahnutie prahu a neurón 1 podľa očakávania potrebuje dve vstupné udalosti. Implementácia biomimetickej plasticity závislej od času (STDP) je možným spôsobom, ako zmierniť vplyv nepresných a pomalých nervových a synaptických obvodov na výkon systému43. Tu navrhujeme použiť plastické správanie odporovej pamäte ako prostriedok na ovplyvnenie zvýšenia nervového vstupu a zníženie účinkov variability v neuromorfných obvodoch. Ako je znázornené na obr. 4e, hladiny vodivosti spojené so synaptickou hmotou RRAM účinne modulovali zodpovedajúcu napäťovú odozvu neurálnej membrány. Používame iteračnú stratégiu programovania RRAM. Pre daný vstup sa hodnoty vodivosti synaptických váh preprogramujú, kým sa nedosiahne cieľové správanie obvodu (pozri Metódy).
a Experimentálne merania odozvy deviatich náhodne vybraných jednotlivých neurónov na rovnaký vstupný impulz. Odozva sa líši medzi populáciami, čo ovplyvňuje vstupný zisk a časovú konštantu. b Experimentálne merania vplyvu neurónov na variabilitu neurónov ovplyvňujúcich smerovo citlivé CD. Dva výstupné neuróny CD citlivé na smer reagujú odlišne na vstupné stimuly v dôsledku variability medzi neurónmi. Neurón 0 má nižší vstupný zisk ako neurón 1, takže na vytvorenie výstupnej špičky sú potrebné tri vstupné impulzy (namiesto 1). Ako sa očakávalo, neurón 1 dosiahne prah s dvoma vstupnými udalosťami. Ak vstup 1 príde Δt = 50 µs po spustení neurónu 0, CD zostane tiché, pretože Δt je väčšie ako časová konštanta neurónu 1 (asi 22 µs). c sa zníži o Δt = 20 µs, takže vstup 1 vrcholí, keď je spaľovanie neurónu 1 stále vysoké, čo vedie k súčasnej detekcii dvoch vstupných udalostí.
Dva prvky použité v stĺpci výpočtu ITD sú oneskorovacia linka a CD necitlivé na smer. Obidva okruhy vyžadujú presnú kalibráciu, aby sa zabezpečil dobrý výkon polohovania objektu. Oneskorovacia linka musí dodať presne oneskorenú verziu vstupného vrcholu (obr. 6a) a CD sa musí aktivovať len vtedy, keď vstup spadá do cieľového rozsahu detekcie. Pre oneskorovaciu linku boli synaptické váhy vstupných spojení (G3 na obr. 4a) preprogramované, kým sa nedosiahlo cieľové oneskorenie. Nastavte toleranciu okolo cieľového oneskorenia na zastavenie programu: čím menšia tolerancia, tým ťažšie je úspešne nastaviť oneskorenie. Na obr. Obrázok 6b ukazuje výsledky procesu kalibrácie oneskorovacej linky: možno vidieť, že navrhovaná schéma môže presne poskytnúť všetky oneskorenia požadované v schéme návrhu (od 10 do 300 μs). Maximálny počet opakovaní kalibrácie ovplyvňuje kvalitu procesu kalibrácie: 200 opakovaní môže znížiť chybu na menej ako 5 %. Jedna iterácia kalibrácie zodpovedá operácii nastavenia/resetovania bunky RRAM. Proces ladenia je tiež rozhodujúci pre zlepšenie presnosti detekcie okamžitej zatvorenia modulu CD. Na dosiahnutie skutočnej pozitívnej miery (tj miery udalostí správne identifikovaných ako relevantných) nad 95 % (modrá čiara na obrázku 6c) bolo potrebných desať kalibračných iterácií. Proces ladenia však neovplyvnil falošne pozitívne udalosti (to znamená frekvenciu udalostí, ktoré boli chybne označené ako relevantné). Ďalšou metódou pozorovanou v biologických systémoch na prekonanie časových obmedzení rýchlo sa aktivujúcich dráh je redundancia (to znamená, že na vykonávanie danej funkcie sa používa veľa kópií toho istého objektu). Inšpirovaní biológiou66 sme umiestnili niekoľko CD obvodov do každého CD modulu medzi dve oneskorovacie linky, aby sme znížili vplyv falošných poplachov. Ako je znázornené na obr. 6c (zelená čiara), umiestnenie troch CD prvkov do každého CD modulu môže znížiť počet falošných poplachov na menej ako 10–2.
a Vplyv neuronálnej variability na obvody oneskorovacej linky. b Obvody oneskorenej linky je možné škálovať na veľké oneskorenia nastavením časových konštánt zodpovedajúcich neurónov LIF a synapsií DPI na veľké hodnoty. Zvýšenie počtu opakovaní postupu kalibrácie RRAM umožnilo výrazne zlepšiť presnosť cieľového oneskorenia: 200 opakovaní znížilo chybu na menej ako 5%. Jedna iterácia zodpovedá operácii SET/RESET na bunke RRAM. Každý modul CD v modeli c Jeffress môže byť implementovaný pomocou N paralelných prvkov CD pre väčšiu flexibilitu vzhľadom na zlyhania systému. d Viac iterácií kalibrácie RRAM zvyšuje skutočnú pozitívnu rýchlosť (modrá čiara), zatiaľ čo miera falošných pozitívnych výsledkov je nezávislá od počtu iterácií (zelená čiara). Paralelným umiestnením viacerých CD prvkov sa zabráni falošnej detekcii zhody CD modulov.
Teraz hodnotíme výkon a spotrebu energie komplexného integrovaného systému lokalizácie objektov znázorneného na obrázku 2 pomocou meraní akustických vlastností senzora pMUT, CD a obvodov oneskorovacej linky, ktoré tvoria neuromorfný výpočtový graf. Jeffressov model (obr. 1a). Čo sa týka neuromorfného výpočtového grafu, čím väčší počet CD modulov, tým lepšie uhlové rozlíšenie, ale aj vyššia energia systému (obr. 7a). Kompromis sa dá dosiahnuť porovnaním presnosti jednotlivých komponentov (pMUT senzory, neuróny a synaptické obvody) s presnosťou celého systému. Rozlíšenie oneskorovacej linky je obmedzené časovými konštantami simulovaných synapsií a neurónov, ktoré v našej schéme presahujú 10 µs, čo zodpovedá uhlovému rozlíšeniu 4° (pozri Metódy). Pokročilejšie uzly s technológiou CMOS umožnia návrh neurónových a synaptických obvodov s nižšími časovými konštantami, čo má za následok vyššiu presnosť prvkov oneskorovacej linky. V našom systéme je však presnosť limitovaná chybou pMUT v odhade uhlovej polohy, teda 10° (modrá vodorovná čiara na obr. 7a). Počet CD modulov sme zafixovali na 40, čo zodpovedá uhlovému rozlíšeniu asi 4°, teda uhlovej presnosti výpočtového grafu (svetlomodrá vodorovná čiara na obr. 7a). Na systémovej úrovni to dáva rozlíšenie 4° a presnosť 10° pre objekty umiestnené 50 cm pred senzorovým systémom. Táto hodnota je porovnateľná s neuromorfnými systémami lokalizácie zvuku uvedenými v ref. 67. Porovnanie navrhovaného systému so stavom techniky možno nájsť v doplnkovej tabuľke 1. Pridanie ďalších pMUT, zvýšenie úrovne akustického signálu a zníženie elektronického šumu sú možné spôsoby, ako ďalej zlepšiť presnosť lokalizácie. ) sa odhaduje na 9.7. nz. 55. Vzhľadom na 40 jednotiek CD vo výpočtovom grafe, simulácia SPICE odhadla energiu na operáciu (tj energiu na umiestnenie objektu) na 21,6 nJ. Neuromorfný systém sa aktivuje iba vtedy, keď príde vstupná udalosť, tj keď akustická vlna dosiahne akýkoľvek prijímač pMUT a prekročí prah detekcie, inak zostane neaktívny. Tým sa zabráni zbytočnej spotrebe energie, keď nie je k dispozícii žiadny vstupný signál. Ak vezmeme do úvahy frekvenciu lokalizačných operácií 100 Hz a dobu aktivácie 300 µs na operáciu (maximálna možná ITD), spotreba energie neuromorfného výpočtového grafu je 61,7 nW. S neuromorfným predspracovaním aplikovaným na každý prijímač pMUT dosahuje spotreba energie celého systému 81,6 nW. Aby sme pochopili energetickú účinnosť navrhovaného neuromorfného prístupu v porovnaní s konvenčným hardvérom, porovnali sme toto číslo s energiou potrebnou na vykonanie rovnakej úlohy na modernom nízkoenergetickom mikrokontroléri s použitím neuromorfnej alebo konvenčnej schopnosti formovania lúčov68. Neuromorfný prístup zvažuje štádium analógovo-digitálneho prevodníka (ADC), po ktorom nasleduje pásmový filter a štádium extrakcie obálky (metóda Teeger-Kaiser). Nakoniec sa vykoná operácia prahu na extrahovanie ToF. Vynechali sme výpočet ITD na základe ToF a prevod na odhadovanú uhlovú polohu, pretože k tomu dochádza raz pre každé meranie (pozri Metódy). Za predpokladu vzorkovacej frekvencie 250 kHz na oboch kanáloch (prijímače pMUT), 18 operácií s pásmovým filtrom, 3 operácií extrakcie obálky a 1 operácie prahu na vzorku sa celková spotreba energie odhaduje na 245 mikrowattov. Toto využíva režim nízkej spotreby mikrokontroléra69, ktorý sa zapne, keď sa nevykonávajú algoritmy, čo znižuje spotrebu energie na 10,8 µW. Spotreba energie riešenia spracovania signálu vytvárania lúča navrhnutého v odkaze. 31, s 5 prijímačmi pMUT a 11 lúčmi rovnomerne rozloženými v rovine azimutu [-50°, +50°], je 11,71 mW (podrobnosti nájdete v časti Metódy). Okrem toho uvádzame spotrebu energie kódovača časového rozdielu (TDE) založeného na FPGA47, ktorý sa odhaduje na 1,5 mW ako náhradu za Jeffressov model na lokalizáciu objektov. Na základe týchto odhadov navrhovaný neuromorfný prístup znižuje spotrebu energie o päť rádov v porovnaní s mikrokontrolérom využívajúcim klasické techniky vytvárania lúčov pre operácie lokalizácie objektov. Prijatie neuromorfného prístupu k spracovaniu signálu na klasickom mikrokontroléri znižuje spotrebu energie približne o dva rády. Efektívnosť navrhovaného systému možno vysvetliť kombináciou asynchrónneho analógového obvodu s odporovou pamäťou, ktorý je schopný vykonávať výpočty v pamäti, a absenciou analógovo-digitálnej konverzie potrebnej na vnímanie signálov.
a Uhlové rozlíšenie (modrá) a spotreba energie (zelená) operácie lokalizácie v závislosti od počtu CD modulov. Tmavomodrý vodorovný pruh predstavuje uhlovú presnosť PMUT a svetlomodrý vodorovný pruh predstavuje uhlovú presnosť neuromorfného výpočtového grafu. b Spotreba energie navrhovaného systému a porovnanie s dvomi diskutovanými implementáciami mikrokontroléra a digitálnou implementáciou FPGA Time Difference Encoder (TDE)47.
Aby sme minimalizovali spotrebu energie cieľového lokalizačného systému, vytvorili sme, navrhli a implementovali efektívny neuromorfný obvod založený na RRAM riadený udalosťami, ktorý spracováva informácie o signáloch generované vstavanými senzormi na výpočet polohy cieľového objektu v reálnom čase. čas. . Zatiaľ čo tradičné metódy spracovania nepretržite odoberajú vzorky detekovaných signálov a vykonávajú výpočty na extrakciu užitočných informácií, navrhované neuromorfné riešenie vykonáva výpočty asynchrónne, keď prichádzajú užitočné informácie, čím sa maximalizuje energetická účinnosť systému o päť rádov. Okrem toho zdôrazňujeme flexibilitu neuromorfných obvodov založených na RRAM. Schopnosť RRAM meniť vodivosť neprchavým spôsobom (plasticita) kompenzuje inherentnú variabilitu synaptických a neurálnych obvodov analógového DPI s ultranízkym výkonom. Vďaka tomu je tento obvod založený na RRAM všestranný a výkonný. Naším cieľom nie je extrahovať zložité funkcie alebo vzory zo signálov, ale lokalizovať objekty v reálnom čase. Náš systém dokáže tiež efektívne skomprimovať signál a prípadne ho poslať na ďalšie kroky spracovania, aby v prípade potreby mohol robiť komplexnejšie rozhodnutia. V kontexte lokalizačných aplikácií môže náš krok neuromorfného predbežného spracovania poskytnúť informácie o umiestnení objektov. Tieto informácie je možné využiť napríklad pri detekcii pohybu alebo rozpoznávaní gest. Zdôrazňujeme dôležitosť kombinácie snímačov s ultranízkym výkonom, ako sú pMUT, s elektronikou s ultranízkym výkonom. Na tento účel boli kľúčové neuromorfné prístupy, pretože nás viedli k vývoju nových obvodových implementácií biologicky inšpirovaných výpočtových metód, ako je napríklad Jeffressov model. V kontexte aplikácií senzorovej fúzie je možné náš systém skombinovať s niekoľkými rôznymi senzormi založenými na udalostiach, aby sme získali presnejšie informácie. Aj keď sú sovy vynikajúce v hľadaní koristi v tme, majú výborný zrak a pred ulovením koristi vykonávajú kombinované sluchové a vizuálne vyhľadávanie70. Keď konkrétny sluchový neurón vystrelí, sova dostane informácie, ktoré potrebuje na to, aby určila, ktorým smerom má začať svoje vizuálne vyhľadávanie, čím zameria svoju pozornosť na malú časť vizuálnej scény. Pre vývoj budúcich autonómnych agentov by sa mala preskúmať kombinácia vizuálnych senzorov (DVS kamera) a navrhovaného počúvacieho senzora (založeného na pMUT).
Snímač pMUT je umiestnený na doske plošných spojov s dvoma prijímačmi vzdialenými od seba približne 10 cm a vysielač je umiestnený medzi prijímačmi. V tejto práci je každá membrána zavesená bimorfná štruktúra pozostávajúca z dvoch vrstiev piezoelektrického nitridu hliníka (AlN) s hrúbkou 800 nm vložených medzi tri vrstvy molybdénu (Mo) s hrúbkou 200 nm a potiahnuté vrstvou s hrúbkou 200 nm. horná pasivačná vrstva SiN, ako je opísané v odkaze. 71. Vnútorná a vonkajšia elektróda sú aplikované na spodnú a vrchnú vrstvu molybdénu, zatiaľ čo stredná molybdénová elektróda je bez vzoru a používa sa ako uzemnenie, výsledkom čoho je membrána so štyrmi pármi elektród.
Táto architektúra umožňuje použitie bežnej deformácie membrány, čo vedie k zlepšenej citlivosti prenosu a príjmu. Takýto pMUT typicky vykazuje excitačnú citlivosť 700 nm/V ako žiarič, čo poskytuje povrchový tlak 270 Pa/V. Jeden film pMUT ako prijímač vykazuje citlivosť na skrat 15 nA/Pa, čo priamo súvisí s piezoelektrickým koeficientom AlN. Technická variabilita napätia vo vrstve AlN vedie k zmene rezonančnej frekvencie, ktorú je možné kompenzovať aplikáciou jednosmerného predpätia na pMUT. DC citlivosť bola meraná pri 0,5 kHz/V. Na akustickú charakterizáciu sa pred pMUT používa mikrofón.
Na meranie pulzu ozveny sme pred pMUT umiestnili obdĺžnikovú dosku s plochou asi 50 cm2, aby odrážala emitované zvukové vlny. Vzdialenosť medzi doskami a uhol vzhľadom k rovine pMUT sú kontrolované pomocou špeciálnych držiakov. Napäťový zdroj Tectronix CPX400DP predpína tri membrány pMUT, čím ladí rezonančnú frekvenciu na 111,9 kHz31, zatiaľ čo vysielače sú poháňané generátorom impulzov Tectronix AFG 3102 naladeným na rezonančnú frekvenciu (111,9 kHz) a pracovným cyklom 0,01. Prúdy načítané zo štyroch výstupných portov každého prijímača pMUT sú konvertované na napätia pomocou špeciálnej architektúry diferenciálneho prúdu a napätia a výsledné signály sú digitalizované systémom zberu dát Spektrum. Limit detekcie bol charakterizovaný akvizíciou signálu pMUT za rôznych podmienok: reflektor sme posunuli na rôzne vzdialenosti [30, 40, 50, 60, 80, 100] cm a zmenili sme uhol podpory pMUT ([0, 20, 40] o ) Obrázok 2b znázorňuje časové rozlíšenie detekcie ITD v závislosti od zodpovedajúcej uhlovej polohy v stupňoch.
Tento článok používa dva rôzne bežné obvody RRAM. Prvým je pole 16 384 (16 000) zariadení (128 × 128 zariadení) v konfigurácii 1T1R s jedným tranzistorom a jedným rezistorom. Druhý čip je neuromorfná platforma znázornená na obr. 4a. Bunka RRAM pozostáva z 5 nm hrubého filmu HfO2 vloženého do vrstvy TiN/HfO2/Ti/TiN. Zásobník RRAM je integrovaný do zadnej časti linky (BEOL) štandardného 130nm procesu CMOS. Neuromorfné obvody založené na RRAM predstavujú konštrukčnú výzvu pre úplne analógové elektronické systémy, v ktorých zariadenia RRAM koexistujú s tradičnou technológiou CMOS. Najmä stav vodivosti zariadenia RRAM sa musí prečítať a použiť ako funkčná premenná pre systém. Na tento účel bol navrhnutý, vyrobený a testovaný obvod, ktorý číta prúd zo zariadenia, keď je prijatý vstupný impulz, a používa tento prúd na zváženie odozvy synapsie diferenciálneho párového integrátora (DPI). Tento obvod je znázornený na obrázku 3a, ktorý predstavuje základné stavebné kamene neuromorfnej platformy na obrázku 4a. Vstupný impulz aktivuje bránu zariadenia 1T1R a indukuje prúd cez RRAM úmerný vodivosti zariadenia G (Iweight = G(Vtop – Vx)). Invertujúci vstup obvodu operačného zosilňovača (op-amp) má konštantné jednosmerné predpätie Vtop. Záporná spätná väzba operačného zosilňovača poskytne Vx = Vtop poskytnutím rovnakého prúdu z M1. Aktuálna Iváha získaná zo zariadenia sa vstrekne do synapsie DPI. Silnejší prúd bude mať za následok väčšiu depolarizáciu, takže vodivosť RRAM efektívne implementuje synaptické váhy. Tento exponenciálny synaptický prúd sa vstrekuje cez membránový kondenzátor neurónov Leaky Integration and Excitation (LIF), kde je integrovaný ako napätie. Ak sa prekoná prahové napätie membrány (spínacie napätie meniča), aktivuje sa výstupná časť neurónu, čím sa vytvorí výstupná špička. Tento impulz sa vráti a posunie membránový kondenzátor neurónu k zemi, čo spôsobí jeho vybitie. Tento obvod je potom doplnený expandérom impulzov (nezobrazený na obr. 3a), ktorý tvaruje výstupný impulz neurónu LIF na cieľovú šírku impulzu. V každej linke sú zabudované aj multiplexory, ktoré umožňujú priviesť napätie na hornú a spodnú elektródu zariadenia RRAM.
Elektrické testovanie zahŕňa analýzu a zaznamenávanie dynamického správania analógových obvodov, ako aj programovanie a čítanie zariadení RRAM. Oba kroky vyžadujú špeciálne nástroje, ktoré sú všetky súčasne pripojené k doske snímača. Prístup k zariadeniam RRAM v neuromorfných obvodoch sa vykonáva z externých nástrojov cez multiplexer (MUX). MUX oddeľuje bunku 1T1R od zvyšku obvodu, ku ktorému patrí, čo umožňuje čítanie a/alebo programovanie zariadenia. Na programovanie a čítanie zariadení RRAM sa používa stroj Keithley 4200 SCS v spojení s mikrokontrolérom Arduino: prvý na presné generovanie impulzov a čítanie prúdu a druhý na rýchly prístup k jednotlivým prvkom 1T1R v pamäťovom poli. Prvou operáciou je vytvorenie zariadenia RRAM. Články sa vyberajú jeden po druhom a medzi hornú a spodnú elektródu sa aplikuje kladné napätie. V tomto prípade je prúd obmedzený na rádovo desiatky mikroampérov v dôsledku privádzania zodpovedajúceho hradlového napätia do selektorového tranzistora. Bunka RRAM potom môže cyklovať medzi stavom nízkej vodivosti (LCS) a stavom vysokej vodivosti (HCS) pomocou operácií RESET a SET. Operácia SET sa vykonáva aplikáciou obdĺžnikového napäťového impulzu s trvaním 1 μs a špičkovým napätím 2,0-2,5 V na hornú elektródu a synchronizačného impulzu podobného tvaru so špičkovým napätím 0,9-1,3 V na hornú elektródu. hradlo selektorového tranzistora. Tieto hodnoty umožňujú modulovať vodivosť RRAM v intervaloch 20-150 µs. Pre RESET sa na spodnú elektródu (bitové vedenie) bunky aplikuje 1 µs široký, 3 V špičkový impulz, keď je hradlové napätie v rozsahu 2,5-3,0 V. Vstupy a výstupy analógových obvodov sú dynamické signály . Ako vstup sme preložili dva generátory impulzov HP 8110 s generátormi signálu Tektronix AFG3011. Vstupný impulz má šírku 1 µs a hranu nábehu/zostupu 50 ns. Tento typ impulzu sa považuje za typickú poruchu v obvodoch založených na analógovej poruche. Pokiaľ ide o výstupný signál, výstupný signál bol zaznamenaný pomocou osciloskopu Teledyne LeCroy 1 GHz. Ukázalo sa, že rýchlosť snímania osciloskopu nie je obmedzujúcim faktorom pri analýze a získavaní údajov obvodu.
Použitie dynamiky analógovej elektroniky na simuláciu správania neurónov a synapsií je elegantným a efektívnym riešením na zlepšenie výpočtovej účinnosti. Nevýhodou tohto výpočtového podkladu je, že sa bude líšiť od schémy k schéme. Kvantifikovali sme variabilitu neurónov a synaptických obvodov (doplnkový obrázok 2a, b). Zo všetkých prejavov variability majú na systémovej úrovni najväčší vplyv tie, ktoré sú spojené s časovými konštantami a vstupným ziskom. Časová konštanta neurónu LIF a synapsie DPI je určená RC obvodom, kde hodnota R je riadená predpätím aplikovaným na bránu tranzistora (Vlk pre neurón a Vtau pre synapsiu), určujúce miera úniku. Vstupný zisk je definovaný ako špičkové napätie dosiahnuté synaptickými a neurónovými membránovými kondenzátormi stimulovanými vstupným impulzom. Vstupné zosilnenie je riadené ďalším predpätím tranzistorom, ktorý moduluje vstupný prúd. Uskutočnila sa simulácia Monte Carlo kalibrovaná na 130nm procese ST Microelectronics, aby sa zozbieralo nejaké vstupné zosilnenie a štatistiky časových konštánt. Výsledky sú uvedené na doplnkovom obrázku 2, kde sú kvantifikované vstupné zosilnenie a časová konštanta ako funkcia predpätia regulujúceho rýchlosť úniku. Zelené značky kvantifikujú štandardnú odchýlku časovej konštanty od priemeru. Neuróny aj synaptické obvody boli schopné vyjadrovať široký rozsah časových konštánt v rozsahu 10-5-10-2 s, ako je znázornené na schéme doplnkového obr. Vstupná amplifikácia (doplnkový obrázok 2e, d) variability neurónov a synapsií bola približne 8 % a 3 %. Takýto nedostatok je dobre zdokumentovaný v literatúre: vykonali sa rôzne merania na rade čipov DYNAP na posúdenie nesúladu medzi populáciami neurónov LIF63. Zmerali sa synapsie v čipe so zmiešaným signálom BrainScale a analyzovali sa ich nezrovnalosti a navrhol sa postup kalibrácie na zníženie vplyvu variability na úrovni systému64.
Funkcia RRAM v neuromorfných obvodoch je dvojaká: definícia architektúry (smerovanie vstupov na výstupy) a implementácia synaptických váh. Poslednú vlastnosť možno použiť na riešenie problému variability modelovaných neuromorfných obvodov. Vyvinuli sme jednoduchý kalibračný postup, ktorý zahŕňa preprogramovanie zariadenia RRAM, kým analyzovaný obvod nespĺňa určité požiadavky. Pre daný vstup sa výstup monitoruje a RRAM sa preprogramuje, kým sa nedosiahne cieľové správanie. Medzi programovacími operáciami sa zaviedla čakacia doba 5 s, aby sa vyriešil problém relaxácie RRAM, čo má za následok prechodné kolísanie vodivosti (doplnkové informácie). Synaptické závažia sa upravujú alebo kalibrujú podľa požiadaviek modelovaného neuromorfného okruhu. Postup kalibrácie je zhrnutý v ďalších algoritmoch [1, 2], ktoré sa zameriavajú na dve základné vlastnosti neuromorfných platforiem, oneskorovacie čiary a CD necitlivé na smer. Pre obvod s oneskorovacím vedením je cieľovým správaním poskytnúť výstupný impulz s oneskorením Δt. Ak je skutočné oneskorenie obvodu menšie ako cieľová hodnota, mala by sa znížiť synaptická váha G3 (G3 by sa mal resetovať a potom nastaviť na nižší zodpovedajúci prúd Icc). Naopak, ak je skutočné oneskorenie väčšie ako cieľová hodnota, vodivosť G3 sa musí zvýšiť (G3 sa musí najskôr resetovať a potom nastaviť na vyššiu hodnotu Icc). Tento proces sa opakuje, kým sa oneskorenie generované obvodom nezhoduje s cieľovou hodnotou a kým sa nenastaví tolerancia na zastavenie procesu kalibrácie. V prípade CD diskov necitlivých na orientáciu sú do procesu kalibrácie zapojené dve zariadenia RRAM, G1 a G3. Tento obvod má dva vstupy, Vin0 a Vin1, oneskorené o dt. Obvod by mal reagovať len na oneskorenia pod rozsahom prispôsobenia [0,dtCD]. Ak nie je výstupný vrchol, ale vstupný vrchol je blízko, obe zariadenia RRAM by sa mali posilniť, aby neurón dosiahol prah. Naopak, ak obvod reaguje na oneskorenie, ktoré presahuje cieľový rozsah dtCD, vodivosť sa musí znížiť. Opakujte postup, kým nedosiahnete správne správanie. Prúd zhody môže byť modulovaný vstavaným analógovým obvodom v ref. 72,73. S týmto vstavaným obvodom je možné pravidelne vykonávať takéto postupy na kalibráciu systému alebo jeho opätovné použitie pre inú aplikáciu.
Hodnotíme spotrebu energie nášho prístupu na spracovanie neuromorfného signálu na štandardnom 32-bitovom mikrokontroléri68. V tomto hodnotení predpokladáme prevádzku s rovnakým nastavením ako v tomto článku, s jedným vysielačom pMUT a dvoma prijímačmi pMUT. Táto metóda využíva pásmový filter, po ktorom nasleduje krok extrakcie obálky (Teeger-Kaiser) a nakoniec sa na signál aplikuje operácia prahovania na extrakciu času letu. Výpočet ITD a jeho prevod na uhly detekcie sú pri hodnotení vynechané. Uvažujeme o implementácii pásmového filtra s použitím filtra s nekonečnou impulznou odozvou 4. rádu vyžadujúceho 18 operácií s pohyblivou rádovou čiarkou. Extrakcia obálky používa ďalšie tri operácie s pohyblivou rádovou čiarkou a posledná operácia sa používa na nastavenie prahu. Na predbežné spracovanie signálu je potrebných celkom 22 operácií s pohyblivou rádovou čiarkou. Vysielaný signál je krátky zhluk sínusového tvaru vlny 111,9 kHz generovaný každých 10 ms, čo vedie k prevádzkovej frekvencii polohovania 100 Hz. Použili sme vzorkovaciu frekvenciu 250 kHz, aby sme vyhoveli Nyquistovi a 6 ms okno pre každé meranie na zachytenie rozsahu 1 metra. Všimnite si, že 6 milisekúnd je čas letu objektu, ktorý je vzdialený 1 meter. To poskytuje spotrebu energie 180 µW pre A/D konverziu pri 0,5 MSPS. Predspracovanie signálu je 6,60 MIPS (inštrukcií za sekundu), generuje 0,75 mW. Avšak mikrokontrolér sa môže prepnúť do režimu 69 nízkej spotreby, keď algoritmus nebeží. Tento režim poskytuje statickú spotrebu energie 10,8 μW a čas budenia 113 μs. Pri hodinovej frekvencii 84 MHz mikrokontrolér dokončí všetky operácie neuromorfného algoritmu do 10 ms a algoritmus vypočíta pracovný cyklus 6,3 %, teda používa režim nízkej spotreby. Výsledný stratový výkon je 244,7 μW. Všimnite si, že vynechávame výstup ITD z ToF a prevod na uhol detekcie, čím podceňujeme spotrebu energie mikrokontroléra. To poskytuje dodatočnú hodnotu pre energetickú účinnosť navrhovaného systému. Ako ďalšiu podmienku porovnávania hodnotíme spotrebu energie klasických metód vytvárania lúčov navrhnutých v referencii. 31,54 pri zabudovaní do rovnakého mikrokontroléra68 pri napájacom napätí 1,8 V. Na získanie údajov na vytváranie lúčov sa používa päť rovnomerne rozmiestnených membrán pMUT. Čo sa týka samotného spracovania, použitá metóda vytvárania lúča je sumácia oneskorenia. Jednoducho pozostáva z aplikovania zdržania na jazdné pruhy, ktoré zodpovedá očakávanému rozdielu v časoch príchodu medzi jedným jazdným pruhom a referenčným pruhom. Ak sú signály vo fáze, súčet týchto signálov bude mať po časovom posune vysokú energiu. Ak sú mimo fázy, deštruktívne rušenie obmedzí energiu ich súčtu. vo vzťahu. Na obr. 31 je zvolená vzorkovacia frekvencia 2 MHz na časový posun dát o celý počet vzoriek. Skromnejším prístupom je udržiavať hrubšiu vzorkovaciu frekvenciu 250 kHz a použiť filter Finite Impulse Response (FIR) na syntetizovanie čiastkových oneskorení. Budeme predpokladať, že zložitosť algoritmu vytvárania lúča je určená hlavne časovým posunom, pretože každý kanál je konvolvovaný s FIR filtrom so 16 odbočkami v každom smere. Na výpočet počtu MIPS potrebných pre túto operáciu uvažujeme s oknom 6 ms na meranie na zachytenie rozsahu 1 metra, 5 kanálov, 11 smerov vytvárania lúča (rozsah +/- 50° v 10° krokoch). 75 meraní za sekundu posunulo mikrokontrolér na maximum 100 MIPS. Link. 68, čo má za následok stratový výkon 11,26 mW pre celkový stratový výkon 11,71 mW po pripočítaní príspevku ADC na doske.
Údaje podporujúce výsledky tejto štúdie sú na odôvodnenú žiadosť dostupné od príslušného autora, FM.
Indiveri, G. & Sandamirskaya, Y. Význam priestoru a času pre spracovanie signálu v neuromorfných agentoch: Výzva vývoja autonómnych agentov s nízkou spotrebou energie, ktoré interagujú s prostredím. Indiveri, G. & Sandamirskaya, Y. Význam priestoru a času pre spracovanie signálu v neuromorfných agentoch: Výzva vývoja autonómnych agentov s nízkou spotrebou energie, ktoré interagujú s prostredím.Indiveri G. a Sandamirskaya Y. Význam priestoru a času pre spracovanie signálu v neuromorfných agentoch: výzva vývoja autonómnych agentov s nízkou spotrebou energie interagujúcich s prostredím. Indiveri, G. & Sandamirskaya, Y.空间和时间对于神经形态代理中信号处理的重要性：开发与环境交互的低功耗、自主代理的挑战。 Indiveri, G. & Sandamirskaya, Y.Indiveri G. a Sandamirskaya Y. Význam priestoru a času pre spracovanie signálu v neuromorfných agentoch: výzva vývoja autonómnych agentov s nízkou spotrebou energie interagujúcich s prostredím.Spracovanie signálu IEEE. Časopis 36, 16–28 (2019).
Thorpe, SJ Peak Čas príchodu: Efektívna schéma kódovania neurónovej siete. v Eckmiller, R., Hartmann, G. & Hauske, G. (editori). v Eckmiller, R., Hartmann, G. & Hauske, G. (editori).v Eckmiller, R., Hartmann, G. a Hauske, G. (eds.).V Eckmiller, R., Hartmann, G. a Hauske, G. (eds.). Paralelné spracovanie v neurónových systémoch a počítačoch 91–94 (North-Holland Elsevier, 1990).
Komunikácia Levy, WB & Calvert, VG spotrebuje 35-krát viac energie ako výpočty v ľudskom kortexe, ale obe náklady sú potrebné na predpovedanie počtu synapsií. Komunikácia Levy, WB & Calvert, VG spotrebuje 35-krát viac energie ako výpočty v ľudskom kortexe, ale obe náklady sú potrebné na predpovedanie počtu synapsií.Komunikácia Levy, WB a Calvert, WG spotrebuje 35-krát viac energie ako výpočty v ľudskom kortexe, ale obe náklady sú potrebné na predpovedanie počtu synapsií. Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35 倍，但这两种成本都需要预测窇の预测透要预测透肂计算的35 Levy, WB & Calvert, VG CommunicationKomunikácia Levy, WB a Calvert, WG spotrebuje 35-krát viac energie ako výpočty v ľudskej kôre, ale obe náklady vyžadujú predpovedanie počtu synapsií.proces. Národná akadémia vied. veda. US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing.Dalgati, T., Vianello, E., DeSalvo, B. a Casas, J. Insect-inspired neuromorphic computing.Dalgati T., Vianello E., DeSalvo B. a Casas J. Neuromorfné výpočty inšpirované hmyzom. Aktuálne. Stanovisko. Veda o hmyzu. 30, 59 – 66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Smerom k špičkovej strojovej inteligencii s neuromorfnými počítačmi. Roy, K., Jaiswal, A. & Panda, P. Smerom k špičkovej strojovej inteligencii s neuromorfnými počítačmi. Roy, K., Jaiswal, A. & Panda, P. Towards Spike-Based Machine Intelligence with Neuromorphic Computing.Roy K, Jaiswal A a Panda P. Umelá inteligencia založená na impulzoch využívajúca neuromorfné výpočty. Príroda 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. a Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. a Liu, S.-K.Pamäť a spracovanie informácií v neuromorfných systémoch. proces. IEEE 103, 1379–1397 (2015).
Akopyan F. a kol. Truenorth: Návrh a súprava nástrojov pre 65 mW 1 milión neurónov programovateľný synaptický čip. IEEE transakcie. Počítačový návrh systémov integrovaných obvodov. 34, 1537 – 1557 (2015).
Schemmel, J. a kol. Živá ukážka: zmenšená verzia neuromorfného systému BrainScaleS v doskovej mierke. 2012 IEEE International Symposium on Circuits and Systems (ISCAS), (IEEE ed.) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Škálovateľná viacjadrová architektúra s heterogénnymi pamäťovými štruktúrami pre dynamické neuromorfné asynchrónne procesory (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Škálovateľná viacjadrová architektúra s heterogénnymi pamäťovými štruktúrami pre dynamické neuromorfné asynchrónne procesory (DYNAP).Moradi S., Qiao N., Stefanini F. a Indiviri G. Škálovateľná viacjadrová architektúra s heterogénnymi pamäťovými štruktúrami pre dynamické neuromorfné asynchrónne procesory (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G.的异构内存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Druh rozšíriteľnej viacjadrovej architektúry s jedinečnou štruktúrou pamäte pre dynamické neurónové spracovanie (DYNAP).Moradi S., Qiao N., Stefanini F. a Indiviri G. Škálovateľná viacjadrová architektúra s heterogénnymi pamäťovými štruktúrami pre dynamické neuromorfné asynchrónne procesory (DYNAP).IEEE transakcie v biomedicínskej vede. elektrický systém. 12, 106 – 122 (2018).
Davis, M. a kol. Loihi: Neuromorfný viacjadrový procesor so zabudovaným učením. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA Projekt SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA Projekt SpiNNaker.Ferber SB, Galluppi F., Temple S. a projekt Plana LA SpiNNaker.Ferber SB, Galluppi F., Temple S. a projekt Plana LA SpiNNaker. proces. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Neuromorfné senzorické systémy. & Delbruck, T. Neuromorfné senzorické systémy.a Delbrück T. Neuromorfné senzorické systémy. & Delbruck, T. 神经形态感觉系统。 & Delbruck, T.a Delbrück T. Neuromorfný senzorický systém.Aktuálne. Stanovisko. Neurobiológia. 20, 288 – 295 (2010).
Chope, T. a kol. Neuromorfná senzorická integrácia pre kombinovanú lokalizáciu zdroja zvuku a predchádzanie kolíziám. V roku 2019 na konferencii IEEE o biomedicínskych obvodoch a systémoch (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Neuromorfná architektúra stereo videnia založená na hrotoch. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Neuromorfná architektúra stereo videnia založená na hrotoch.Risi N, Aymar A, Donati E, Solinas S a Indiveri G. Architektúra neuromorfnej stereovízie na báze hrotov. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S a Indiveri G. Neuromorfná architektúra založená na Spike pre stereo videnie.vpredu. Neurorobotika 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Špičkový model neurónovej siete 3D vnímania pre neuromorfné stereovízne systémy založené na udalostiach. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Špičkový model neurónovej siete 3D vnímania pre neuromorfné stereovízne systémy založené na udalostiach.Oswald, M., Ieng, S.-H., Benosman, R. a Indiveri, G. Model vnímania 3D pulznej neurónovej siete pre neuromorfné stereovízne systémy založené na udalostiach. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 基于事件的神经形态立体视觉系统的的3Dperception Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3D vnímanie 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R., a Indiveri, G. Model 3D vnímania neurónovej siete s ostrými hranami pre neuromorfný stereovízny systém založený na udalostiach.veda. Správa 7, 1–11 (2017).
Dalgaty, T. a kol. Základná detekcia pohybu inšpirovaná hmyzom zahŕňa odporovú pamäť a praskavé neurónové siete. Bionický biohybridný systém. 10928, 115–128 (2018).
D'Angelo, G. a kol. Detekcia excentrického pohybu založená na udalostiach pomocou časového diferenciálneho kódovania. vpredu. Neurológia. 14, 451 (2020).