Zprávy

Aplikace pro zpracování dat v reálném světě vyžadují kompaktní výpočetní systémy s nízkou latencí a nízkou spotřebou. Komplementární kov-oxid-polovodičové hybridní memristivní neuromorfní architektury s událostmi řízenými výpočetními schopnostmi poskytují ideální hardwarový základ pro takové úkoly. Abychom demonstrovali plný potenciál takových systémů, navrhujeme a experimentálně předvádíme komplexní řešení zpracování senzorů pro aplikace lokalizace objektů v reálném světě. Na základě inspirace z neuroanatomie sovy pálené jsme vyvinuli bioinspirovaný, událostmi řízený systém lokalizace objektů, který kombinuje nejmodernější piezoelektrický mikromechanický převodník s neuromorfní odporovou pamětí založenou na výpočetním grafu. Ukazujeme měření vyrobeného systému, který zahrnuje paměťový odporový koincidenční detektor, obvody zpožďovací linky a plně přizpůsobitelný ultrazvukový převodník. Tyto experimentální výsledky používáme ke kalibraci simulací na systémové úrovni. Tyto simulace jsou pak použity k vyhodnocení úhlového rozlišení a energetické účinnosti modelu lokalizace objektu. Výsledky ukazují, že náš přístup může být o několik řádů energeticky účinnější než mikrokontroléry provádějící stejný úkol.
Vstupujeme do éry všudypřítomné výpočetní techniky, kde počet nasazených zařízení a systémů exponenciálně roste, aby nám pomohly v našem každodenním životě. Očekává se, že tyto systémy poběží nepřetržitě, spotřebovávají co nejméně energie, zatímco se učí interpretovat data, která shromažďují z více senzorů v reálném čase, a produkovat binární výstup jako výsledek klasifikačních nebo rozpoznávacích úloh. Jedním z nejdůležitějších kroků potřebných k dosažení tohoto cíle je extrahování užitečných a kompaktních informací z hlučných a často neúplných senzorických dat. Konvenční inženýrské přístupy typicky vzorkují signály snímačů konstantní a vysokou rychlostí, což generuje velké množství dat i při absenci užitečných vstupů. Kromě toho tyto metody používají složité techniky digitálního zpracování signálu k předběžnému zpracování (často zašuměných) vstupních dat. Místo toho biologie nabízí alternativní řešení pro zpracování hlučných senzorických dat pomocí energeticky účinných, asynchronních, událostmi řízených přístupů (špičky)2,3. Neuromorfní výpočetní technika se inspiruje biologickými systémy, aby snížila výpočetní náklady z hlediska energetických a paměťových požadavků ve srovnání s tradičními metodami zpracování signálu4,5,6. Nedávno byly demonstrovány inovativní univerzální systémy založené na mozku implementující impulsní neuronové sítě (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Tyto procesory poskytují řešení s nízkou spotřebou a nízkou latencí pro strojové učení a modelování kortikálních obvodů. Aby bylo možné plně využít jejich energetickou účinnost, musí být tyto neuromorfní procesory přímo připojeny k senzorům řízeným událostmi12,13. Dnes však existuje jen několik dotykových zařízení, která přímo poskytují data řízená událostmi. Nápadnými příklady jsou dynamické vizuální senzory (DVS) pro zrakové aplikace, jako je sledování a detekce pohybu14,15,16,17 křemíková kochlea18 a neuromorfní sluchové senzory (NAS)19 pro zpracování sluchového signálu, čichové senzory20 a četné příklady21,22 dotyku. . texturové senzory.
V tomto článku představujeme nově vyvinutý událostmi řízený systém zpracování zvuku aplikovaný na lokalizaci objektů. Zde poprvé popisujeme end-to-end systém pro lokalizaci objektů získaný spojením nejmodernějšího piezoelektrického mikroobrobeného ultrazvukového měniče (pMUT) s výpočtovým grafem založeným na neuromorfní odporové paměti (RRAM). In-memory výpočetní architektury využívající RRAM jsou slibným řešením pro snížení spotřeby energie23,24,25,26,27,28,29. Jejich inherentní stálost – nevyžadující aktivní spotřebu energie k ukládání nebo aktualizaci informací – dokonale zapadá do asynchronní, událostmi řízené povahy neuromorfních výpočtů, což vede k téměř žádné spotřebě energie, když je systém nečinný. Piezoelektrické mikroobrobené ultrazvukové převodníky (pMUT) jsou levné miniaturizované ultrazvukové převodníky na bázi křemíku schopné fungovat jako vysílače a přijímače30,31,32,33,34. Pro zpracování signálů přijatých vestavěnými senzory jsme čerpali inspiraci z neuroanatomie sovy pálené35,36,37. Sova pálená Tyto alba je známá svými pozoruhodnými schopnostmi nočního lovu díky velmi účinnému sluchovému lokalizačnímu systému. Pro výpočet polohy kořisti zakóduje lokalizační systém sovy pálené čas letu (ToF), kdy zvukové vlny z kořisti dosáhnou každého z uší sovy nebo zvukových receptorů. Vzhledem ke vzdálenosti mezi ušima umožňuje rozdíl mezi dvěma měřeními ToF (Interaural Time Difference, ITD) analyticky vypočítat azimutovou polohu cíle. Přestože biologické systémy nejsou vhodné pro řešení algebraických rovnic, mohou velmi efektivně řešit lokalizační problémy. Nervový systém sovy pálené používá sadu neuronů detektoru koincidencí (CD)35 (tj. neuronů schopných detekovat časové korelace mezi hroty, které se šíří dolů ke konvergentním excitačním zakončením)38,39 organizovaných do výpočetních grafů k řešení problémů s polohou.
Předchozí výzkum ukázal, že doplňkový metal-oxide-semiconductor (CMOS) hardware a neuromorfní hardware založený na RRAM inspirovaný inferior colliculus („sluchový kortex“) sovy pálené jsou účinnou metodou pro výpočet polohy pomocí ITD13, 40, 41, 42, 43, 44, 45, 46. Potenciál úplných neuromorfních systémů, které spojují sluchové podněty s neuromorfními výpočtovými grafy, však musí být ještě prokázán. Hlavním problémem je inherentní variabilita analogových CMOS obvodů, která ovlivňuje přesnost detekce shody. Nedávno byly demonstrovány alternativní numerické implementace odhadů ITD47. V tomto článku navrhujeme využít schopnost RRAM měnit hodnotu vodivosti nevolatilním způsobem, aby se vyrovnala variabilita v analogových obvodech. Implementovali jsme experimentální systém skládající se z jedné vysílací membrány pMUT pracující na frekvenci 111,9 kHz, dvou pMUT přijímacích membrán (senzorů) simulujících uši sovy pálené a jedné . Experimentálně jsme charakterizovali detekční systém pMUT a výpočetní graf ITD založený na RRAM, abychom otestovali náš lokalizační systém a vyhodnotili jeho úhlové rozlišení.
Porovnáváme naši metodu s digitální implementací na mikrokontroléru provádějící stejný úkol lokalizace pomocí konvenčních metod tvarování paprsku nebo neuromorfních metod, stejně jako pole programovatelného hradlového pole (FPGA) pro odhad ITD navržené v odkazu. 47. Toto srovnání zdůrazňuje konkurenční energetickou účinnost navrhovaného analogového neuromorfního systému založeného na RRAM.
Jeden z nejvýraznějších příkladů přesného a efektivního systému lokalizace objektů lze nalézt v sově pálené35,37,48. Za soumraku a svítání sova pálená (Tyto Alba) spoléhá především na pasivní naslouchání, aktivní vyhledávání malé kořisti, jako jsou hraboši nebo myši. Tito sluchoví experti dokážou lokalizovat sluchové signály od kořisti s ohromující přesností (asi 2°)35, jak ukazuje obr. 1a. Sovy pálené odvozují umístění zdrojů zvuku v azimutální (horizontální) rovině z rozdílu v příchozím čase letu (ITD) od zdroje zvuku ke dvěma uším. Výpočtový mechanismus ITD navrhl Jeffress49,50, který se opírá o neurální geometrii a vyžaduje dvě klíčové komponenty: axon, nervové vlákno neuronu fungující jako zpožďovací čára a řadu neuronů s detektorem koincidencí organizovaných do výpočetního systému. graf, jak je znázorněno na obrázku 1b. Zvuk se dostane do ucha s časovým zpožděním závislým na azimutu (ITD). Zvuk je pak převeden do vzoru bodců v každém uchu. Axony levého a pravého ucha fungují jako zpožďovací čáry a sbíhají se na CD neuronech. Teoreticky pouze jeden neuron v poli spárovaných neuronů obdrží vstup najednou (kde se zpoždění přesně ruší) a vystřelí maximálně (sousední buňky budou také pálit, ale s nižší frekvencí). Aktivace určitých neuronů zakóduje polohu cíle v prostoru bez dalšího převádění ITD na úhly. Tento koncept je shrnut na obrázku 1c: pokud například zvuk přichází z pravé strany, když vstupní signál z pravého ucha prochází delší dráhou než dráha z levého ucha, kompenzuje se například počet ITD, když se neuron 2 shoduje. Jinými slovy, každé CD reaguje na určité ITD (také známé jako optimální zpoždění) v důsledku axonálního zpoždění. Mozek tedy převádí časové informace na prostorové informace. Byly nalezeny anatomické důkazy pro tento mechanismus37,51. Fázově uzamčené makronukleové neurony uchovávají časové informace o příchozích zvucích: jak jejich název napovídá, vystřelují v určitých fázích signálu. V laminárním jádru lze nalézt koincidenční detektorové neurony Jeffressova modelu. Přijímají informace z makronukleárních neuronů, jejichž axony fungují jako zpožďovací čáry. Velikost zpoždění poskytovaná zpožďovací linií lze vysvětlit délkou axonu, stejně jako dalším myelinizačním vzorem, který mění rychlost vedení. Inspirováni sluchovým ústrojím sovy pálené jsme vyvinuli biomimetický systém pro lokalizaci objektů. Dvě uši jsou reprezentovány dvěma pMUT přijímači. Zdrojem zvuku je vysílač pMUT umístěný mezi nimi (obr. 1a) a výpočetní graf je tvořen mřížkou obvodů CD na bázi RRAM (obr. 1b, zelená), které hrají roli neuronů CD, jejichž vstupy jsou zpožděné. přes obvod působí zpožďovací čáry (modré) jako axony v biologickém protějšku. Navržený senzorický systém se liší pracovní frekvencí od sovy, jejíž sluchové ústrojí pracuje v rozsahu 1–8 kHz, ale v této práci jsou použity senzory pMUT pracující na frekvenci asi 117 kHz. Výběr ultrazvukového měniče se posuzuje podle technických a optimalizačních kritérií. Za prvé, omezení přijímané šířky pásma na jednu frekvenci v ideálním případě zlepšuje přesnost měření a zjednodušuje krok následného zpracování. Provoz v ultrazvuku má navíc tu výhodu, že emitované pulsy nejsou slyšitelné, tudíž neruší lidi, protože jejich sluchový rozsah je ~20-20 kHz.
sova pálená přijímá zvukové vlny od cíle, v tomto případě pohybující se kořisti. Doba letu (ToF) zvukové vlny je pro každé ucho jiná (pokud se kořist nenachází přímo před sovou). Tečkovaná čára ukazuje cestu, kterou zvukové vlny urazí, aby dosáhly uší sovy pálené. Kořist lze přesně lokalizovat v horizontální rovině na základě délkového rozdílu mezi dvěma akustickými cestami a odpovídajícího interaurálního časového rozdílu (ITD) (levý obrázek inspirovaný ref. 74, copyright 2002, Society for Neuroscience). V našem systému vysílač pMUT (tmavě modrý) generuje zvukové vlny, které se odrážejí od cíle. Odražené ultrazvukové vlny jsou přijímány dvěma pMUT přijímači (světle zelená) a zpracovávány neuromorfním procesorem (vpravo). b Výpočtový model ITD (Jeffress) popisující, jak jsou zvuky vstupující do uší sovy pálené nejprve zakódovány jako hroty s fázovým závěsem ve velkém jádře (NM) a poté pomocí geometricky uspořádané sítě odpovídajících detektorových neuronů v lamelárním jádře. Zpracování (Nizozemsko) (vlevo). Ilustrace výpočetního grafu neuroITD kombinující zpožďovací čáry a neurony detektoru koincidencí, systém biosenzorů sovy lze modelovat pomocí neuromorfních obvodů založených na RRAM (vpravo). c Schéma hlavního Jeffressova mechanismu, díky rozdílu v ToF přijímají dvě uši zvukové podněty v různých časech a vysílají axony z obou konců do detektoru. Axony jsou součástí řady neuronů s detektorem koincidencí (CD), z nichž každý selektivně reaguje na silně časově korelované vstupy. V důsledku toho jsou maximálně vybuzeny pouze CD, jejichž vstupy přicházejí s nejmenším časovým rozdílem (ITD je přesně kompenzováno). CD pak zakóduje úhlovou polohu cíle.
Piezoelektrické mikromechanické ultrazvukové převodníky jsou škálovatelné ultrazvukové převodníky, které lze integrovat s pokročilou technologií CMOS31,32,33,52 a mají nižší počáteční napětí a spotřebu energie než tradiční objemové převodníky53. V naší práci je průměr membrány 880 µm a rezonanční frekvence je distribuována v rozsahu 110–117 kHz (obr. 2a, podrobnosti viz Metody). V šarži deseti testovacích zařízení byl průměrný faktor kvality asi 50 (ref. 31). Technologie dosáhla průmyslové vyspělosti a sama o sobě není bioinspirována. Kombinování informací z různých filmů pMUT je dobře známá technika a informace o úhlu lze získat z pMUT pomocí například technik formování paprsku31,54. Zpracování signálu požadované pro extrakci informace o úhlu však není vhodné pro měření nízké spotřeby. Navrhovaný systém kombinuje neuromorfní obvod pro předběžné zpracování dat pMUT s neuromorfním výpočetním grafem založeným na RRAM inspirovaným Jeffressovým modelem (obrázek 2c), čímž poskytuje alternativní energeticky účinné hardwarové řešení s omezenými zdroji. Provedli jsme experiment, ve kterém byly dva senzory pMUT umístěny přibližně 10 cm od sebe, aby se využily různé zvuky ToF přijímané dvěma přijímacími membránami. Jeden pMUT fungující jako vysílač je umístěn mezi přijímači. Cílem byla PVC deska o šířce 12 cm, umístěná ve vzdálenosti D před zařízením pMUT (obr. 2b). Přijímač zaznamenává zvuk odražený od předmětu a při průchodu zvukové vlny co nejvíce reaguje. Opakujte pokus se změnou polohy objektu, určeného vzdáleností D a úhlem θ. Inspirováno odkazem. 55, navrhujeme neuromorfní předběžné zpracování nezpracovaných signálů pMUT pro převod odražených vln na vrcholy pro vstup neuromorfního výpočetního grafu. ToF odpovídající amplitudě píku je extrahováno z každého ze dvou kanálů a zakódováno jako přesné časování jednotlivých píků. Na Obr. 2c ukazuje obvody potřebné k propojení senzoru pMUT s výpočetním grafem založeným na RRAM: pro každý ze dvou pMUT přijímačů je surový signál filtrován pásmovou propustí, aby se vyhladil, usměrnil a poté se v režimu překonání předá netěsnému integrátoru. dynamický práh (obr. 2d) vytváří výstupní událost (spike) a vystřelovací (LIF) neuron: výstupní čas špičky kóduje detekovanou dobu letu. Práh LIF je kalibrován proti odpovědi pMUT, čímž se snižuje variabilita pMUT mezi jednotlivými zařízeními. S tímto přístupem místo uložení celé zvukové vlny do paměti a jejího pozdějšího zpracování jednoduše vygenerujeme vrchol odpovídající ToF zvukové vlny, který tvoří vstup do výpočetního grafu odporové paměti. Špičky jsou posílány přímo do zpožďovacích linek a paralelizovány s moduly detekce shody v neuromorfních výpočetních grafech. Protože jsou posílány do hradel tranzistorů, nejsou potřeba žádné další zesilovací obvody (podrobnosti viz doplňkový obr. 4). Abychom vyhodnotili úhlovou přesnost lokalizace poskytovanou pMUT a navrhovanou metodou zpracování signálu, měřili jsme ITD (tj. časový rozdíl mezi špičkovými událostmi generovanými dvěma přijímači), jak se měnila vzdálenost a úhel objektu. Analýza ITD byla poté převedena na úhly (viz Metody) a vynesena proti poloze objektu: nejistota v měřeném ITD se zvyšovala se vzdáleností a úhlem k objektu (obr. 2e,f). Hlavním problémem je poměr špiček k šumu (PNR) v odezvě pMUT. Čím je objekt vzdálenější, tím je akustický signál nižší, čímž se snižuje PNR (obr. 2f, zelená čára). Snížení PNR vede ke zvýšení nejistoty v odhadu ITD, což má za následek zvýšení přesnosti lokalizace (obr. 2f, modrá čára). Pro objekt ve vzdálenosti 50 cm od vysílače je úhlová přesnost systému přibližně 10°. Toto omezení dané charakteristikami snímače lze zlepšit. Například lze zvýšit tlak vysílaný emitorem, čímž se zvýší napětí pohánějící membránu pMUT. Dalším řešením pro zesílení přenášeného signálu je připojení více vysílačů 56. Tato řešení zvýší dosah detekce na úkor zvýšených nákladů na energii. Další vylepšení lze provést na přijímací straně. Spodní hlučnost přijímače pMUT lze výrazně snížit zlepšením spojení mezi pMUT a prvním stupněm zesilovače, což se v současnosti provádí pomocí drátových připojení a kabelů RJ45.
Obrázek krystalu pMUT se šesti 880 µm membránami integrovanými s roztečí 1,5 mm. b Schéma nastavení měření. Cíl je umístěn v azimutální poloze θ a ve vzdálenosti D. Vysílač pMUT generuje signál 117,6 kHz, který se odrazí od cíle a dosáhne dvou pMUT přijímačů s různou dobou letu (ToF). Tento rozdíl, definovaný jako interaurální časový rozdíl (ITD), kóduje polohu objektu a lze jej odhadnout odhadem špičkové odezvy dvou přijímacích senzorů. c Schéma kroků předběžného zpracování pro převod surového signálu pMUT na sekvence špiček (tj. vstup do grafu neuromorfního výpočtu). Senzory pMUT a neuromorfní výpočtové grafy byly vyrobeny a testovány a neuromorfní předběžné zpracování je založeno na softwarové simulaci. d Odezva membrány pMUT po přijetí signálu a jeho transformace na spike doménu. e Experimentální úhlová přesnost lokalizace jako funkce úhlu objektu (Θ) a vzdálenosti (D) k cílovému objektu. Metoda extrakce ITD vyžaduje minimální úhlové rozlišení přibližně 4 °C. f Úhlová přesnost (modrá čára) a odpovídající poměr špičky k šumu (zelená čára) versus vzdálenost objektu pro Θ = 0.
Odporová paměť ukládá informace v energeticky nezávislém stavu. Základním principem metody je, že modifikace materiálu na atomární úrovni způsobí změnu jeho elektrické vodivosti57. Zde používáme odporovou paměť na bázi oxidu sestávající z 5nm vrstvy oxidu hafničitého vložené mezi horní a spodní titanové a titannitridové elektrody. Vodivost zařízení RRAM lze změnit aplikací průběhu proudu/napěťového průběhu, který vytvoří nebo přeruší vodivá vlákna volných kyslíkových míst mezi elektrodami. Taková zařízení58 jsme kointegrovali do standardního 130 nm CMOS procesu, abychom vytvořili vyrobený rekonfigurovatelný neuromorfní obvod implementující koincidenční detektor a obvod zpožďovací linky (obr. 3a). Energeticky nezávislá a analogová povaha zařízení v kombinaci s událostmi řízeným charakterem neuromorfního obvodu minimalizuje spotřebu energie. Obvod má funkci okamžitého zapnutí/vypnutí: funguje okamžitě po zapnutí, což umožňuje úplné vypnutí napájení, když je obvod nečinný. Hlavní stavební kameny navrhovaného schématu jsou znázorněny na Obr. 3b. Skládá se z N paralelních jednorezistorových jednotranzistorových (1T1R) struktur, které kódují synaptické váhy, z nichž jsou odebírány vážené proudy, injektovány do společné synapse diferenciálního párového integrátoru (DPI)59 a nakonec injektovány do synapse s integrací a únik. aktivovaný (LIF) neuron 60 (podrobnosti viz Metody). Vstupní rázy jsou aplikovány na hradlo struktury 1T1R ve formě sekvence napěťových impulsů s délkou trvání v řádu stovek nanosekund. Odporovou paměť lze uvést do stavu vysoké vodivosti (HCS) přivedením externí kladné reference na Vtop, když je Vbottom uzemněn, a resetovat do stavu nízké vodivosti (LCS) přivedením kladného napětí na Vbottom, když je Vtop uzemněn. Průměrná hodnota HCS může být řízena omezením programovacího proudu (shody) SET (ICC) hradlovým napětím sériového tranzistoru (obr. 3c). Funkce RRAM v obvodu jsou dvojí: řídí a váží vstupní impulsy.
Snímek modrého zařízení HfO2 1T1R RRAM integrovaného v technologii 130 nm CMOS se selektorovými tranzistory (šířka 650 nm) v zelené barvě ze skenovacího elektronového mikroskopu (SEM). b Základní stavební kameny navrženého neuromorfního schématu. Impulsy vstupního napětí (špičky) Vin0 a Vin1 spotřebovávají proud Iweight, který je úměrný stavům vodivosti G0 a G1 struktury 1T1R. Tento proud je injektován do DPI synapsí a excituje LIF neurony. RRAM G0 a G1 jsou instalovány v HCS a LCS. c Funkce kumulativní hustoty vodivosti pro skupinu zařízení 16K RRAM jako funkce přizpůsobení proudu ICC, které účinně řídí úroveň vodivosti. d Měření obvodu v (a) ukazující, že G1 (v LCS) účinně blokuje vstup z Vin1 (zelený) a skutečně membránové napětí výstupního neuronu reaguje pouze na modrý vstup z Vin0. RRAM efektivně určuje spojení v obvodu. e Měření obvodu v (b) ukazující vliv hodnoty vodivosti G0 na membránové napětí Vmem po přivedení napěťového impulsu Vin0. Čím větší vodivost, tím silnější je odezva: zařízení RRAM tedy implementuje vážení I/O připojení. Na obvodu byla provedena měření a demonstrují dvojí funkci RRAM, směrování a vážení vstupních impulsů.
Za prvé, protože existují dva základní stavy vodivosti (HCS a LCS), RRAM mohou blokovat nebo vynechávat vstupní impulsy, když jsou ve stavech LCS nebo HCS. V důsledku toho RRAM efektivně určuje spojení v obvodu. To je základ pro možnost překonfigurovat architekturu. Abychom to demonstrovali, popíšeme vyrobenou obvodovou implementaci bloku obvodu na obr. 3b. RRAM odpovídající G0 je naprogramována do HCS a druhá RRAM G1 je naprogramována do LCS. Vstupní impulsy jsou aplikovány na Vin0 i Vin1. Účinky dvou sekvencí vstupních pulzů byly analyzovány ve výstupních neuronech sběrem napětí neuronové membrány a výstupního signálu pomocí osciloskopu. Experiment byl úspěšný, když bylo k pulzu neuronu připojeno pouze zařízení HCS (G0), které stimulovalo membránové napětí. To je ukázáno na obrázku 3d, kde modrý sled pulsů způsobuje nárůst membránového napětí na membránovém kondenzátoru, zatímco zelený sled pulsů udržuje membránové napětí konstantní.
Druhou důležitou funkcí RRAM je implementace vah spojení. Pomocí nastavení analogové vodivosti RRAM lze odpovídajícím způsobem zvážit I/O připojení. Ve druhém experimentu bylo zařízení G0 naprogramováno na různé úrovně HCS a vstupní impuls byl přiveden na vstup VIn0. Vstupní impuls odebírá ze zařízení proud (Iweight), který je úměrný vodivosti a odpovídajícímu poklesu potenciálu Vtop − Vbot. Tento vážený proud je pak injektován do DPI synapsí a LIF výstupních neuronů. Membránové napětí výstupních neuronů bylo zaznamenáno pomocí osciloskopu a zobrazeno na obr. 3d. Napěťový vrchol membrány neuronu v reakci na jediný vstupní impuls je úměrný vodivosti odporové paměti, což dokazuje, že RRAM lze použít jako programovatelný prvek synaptické váhy. Tyto dva předběžné testy ukazují, že navrhovaná neuromorfní platforma založená na RRAM je schopna implementovat základní prvky základního Jeffressova mechanismu, jmenovitě zpožďovací linku a obvod detektoru koincidencí. Platforma obvodu je postavena naskládáním po sobě jdoucích bloků vedle sebe, jako jsou bloky na obrázku 3b, a připojením jejich hradel ke společné vstupní lince. Navrhli jsme, vyrobili a otestovali neuromorfní platformu sestávající ze dvou výstupních neuronů přijímajících dva vstupy (obr. 4a). Schéma zapojení je na obrázku 4b. Horní matice 2 × 2 RRAM umožňuje nasměrování vstupních pulzů na dva výstupní neurony, zatímco spodní matice 2 × 2 umožňuje opakované spojení dvou neuronů (N0, N1). Ukazujeme, že tuto platformu lze použít s konfigurací zpožďovací linky a dvěma různými funkcemi koincidenčního detektoru, jak ukazují experimentální měření na obr. 4c-e.
Schéma obvodu tvořené dvěma výstupními neurony N0 a N1 přijímajícími dva vstupy 0 a 1. Čtyři horní zařízení pole definují synaptická spojení od vstupu k výstupu a spodní čtyři buňky definují opakující se spojení mezi neurony. Barevné RRAM představují zařízení nakonfigurovaná v HCS vpravo: zařízení v HCS umožňují připojení a představují váhy, zatímco zařízení v LCS blokují vstupní impulsy a zakazují připojení k výstupům. b Schéma obvodu (a) s osmi moduly RRAM zvýrazněnými modře. c Zpožděné čáry jsou tvořeny jednoduchým využitím dynamiky DPI synapsí a LIF neuronů. Zelená RRAM je nastavena na dostatečně vysokou vodivost, aby mohla vyvolat poruchu na výstupu po vstupním zpoždění Δt. d Schematické znázornění směrově necitlivé CD detekce časově závislých signálů. Výstupní neuron 1, N1, se spustí na vstupech 0 a 1 s krátkým zpožděním. e Směrově citlivý obvod CD, obvod, který detekuje, když se vstup 1 blíží vstupu 0 a přichází po vstupu 0. Výstup obvodu je reprezentován neuronem 1 (N1).
Zpožďovací linka (obrázek 4c) jednoduše využívá dynamické chování DPI synapsí a LIF neuronů k reprodukci vstupní špičky z Vin1 na Vout1 zpožděním Tdel. Pouze G3 RRAM připojené k Vin1 a Vout1 jsou naprogramovány v HCS, zbytek RRAM je naprogramován v LCS. Zařízení G3 bylo naprogramováno na 92,6 µs, aby se zajistilo, že každý vstupní impuls zvýší membránové napětí výstupního neuronu dostatečně na dosažení prahové hodnoty a vygeneruje zpožděný výstupní impuls. Zpoždění Tdel je určeno synaptickou a neurální časovou konstantou. Koincidenční detektory detekují výskyt časově korelovaných, ale prostorově rozložených vstupních signálů. CD necitlivé na směr spoléhá na to, že jednotlivé vstupy konvergují ke společnému výstupnímu neuronu (obrázek 4d). Dvě paměti RRAM spojující Vin0 a Vin1 s Vout1, G2 a G4 jsou naprogramovány pro vysokou vodivost. Současný příchod špiček na Vin0 a Vin1 zvyšuje napětí membrány neuronu N1 nad prahovou hodnotu potřebnou pro generování výstupní špičky. Pokud jsou oba vstupy příliš časově od sebe, může mít náboj na membránovém napětí nashromážděný prvním vstupem čas doznít, čímž se zabrání membránovému potenciálu N1 v dosažení prahové hodnoty. G1 a G2 jsou naprogramovány na přibližně 65 µs, což zajišťuje, že jediný vstupní ráz nezvýší napětí membrány natolik, aby způsobil ráz na výstupu. Detekce koincidence mezi událostmi distribuovanými v prostoru a čase je základní operací používanou v široké škále snímacích úloh, jako je vyhýbání se překážkám na základě optického toku a lokalizace zdroje zvuku. Proto je výpočet směrově citlivých a necitlivých CD základním stavebním kamenem pro konstrukci vizuálních a zvukových lokalizačních systémů. Jak ukazují charakteristiky časových konstant (viz doplňkový obr. 2), navrhovaný obvod implementuje vhodný rozsah čtyř řádů časových měřítek. Může tak současně splňovat požadavky vizuálních a zvukových systémů. Směrově citlivý CD je obvod, který je citlivý na prostorové pořadí příchodu impulsů: zprava doleva a naopak. Jedná se o základní stavební blok v základní síti detekce pohybu vizuálního systému Drosophila, který se používá k výpočtu směrů pohybu a detekci kolizí62. Pro dosažení směrově citlivého CD musí být dva vstupy nasměrovány na dva různé neurony (N0, N1) a musí být mezi nimi vytvořeno směrové spojení (obr. 4e). Když je přijat první vstup, NO reaguje zvýšením napětí na membráně nad prahovou hodnotu a vyšle ráz. Tato výstupní událost zase spustí N1 díky zeleně zvýrazněnému směrovému zapojení. Pokud přijde vstupní událost Vin1 a nabudí N1, zatímco napětí na membráně je stále vysoké, N1 vygeneruje výstupní událost, která indikuje, že byla nalezena shoda mezi dvěma vstupy. Směrové připojení umožňuje N1 vysílat výstup pouze v případě, že vstup 1 přichází po vstupu 0. G0, G3 a G7 jsou naprogramovány na 73,5 µS, 67,3 µS a 40,2 µS, v tomto pořadí, což zajišťuje, že jediný hrot na vstupu Vin0 způsobí zpoždění výstupní špička, zatímco membránový potenciál N1 dosáhne prahové hodnoty pouze tehdy, když oba vstupní impulzy dorazí synchronizovaně. .
Variabilita je zdrojem nedokonalostí v modelovaných neuromorfních systémech63,64,65. To vede k heterogennímu chování neuronů a synapsí. Příklady takových nevýhod zahrnují 30% (střední směrodatnou odchylku) variabilitu vstupního zisku, časové konstanty a refrakterní periody, abychom jmenovali alespoň některé (viz Metody). Tento problém je ještě výraznější, když je spojeno více nervových okruhů, jako je CD citlivé na orientaci sestávající ze dvou neuronů. Aby to fungovalo správně, měly by být časové konstanty zisku a rozpadu dvou neuronů co nejvíce podobné. Například velký rozdíl ve vstupním zisku může způsobit, že jeden neuron bude reagovat na vstupní impuls přehnaně, zatímco druhý neuron téměř nereaguje. Na Obr. Obrázek 5a ukazuje, že náhodně vybrané neurony reagují odlišně na stejný vstupní impuls. Tato neurální variabilita je relevantní například pro funkci směrově citlivých CD. Ve schématu na Obr. 5b, c, vstupní zisk neuronu 1 je mnohem vyšší než zisk neuronu 0. Neuron 0 tedy vyžaduje tři vstupní impulsy (místo 1) k dosažení prahové hodnoty a neuron 1, jak se očekává, potřebuje dvě vstupní události. Implementace časově závislé biomimetické plasticity na špičce (STDP) je možným způsobem, jak zmírnit dopad nepřesných a pomalých nervových a synaptických obvodů na výkon systému43. Zde navrhujeme použít plastické chování odporové paměti jako prostředek k ovlivnění posílení neurálního vstupu a snížení efektů variability v neuromorfních obvodech. Jak je znázorněno na Obr. 4e, úrovně vodivosti spojené se synaptickou hmotou RRAM účinně modulovaly odpovídající napěťovou odezvu neurální membrány. Používáme iterativní programovací strategii RRAM. Pro daný vstup jsou hodnoty vodivosti synaptických vah přeprogramovány, dokud není dosaženo cílového chování obvodu (viz Metody).
a Experimentální měření odezvy devíti náhodně vybraných jednotlivých neuronů na stejný vstupní impuls. Odezva se v různých populacích liší a ovlivňuje vstupní zisk a časovou konstantu. b Experimentální měření vlivu neuronů na variabilitu neuronů ovlivňujících směrově citlivou CD. Dva směrově citlivé výstupní neurony CD reagují odlišně na vstupní podněty v důsledku variability mezi neurony. Neuron 0 má nižší vstupní zisk než neuron 1, takže k vytvoření výstupní špičky jsou zapotřebí tři vstupní impulzy (místo 1). Jak se očekávalo, neuron 1 dosáhne prahové hodnoty dvěma vstupními událostmi. Pokud vstup 1 dorazí Δt = 50 µs po odpálení neuronu 0, CD zůstane tiché, protože Δt je větší než časová konstanta neuronu 1 (asi 22 µs). c je sníženo o Δt = 20 µs, takže vstup 1 vrcholí, když je spouštění neuronu 1 stále vysoké, což vede k současné detekci dvou vstupních událostí.
Dva prvky použité ve sloupci výpočtu ITD jsou zpožďovací linka a směrově necitlivé CD. Oba obvody vyžadují přesnou kalibraci, aby se zajistilo dobré polohování objektu. Zpožďovací linka musí poskytovat přesně zpožděnou verzi vstupní špičky (obr. 6a) a CD musí být aktivováno pouze tehdy, když vstup spadá do cílového detekčního rozsahu. Pro zpožďovací linku byly synaptické váhy vstupních spojení (G3 na obr. 4a) přeprogramovány, dokud nebylo dosaženo cílového zpoždění. Nastavte toleranci kolem cílového zpoždění pro zastavení programu: čím menší tolerance, tím obtížnější je úspěšně nastavit zpožďovací linku. Na Obr. Obrázek 6b ukazuje výsledky procesu kalibrace zpožďovacího vedení: je vidět, že navržené schéma může přesně poskytnout všechna zpoždění požadovaná v návrhovém schématu (od 10 do 300 μs). Maximální počet iterací kalibrace ovlivňuje kvalitu procesu kalibrace: 200 iterací může snížit chybu na méně než 5 %. Jedna kalibrační iterace odpovídá operaci nastavení/resetování buňky RRAM. Proces ladění je také zásadní pro zlepšení přesnosti detekce okamžitého uzavření CD modulu. Trvalo deset kalibračních iterací, než bylo dosaženo skutečné pozitivní míry (tj. míry událostí správně identifikovaných jako relevantní) nad 95 % (modrá čára na obrázku 6c). Proces ladění však neovlivnil falešně pozitivní události (tj. frekvenci událostí, které byly chybně označeny jako relevantní). Další metodou pozorovanou v biologických systémech pro překonání časových omezení rychle se aktivujících drah je redundance (to znamená, že k provedení dané funkce se používá mnoho kopií stejného objektu). Inspirováni biology66 jsme umístili několik CD obvodů do každého CD modulu mezi dvě zpožďovací linky, abychom snížili dopad falešných poplachů. Jak je znázorněno na Obr. 6c (zelená čára), umístění tří CD prvků do každého CD modulu může snížit četnost falešných poplachů na méně než 10–2.
a Vliv neuronální variability na obvody zpožďovací linky. b Obvody zpožďovací linky lze škálovat na velká zpoždění nastavením časových konstant odpovídajících neuronů LIF a synapsí DPI na velké hodnoty. Zvýšení počtu iterací kalibračního postupu RRAM umožnilo výrazně zlepšit přesnost cílového zpoždění: 200 iterací snížilo chybu na méně než 5 %. Jedna iterace odpovídá operaci SET/RESET na buňce RRAM. Každý CD modul v modelu c Jeffress může být implementován pomocí N paralelních CD prvků pro větší flexibilitu s ohledem na systémové poruchy. d Více iterací kalibrace RRAM zvyšuje skutečnou pozitivní četnost (modrá čára), zatímco četnost falešně pozitivních je nezávislá na počtu iterací (zelená čára). Umístěním více CD prvků paralelně se zabrání falešné detekci shody CD modulu.
Nyní vyhodnotíme výkon a spotřebu energie end-to-end integrovaného systému lokalizace objektů znázorněného na obrázku 2 pomocí měření akustických vlastností senzoru pMUT, CD a obvodů zpožďovací linky, které tvoří neuromorfní výpočetní graf. Jeffressův model (obr. 1a). U neuromorfního výpočetního grafu platí, že čím větší počet CD modulů, tím lepší úhlové rozlišení, ale také vyšší energie systému (obr. 7a). Kompromisu lze dosáhnout porovnáním přesnosti jednotlivých komponent (senzory pMUT, neurony a synaptické obvody) s přesností celého systému. Rozlišení zpožďovací linky je omezeno časovými konstantami simulovaných synapsí a neuronů, které v našem schématu přesahují 10 µs, což odpovídá úhlovému rozlišení 4° (viz Metody). Pokročilejší uzly s technologií CMOS umožní návrh neuronových a synaptických obvodů s nižšími časovými konstantami, což má za následek vyšší přesnost prvků zpožďovací linky. V našem systému je však přesnost omezena chybou pMUT v odhadu úhlové polohy, tj. 10° (modrá vodorovná čára na obr. 7a). Počet CD modulů jsme zafixovali na 40, což odpovídá úhlovému rozlišení asi 4°, tj. úhlové přesnosti výpočetního grafu (světle modrá vodorovná čára na obr. 7a). Na systémové úrovni to dává rozlišení 4° a přesnost 10° pro objekty umístěné 50 cm před senzorovým systémem. Tato hodnota je srovnatelná s neuromorfními systémy lokalizace zvuku uvedenými v čj. 67. Srovnání navrhovaného systému se stavem techniky lze nalézt v doplňkové tabulce 1. Přidání dalších pMUT, zvýšení úrovně akustického signálu a snížení elektronického šumu jsou možné způsoby, jak dále zlepšit přesnost lokalizace. ) se odhaduje na 9.7. nz. 55. Vzhledem k 40 jednotkám CD na výpočetním grafu odhadla simulace SPICE energii na operaci (tj. energii pro umístění objektu) na 21,6 nJ. Neuromorfní systém je aktivován pouze při příchodu vstupní události, tj. když akustická vlna dosáhne jakéhokoli pMUT přijímače a překročí práh detekce, jinak zůstává neaktivní. Tím se zabrání zbytečné spotřebě energie, když není k dispozici žádný vstupní signál. Vzhledem k frekvenci lokalizačních operací 100 Hz a aktivační periodě 300 µs na operaci (maximální možný ITD) je spotřeba energie neuromorfního výpočetního grafu 61,7 nW. S neuromorfním předzpracováním aplikovaným na každý přijímač pMUT dosahuje spotřeba energie celého systému 81,6 nW. Abychom porozuměli energetické účinnosti navrhovaného neuromorfního přístupu ve srovnání s konvenčním hardwarem, porovnali jsme toto číslo s energií potřebnou k provedení stejného úkolu na moderním nízkoenergetickém mikrokontroléru využívajícím buď neuromorfní nebo konvenční beamforming68 Skill. Neuromorfní přístup bere v úvahu fázi analogově-digitálního převodníku (ADC), po níž následuje pásmová propust a fáze extrakce obálky (metoda Teeger-Kaiser). Nakonec se provede operace prahu pro extrakci ToF. Vynechali jsme výpočet ITD na základě ToF a převod na odhadovanou úhlovou polohu, protože k tomu dochází jednou pro každé měření (viz Metody). Za předpokladu vzorkovací frekvence 250 kHz na obou kanálech (přijímače pMUT), 18 operací pásmového filtru, 3 operací extrakce obálky a 1 operace prahu na vzorek je celková spotřeba energie odhadnuta na 245 mikrowattů. Využívá režim nízké spotřeby mikrokontroléru69, který se zapne, když se neprovádějí algoritmy, což snižuje spotřebu energie na 10,8 µW. Spotřeba energie řešení zpracování signálu formování paprsku navržené v odkazu. 31, s 5 pMUT přijímači a 11 paprsky rovnoměrně rozmístěnými v rovině azimutu [-50°, +50°], je 11,71 mW (podrobnosti viz část Metody). Kromě toho uvádíme spotřebu energie kodéru časového rozdílu (TDE) na bázi FPGA47 odhadovanou na 1,5 mW jako náhradu za Jeffressův model pro lokalizaci objektů. Na základě těchto odhadů navrhovaný neuromorfní přístup snižuje spotřebu energie o pět řádů ve srovnání s mikrokontrolérem využívajícím klasické techniky tvarování paprsku pro operace lokalizace objektů. Přijetí neuromorfního přístupu ke zpracování signálu na klasickém mikrokontroléru snižuje spotřebu energie asi o dva řády. Efektivitu navrhovaného systému lze vysvětlit kombinací asynchronního analogového obvodu s odporovou pamětí schopného provádět výpočty v paměti a nedostatkem analogově-digitální konverze potřebné pro vnímání signálů.
a Úhlové rozlišení (modrá) a spotřeba energie (zelená) operace lokalizace v závislosti na počtu CD modulů. Tmavě modrý vodorovný pruh představuje úhlovou přesnost PMUT a světle modrý vodorovný pruh představuje úhlovou přesnost neuromorfního výpočetního grafu. b Spotřeba energie navrhovaného systému a srovnání se dvěma diskutovanými implementacemi mikrokontroléru a digitální implementací FPGA Time Difference Encoder (TDE)47.
Abychom minimalizovali spotřebu energie cílového lokalizačního systému, navrhli jsme, navrhli a implementovali účinný, událostmi řízený neuromorfní obvod založený na RRAM, který zpracovává informace o signálu generované vestavěnými senzory pro výpočet polohy cílového objektu v reálném čase. čas. . Zatímco tradiční metody zpracování nepřetržitě vzorkují detekované signály a provádějí výpočty k extrakci užitečných informací, navrhované neuromorfní řešení provádí výpočty asynchronně, jak přicházejí užitečné informace, čímž se maximalizuje energetická účinnost systému o pět řádů. Kromě toho zdůrazňujeme flexibilitu neuromorfních obvodů založených na RRAM. Schopnost paměti RRAM měnit vodivost netěkavým způsobem (plasticita) kompenzuje inherentní variabilitu synaptických a nervových obvodů analogového DPI s ultranízkým výkonem. Díky tomu je tento obvod založený na RRAM všestranný a výkonný. Naším cílem není extrahovat složité funkce nebo vzory ze signálů, ale lokalizovat objekty v reálném čase. Náš systém dokáže také efektivně komprimovat signál a případně jej odeslat k dalším krokům zpracování, aby bylo možné v případě potřeby přijímat složitější rozhodnutí. V kontextu lokalizačních aplikací může náš krok neuromorfního předběžného zpracování poskytnout informace o umístění objektů. Tyto informace lze využít například pro detekci pohybu nebo rozpoznávání gest. Zdůrazňujeme důležitost kombinace ultranízkopříkonových senzorů, jako jsou pMUT, s ultranízkopříkonovou elektronikou. K tomu byly klíčové neuromorfní přístupy, protože nás vedly k vývoji nových obvodových implementací biologicky inspirovaných výpočetních metod, jako je Jeffressův model. V kontextu aplikací senzorové fúze lze náš systém zkombinovat s několika různými senzory založenými na událostech pro získání přesnějších informací. I když sovy výborně nalézají kořist ve tmě, mají výborný zrak a před ulovením kořisti provádějí kombinované sluchové a zrakové vyhledávání70. Když konkrétní sluchový neuron vystřelí, sova obdrží informace, které potřebuje k tomu, aby určila, kterým směrem má zahájit vizuální pátrání, a zaměří tak svou pozornost na malou část vizuální scény. Pro vývoj budoucích autonomních agentů by měla být prozkoumána kombinace vizuálních senzorů (DVS kamera) a navrhovaného naslouchacího senzoru (založeného na pMUT).
Snímač pMUT je umístěn na desce plošných spojů se dvěma přijímači vzdálenými přibližně 10 cm a vysílač je umístěn mezi přijímači. V této práci je každá membrána suspendovaná bimorfní struktura sestávající ze dvou vrstev piezoelektrického nitridu hliníku (AlN) o tloušťce 800 nm vložených mezi tři vrstvy molybdenu (Mo) o tloušťce 200 nm a potažené vrstvou o tloušťce 200 nm. horní pasivační vrstva SiN, jak je popsáno v odkazu. 71. Vnitřní a vnější elektroda jsou aplikovány na spodní a horní vrstvu molybdenu, zatímco střední molybdenová elektroda je bez vzoru a používá se jako zem, výsledkem je membrána se čtyřmi páry elektrod.
Tato architektura umožňuje použití běžné deformace membrány, což má za následek zlepšenou citlivost vysílání a příjmu. Takový pMUT typicky vykazuje excitační citlivost 700 nm/V jako emitor, poskytující povrchový tlak 270 Pa/V. Jeden film pMUT jako přijímač vykazuje zkratovou citlivost 15 nA/Pa, která přímo souvisí s piezoelektrickým koeficientem AlN. Technická variabilita napětí ve vrstvě AlN vede ke změně rezonanční frekvence, kterou lze kompenzovat aplikací stejnosměrného předpětí na pMUT. DC citlivost byla měřena při 0,5 kHz/V. Pro akustickou charakterizaci se před pMUT používá mikrofon.
Pro měření echo pulzu jsme před pMUT umístili obdélníkovou desku o ploše asi 50 cm2, aby odrážela emitované zvukové vlny. Jak vzdálenost mezi deskami, tak úhel vzhledem k rovině pMUT jsou řízeny pomocí speciálních držáků. Zdroj napětí Tectronix CPX400DP předpíná tři membrány pMUT a ladí rezonanční frekvenci na 111,9 kHz31, zatímco vysílače jsou poháněny pulzním generátorem Tectronix AFG 3102 naladěným na rezonanční frekvenci (111,9 kHz) a pracovní cyklus 0,01. Proudy čtené ze čtyř výstupních portů každého přijímače pMUT jsou převedeny na napětí pomocí speciální architektury diferenciálního proudu a napětí a výsledné signály jsou digitalizovány systémem sběru dat Spektrum. Limit detekce byl charakterizován akvizicí signálu pMUT za různých podmínek: posunuli jsme reflektor na různé vzdálenosti [30, 40, 50, 60, 80, 100] cm a změnili úhel podpory pMUT ([0, 20, 40] o ) Obrázek 2b ukazuje časové rozlišení detekce ITD v závislosti na odpovídající úhlové poloze ve stupních.
Tento článek používá dva různé běžné obvody RRAM. První je pole 16 384 (16 000) zařízení (128 × 128 zařízení) v konfiguraci 1T1R s jedním tranzistorem a jedním rezistorem. Druhý čip je neuromorfní platforma znázorněná na obr. 4a. Buňka RRAM se skládá z 5 nm tlustého filmu HfO2 zapuštěného do svazku TiN/HfO2/Ti/TiN. Zásobník RRAM je integrován do back-of-line (BEOL) standardního 130nm CMOS procesu. Neuromorfní obvody založené na RRAM představují konstrukční výzvu pro plně analogové elektronické systémy, ve kterých zařízení RRAM koexistují s tradiční technologií CMOS. Zejména musí být načten stav vodivosti zařízení RRAM a použit jako funkční proměnná pro systém. Za tímto účelem byl navržen, vyroben a testován obvod, který čte proud ze zařízení, když je přijat vstupní impuls, a používá tento proud ke zvážení odezvy synapse diferenciálního párového integrátoru (DPI). Tento obvod je znázorněn na obrázku 3a, který představuje základní stavební kameny neuromorfní platformy na obrázku 4a. Vstupní impuls aktivuje bránu zařízení 1T1R a indukuje proud přes RRAM úměrný vodivosti zařízení G (Iweight = G(Vtop – Vx)). Invertující vstup obvodu operačního zesilovače (op-amp) má konstantní stejnosměrné předpětí Vtop. Záporná zpětná vazba operačního zesilovače poskytne Vx = Vtop poskytováním stejného proudu z M1. Aktuální hodnota Iweight získaná ze zařízení je vstříknuta do synapse DPI. Silnější proud povede k větší depolarizaci, takže vodivost RRAM efektivně implementuje synaptické váhy. Tento exponenciální synaptický proud je injektován přes membránový kondenzátor neuronů Leaky Integration and Excitation (LIF), kde je integrován jako napětí. Je-li prahové napětí membrány (spínací napětí invertoru) překonáno, aktivuje se výstupní část neuronu a vytváří výstupní špičku. Tento puls se vrátí a posune membránový kondenzátor neuronu k zemi, což způsobí jeho vybití. Tento obvod je pak doplněn expandérem pulzů (neznázorněno na obr. 3a), který tvaruje výstupní pulz neuronu LIF na cílovou šířku pulzu. V každé lince jsou také zabudovány multiplexory, které umožňují přivedení napětí na horní a spodní elektrodu zařízení RRAM.
Elektrické testování zahrnuje analýzu a záznam dynamického chování analogových obvodů, stejně jako programování a čtení zařízení RRAM. Oba kroky vyžadují speciální nástroje, které jsou všechny připojeny k desce senzoru současně. Přístup k zařízením RRAM v neuromorfních obvodech se provádí z externích nástrojů přes multiplexer (MUX). MUX odděluje buňku 1T1R od zbytku obvodu, ke kterému patří, což umožňuje číst a/nebo programovat zařízení. K programování a čtení zařízení RRAM se používá stroj Keithley 4200 SCS ve spojení s mikrokontrolérem Arduino: první pro přesné generování pulzů a čtení proudu a druhý pro rychlý přístup k jednotlivým prvkům 1T1R v paměťovém poli. První operací je vytvoření zařízení RRAM. Články jsou vybírány jeden po druhém a mezi horní a spodní elektrodu je aplikováno kladné napětí. Proud je v tomto případě omezen na řádově desítky mikroampérů kvůli přívodu odpovídajícího hradlového napětí do selektorového tranzistoru. Buňka RRAM pak může cyklovat mezi stavem nízké vodivosti (LCS) a stavem vysoké vodivosti (HCS) pomocí operací RESET a SET. Operace SET se provádí přivedením obdélníkového napěťového impulsu s dobou trvání 1 μs a špičkového napětí 2,0-2,5 V na horní elektrodu a synchronizačního impulsu podobného tvaru se špičkovým napětím 0,9-1,3 V na horní elektrodu. hradlo selektorového tranzistoru. Tyto hodnoty umožňují modulovat vodivost RRAM v intervalech 20-150 µs. Pro RESET je na spodní elektrodu (bitová linka) článku aplikován 1 µs široký, 3 V špičkový pulz, když je hradlové napětí v rozsahu 2,5-3,0 V. Vstupy a výstupy analogových obvodů jsou dynamické signály . Jako vstup jsme proložili dva pulzní generátory HP 8110 s generátory signálu Tektronix AFG3011. Vstupní impuls má šířku 1 µs a náběžnou/sestupnou hranu 50 ns. Předpokládá se, že tento typ impulsu je typickou závadou v analogových obvodech založených na závadě. Pokud jde o výstupní signál, výstupní signál byl zaznamenán pomocí osciloskopu Teledyne LeCroy 1 GHz. Ukázalo se, že rychlost získávání osciloskopu není omezujícím faktorem při analýze a získávání dat obvodu.
Použití dynamiky analogové elektroniky k simulaci chování neuronů a synapsí je elegantním a účinným řešením pro zlepšení výpočetní efektivity. Nevýhodou tohoto výpočetního podkladu je to, že se bude lišit schéma od schématu. Kvantifikovali jsme variabilitu neuronů a synaptických obvodů (doplňkový obr. 2a,b). Ze všech projevů variability mají na systémové úrovni největší dopad ty spojené s časovými konstantami a vstupním ziskem. Časová konstanta neuronu LIF a synapse DPI je určena RC obvodem, kde hodnota R je řízena předpětím přivedeným na bránu tranzistoru (Vlk pro neuron a Vtau pro synapsi), určující míra úniku. Vstupní zisk je definován jako špičkové napětí dosažené synaptickými a neuronovými membránovými kondenzátory stimulovanými vstupním impulsem. Vstupní zesílení je řízeno dalším tranzistorem předpětí, který moduluje vstupní proud. Byla provedena simulace Monte Carlo kalibrovaná na 130nm procesu ST Microelectronics, aby se shromáždily některé statistiky vstupního zisku a časové konstanty. Výsledky jsou uvedeny na doplňkovém obrázku 2, kde jsou vstupní zesílení a časová konstanta kvantifikovány jako funkce předpětí řídícího rychlost úniku. Zelené značky kvantifikují standardní odchylku časové konstanty od průměru. Jak neurony, tak synaptické obvody byly schopny vyjádřit široký rozsah časových konstant v rozsahu 10-5-10-2 s, jak je znázorněno na schématu doplňkového obr. Vstupní amplifikace (doplňkový obrázek 2e, d) variability neuronů a synapsí byla přibližně 8 % a 3 %. Takový nedostatek je dobře zdokumentován v literatuře: byla provedena různá měření na řadě čipů DYNAP, aby bylo možné posoudit nesoulad mezi populacemi neuronů LIF63. Byly měřeny synapse v čipu se smíšeným signálem BrainScale a analyzovány jejich nekonzistence a byl navržen kalibrační postup pro snížení vlivu variability na úrovni systému64.
Funkce RRAM v neuromorfních obvodech je dvojí: definice architektury (směrování vstupů na výstupy) a implementace synaptických vah. Posledně jmenovanou vlastnost lze využít k řešení problému variability modelovaných neuromorfních obvodů. Vyvinuli jsme jednoduchý postup kalibrace, který zahrnuje přeprogramování zařízení RRAM, dokud analyzovaný obvod nesplňuje určité požadavky. Pro daný vstup je výstup monitorován a RRAM je přeprogramována, dokud není dosaženo cílového chování. Mezi programovacími operacemi byla zavedena čekací doba 5 s, aby se vyřešil problém relaxace RRAM vedoucí k přechodným fluktuacím vodivosti (doplňkové informace). Synaptické závaží se upravují nebo kalibrují podle požadavků modelovaného neuromorfního okruhu. Postup kalibrace je shrnut v dalších algoritmech [1, 2], které se zaměřují na dva základní rysy neuromorfních platforem, zpožďovací čáry a směrově necitlivé CD. Pro obvod se zpožďovacím vedením je cílem poskytnout výstupní impuls se zpožděním Δt. Pokud je skutečné zpoždění obvodu menší než cílová hodnota, měla by se snížit synaptická váha G3 (G3 by měl být resetován a poté nastaven na nižší přizpůsobovací proud Icc). Naopak, je-li skutečné zpoždění větší než cílová hodnota, musí být vodivost G3 zvýšena (G3 musí být nejprve resetována a poté nastavena na vyšší hodnotu Icc). Tento proces se opakuje, dokud zpoždění generované obvodem neodpovídá cílové hodnotě a dokud není nastavena tolerance pro zastavení procesu kalibrace. U CD necitlivých na orientaci jsou do procesu kalibrace zapojena dvě zařízení RRAM, G1 a G3. Tento obvod má dva vstupy, Vin0 a Vin1, zpožděné o dt. Obvod by měl reagovat pouze na zpoždění pod rozsahem přizpůsobení [0,dtCD]. Pokud není žádná výstupní špička, ale vstupní špička je blízko, obě zařízení RRAM by měla být posílena, aby pomohla neuronu dosáhnout prahové hodnoty. Naopak, pokud obvod reaguje na zpoždění, které přesahuje cílový rozsah dtCD, musí být vodivost snížena. Opakujte proces, dokud nedosáhnete správného chování. Proud shody může být modulován vestavěným analogovým obvodem v č.j. 72,73. S tímto vestavěným obvodem lze takové postupy provádět periodicky za účelem kalibrace systému nebo jeho opětovného použití pro jinou aplikaci.
Hodnotíme spotřebu energie našeho přístupu zpracování neuromorfního signálu na standardním 32bitovém mikrokontroléru68. V tomto hodnocení předpokládáme provoz se stejným nastavením jako v tomto článku, s jedním vysílačem pMUT a dvěma přijímači pMUT. Tato metoda používá pásmovou propust, po níž následuje krok extrakce obálky (Teeger-Kaiser) a nakonec je na signál aplikována operace prahování pro extrakci času letu. Při hodnocení je vynechán výpočet ITD a jeho převod na úhly detekce. Uvažujeme implementaci pásmové propusti využívající filtr s nekonečnou impulsní odezvou 4. řádu vyžadující 18 operací s pohyblivou řádovou čárkou. Extrakce obálky používá další tři operace s pohyblivou řádovou čárkou a poslední operace se používá k nastavení prahové hodnoty. K předzpracování signálu je zapotřebí celkem 22 operací s pohyblivou řádovou čárkou. Vysílaný signál je krátký shluk 111,9 kHz sinusového průběhu generovaný každých 10 ms, což má za následek polohovací pracovní frekvenci 100 Hz. Použili jsme vzorkovací frekvenci 250 kHz, abychom vyhověli Nyquistovi, a 6 ms okno pro každé měření pro zachycení rozsahu 1 metru. Všimněte si, že 6 milisekund je doba letu objektu, který je vzdálený 1 metr. To poskytuje spotřebu energie 180 µW pro A/D konverzi při 0,5 MSPS. Předzpracování signálu je 6,60 MIPS (instrukce za sekundu), generuje 0,75 mW. Nicméně, mikrokontrolér se může přepnout do režimu 69 nízké spotřeby, když algoritmus neběží. Tento režim poskytuje statickou spotřebu energie 10,8 μW a dobu probuzení 113 μs. Při hodinové frekvenci 84 MHz dokončí mikrokontrolér všechny operace neuromorfního algoritmu do 10 ms a algoritmus vypočítá pracovní cyklus 6,3 %, tedy používá režim nízké spotřeby. Výsledný ztrátový výkon je 244,7 μW. Všimněte si, že vynecháme výstup ITD z ToF a převod na úhel detekce, čímž podceníme spotřebu mikrokontroléru. To poskytuje další hodnotu pro energetickou účinnost navrhovaného systému. Jako další srovnávací podmínku hodnotíme spotřebu energie klasických metod vytváření paprsku navržených v referenci. 31,54 při zabudování do stejného mikrokontroléru68 při napájecím napětí 1,8 V. Pět rovnoměrně rozmístěných pMUT membrán se používá k získání dat pro vytváření paprsků. Pokud jde o samotné zpracování, použitá metoda tvarování paprsku je sumace zpoždění. Jednoduše spočívá v aplikaci zpoždění do jízdních pruhů, které odpovídá očekávanému rozdílu časů příjezdu mezi jedním jízdním pruhem a referenčním pruhem. Pokud jsou signály ve fázi, bude mít součet těchto signálů po časovém posunu vysokou energii. Pokud jsou mimo fázi, destruktivní interference omezí energii jejich součtu. ve vztahu. Na Obr. 31 je zvolena vzorkovací frekvence 2 MHz pro časový posun dat o celočíselný počet vzorků. Skromnějším přístupem je zachovat hrubší vzorkovací frekvenci 250 kHz a použít filtr Finite Impulse Response (FIR) pro syntézu dílčích zpoždění. Budeme předpokládat, že složitost algoritmu formování paprsku je určena hlavně časovým posunem, protože každý kanál je konvolvován FIR filtrem s 16 odbočkami v každém směru. Pro výpočet počtu MIPS požadovaných pro tuto operaci uvažujeme okno 6 ms na měření pro zachycení rozsahu 1 metru, 5 kanálů, 11 směrů tvarování paprsku (rozsah +/- 50° v krocích po 10°). 75 měření za sekundu posunulo mikrokontrolér na maximum 100 MIPS. Odkaz. 68, což má za následek ztrátový výkon 11,26 mW pro celkový ztrátový výkon 11,71 mW po přičtení příspěvku ADC na desce.
Údaje podporující výsledky této studie jsou na odůvodněnou žádost k dispozici od příslušného autora, FM.
Indiveri, G. & Sandamirskaya, Y. Význam prostoru a času pro zpracování signálu u neuromorfních agentů: Výzva vývoje autonomních agentů s nízkou spotřebou, kteří interagují s prostředím. Indiveri, G. & Sandamirskaya, Y. Význam prostoru a času pro zpracování signálu u neuromorfních agentů: Výzva vývoje autonomních agentů s nízkou spotřebou, kteří interagují s prostředím.Indiveri G. a Sandamirskaya Y. Význam prostoru a času pro zpracování signálu u neuromorfních agentů: výzva vývoje autonomních agentů s nízkou spotřebou interagujících s prostředím. Indiveri, G., Sandamirskaya, Y.自主代理的挑战。 Indiveri, G. & Sandamirskaya, Y.Indiveri G. a Sandamirskaya Y. Význam prostoru a času pro zpracování signálu u neuromorfních agentů: výzva vývoje autonomních agentů s nízkou spotřebou interagujících s prostředím.Zpracování signálu IEEE. Časopis 36, 16–28 (2019).
Thorpe, SJ Peak Arrival Time: Efektivní schéma kódování neuronové sítě. v Eckmiller, R., Hartmann, G. & Hauske, G. (eds.). v Eckmiller, R., Hartmann, G. & Hauske, G. (eds.).v Eckmiller, R., Hartmann, G. a Hauske, G. (eds.).V Eckmiller, R., Hartmann, G. a Hauske, G. (eds.). Paralelní zpracování v nervových systémech a počítačích 91–94 (North-Holland Elsevier, 1990).
Komunikace Levy, WB & Calvert, VG spotřebovává 35krát více energie než výpočet v lidské kůře, ale obě náklady jsou nutné k předpovědi počtu synapsí. Komunikace Levy, WB & Calvert, VG spotřebovává 35krát více energie než výpočet v lidské kůře, ale obě náklady jsou nutné k předpovědi počtu synapsí.Komunikace Levy, WB a Calvert, WG spotřebovává 35krát více energie než výpočet v lidské kůře, ale obě náklady jsou nutné k předpovědi počtu synapsí. Levy, WB a Calvert, VG Communication Levy, WB & Calvert, VG CommunicationKomunikace Levy, WB a Calvert, WG spotřebovává 35krát více energie než výpočet v lidské kůře, ale oba náklady vyžadují předpovídání počtu synapsí.proces. Národní akademie věd. věda. US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing.Dalgati, T., Vianello, E., DeSalvo, B. a Casas, J. Insect-inspired neuromorphic computing.Dalgati T., Vianello E., DeSalvo B. a Casas J. Neuromorfní výpočty inspirované hmyzem. Aktuální. Názor. Nauka o hmyzu. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. K strojové inteligenci založené na špičkách s neuromorfními výpočty. Roy, K., Jaiswal, A. & Panda, P. K strojové inteligenci založené na špičkách s neuromorfními výpočty. Roy, K., Jaiswal, A. & Panda, P. Towards Spike-Based Machine Intelligence with Neuromorphic Computing.Roy K, Jaiswal A a Panda P. Umělá inteligence založená na pulzu využívající neuromorfní výpočty. Příroda 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. a Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. a Liu, S.-K.Paměť a zpracování informací v neuromorfních systémech. proces. IEEE 103, 1379–1397 (2015).
Akopyan F. a kol. Truenorth: Návrh a sada nástrojů pro 65 mW programovatelný synaptický čip s 1 milionem neuronů. IEEE transakce. Počítačový návrh systémů integrovaných obvodů. 34, 1537–1557 (2015).
Schemmel, J. a kol. Živé demo: zmenšená verze neuromorfního systému BrainScaleS v měřítku talířů. 2012 IEEE International Symposium on Circuits and Systems (ISCAS), (IEEE ed.) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Škálovatelná vícejádrová architektura s heterogenními paměťovými strukturami pro dynamické neuromorfní asynchronní procesory (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Škálovatelná vícejádrová architektura s heterogenními paměťovými strukturami pro dynamické neuromorfní asynchronní procesory (DYNAP).Moradi S., Qiao N., Stefanini F. a Indiviri G. Škálovatelná vícejádrová architektura s heterogenními paměťovými strukturami pro dynamické neuromorfní asynchronní procesory (DYNAP). Moradi, S., Qiao, N., Stefanini, F. a Indiveri, G.构内存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Druh rozšiřitelné vícejádrové architektury s jedinečnou strukturou paměti pro dynamické neurální zpracování (DYNAP).Moradi S., Qiao N., Stefanini F. a Indiviri G. Škálovatelná vícejádrová architektura s heterogenními paměťovými strukturami pro dynamické neuromorfní asynchronní procesory (DYNAP).IEEE transakce v biomedicínské vědě. elektrický systém. 12, 106–122 (2018).
Davis, M. a kol. Loihi: Neuromorfní vícejádrový procesor s vestavěným učením. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA Projekt SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA Projekt SpiNNaker.Ferber SB, Galluppi F., Temple S. a projekt Plana LA SpiNNaker.Ferber SB, Galluppi F., Temple S. a projekt Plana LA SpiNNaker. proces. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Neuromorfní senzorické systémy. & Delbruck, T. Neuromorfní senzorické systémy.a Delbrück T. Neuromorfní senzorické systémy. & Delbruck, T. 神经形态感觉系统。 & Delbruck, T.a Delbrück T. Neuromorfní senzorický systém.Proud. názor. Neurobiologie. 20, 288–295 (2010).
Chope, T. a kol. Neuromorfní senzorická integrace pro kombinovanou lokalizaci zdroje zvuku a zabránění kolizi. V roce 2019 na IEEE Conference on Biomedical Circuits and Systems (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Neuromorfní architektura stereo vidění založená na hrotech. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Neuromorfní architektura stereo vidění založená na hrotech.Risi N, Aymar A, Donati E, Solinas S a Indiveri G. Architektura neuromorfního stereovize založená na hrotech. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S a Indiveri G. Neuromorfní architektura na bázi Spike pro stereo vidění.přední. Neurorobotics 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Model spiking neuronové sítě 3D vnímání pro neuromorfní systémy stereo vidění založené na událostech. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Model spiking neuronové sítě 3D vnímání pro neuromorfní systémy stereo vidění založené na událostech.Oswald, M., Ieng, S.-H., Benosman, R., and Indiveri, G. Model vnímání 3D pulzní neuronové sítě pro neuromorfní stereovizní systémy založené na událostech. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 基于事件的神经形态立体视觉系统的的3Dperception Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R. a Indiveri, G. Model neuronové sítě s 3D vnímáním pro neuromorfní stereovizní systém založený na událostech.věda. Zpráva 7, 1–11 (2017).
Dalgaty, T. a kol. Základní detekce pohybu inspirovaná hmyzem zahrnuje odporovou paměť a prasklé neuronové sítě. Bionický biohybridní systém. 10928, 115–128 (2018).
D'Angelo, G. a kol. Detekce excentrického pohybu na základě událostí pomocí časového diferenciálního kódování. přední. Neurologie. 14, 451 (2020).