Hír

A valós adatfeldolgozó alkalmazások kompakt, alacsony késleltetésű, alacsony fogyasztású számítástechnikai rendszereket igényelnek. Az eseményvezérelt számítási képességekkel a kiegészítő fém-oxid-félvezető hibrid memristív neuromorf architektúrák ideális hardveralapot biztosítanak az ilyen feladatokhoz. Az ilyen rendszerekben rejlő lehetőségek teljes körű bemutatása érdekében átfogó szenzorfeldolgozó megoldást javasolunk és kísérletileg bemutatunk valós objektumlokalizációs alkalmazásokhoz. A macskabagolyok neuroanatómiájából ihletet merítve kifejlesztettünk egy bioinspirált, eseményvezérelt objektum-lokalizációs rendszert, amely a legmodernebb piezoelektromos mikromechanikus átalakító átalakítót számítógépes gráf alapú neuromorf rezisztív memóriával kombinálja. Megmutatjuk egy olyan legyártott rendszer méréseit, amely memória alapú rezisztív koincidencia detektort, késleltető vonal áramkört és egy teljesen testreszabható ultrahangos átalakítót tartalmaz. Ezeket a kísérleti eredményeket a szimulációk rendszerszintű kalibrálására használjuk. Ezeket a szimulációkat azután az objektum lokalizációs modell szögfelbontásának és energiahatékonyságának értékelésére használják. Az eredmények azt mutatják, hogy megközelítésünk több nagyságrenddel energiahatékonyabb lehet, mint az azonos feladatot ellátó mikrokontrollerek.
A mindenütt jelenlévő számítástechnika korszakába lépünk, ahol a bevezetett eszközök és rendszerek száma exponenciálisan növekszik, hogy segítsen bennünket a mindennapi életben. Ezek a rendszerek várhatóan folyamatosan működnek, a lehető legkevesebb áramot fogyasztják, miközben megtanulják valós időben értelmezni a több érzékelőtől gyűjtött adatokat, és az osztályozási vagy felismerési feladatok eredményeként bináris kimenetet produkálni. A cél eléréséhez szükséges egyik legfontosabb lépés a zajos és gyakran hiányos szenzoros adatokból hasznos és tömör információ kinyerése. A hagyományos mérnöki megközelítések jellemzően állandó és nagy sebességgel veszik mintát az érzékelő jeleiből, nagy mennyiségű adatot generálva még hasznos bemenetek hiányában is. Ezenkívül ezek a módszerek összetett digitális jelfeldolgozási technikákat alkalmaznak a (gyakran zajos) bemeneti adatok előfeldolgozására. Ehelyett a biológia alternatív megoldásokat kínál a zajos szenzoros adatok feldolgozására energiahatékony, aszinkron, eseményvezérelt megközelítésekkel (tüskék)2,3. A neuromorf számítástechnika a biológiai rendszerekből merít ihletet, hogy csökkentse a számítási költségeket az energia- és memóriaigény tekintetében a hagyományos jelfeldolgozási módszerekhez képest4,5,6. A közelmúltban olyan innovatív, általános célú agyi alapú rendszereket mutattak be, amelyek impulzusneurális hálózatokat (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11) valósítanak meg. Ezek a processzorok alacsony fogyasztású, alacsony késleltetésű megoldásokat kínálnak a gépi tanuláshoz és a kérgi áramkörök modellezéséhez. Energiahatékonyságuk teljes kiaknázása érdekében ezeket a neuromorf processzorokat közvetlenül az eseményvezérelt szenzorokhoz kell csatlakoztatni12,13. Ma azonban csak néhány érintőképernyős eszköz létezik, amely közvetlenül eseményvezérelt adatokat szolgáltat. Kiemelkedő példák a dinamikus vizuális érzékelők (DVS) látási alkalmazásokhoz, mint például a nyomkövetés és mozgásérzékelés14, 15, 16, 17 a szilícium cochlea18 és a neuromorf hallásérzékelők (NAS)19 a hallójel-feldolgozáshoz, a szaglásérzékelők20 és számos példa21,22 az érintésre. . textúra érzékelők.
Ebben a cikkben egy újonnan kifejlesztett eseményvezérelt auditív feldolgozó rendszert mutatunk be, amelyet az objektumok lokalizálására alkalmaznak. Itt először írunk le egy end-to-end rendszert az objektumok lokalizálására, amelyet a legmodernebb piezoelektromos mikromegmunkált ultrahangos átalakító (pMUT) és a neuromorf rezisztív memórián (RRAM) alapuló számítási gráf összekapcsolásával kapunk. Az RRAM-ot használó, memórián belüli számítástechnikai architektúrák ígéretes megoldást jelentenek az energiafogyasztás csökkentésére23,24,25,26,27,28,29. A benne rejlő nem-volatilitás – amely nem igényel aktív energiafogyasztást az információk tárolásához vagy frissítéséhez – tökéletesen illeszkedik a neuromorf számítástechnika aszinkron, eseményvezérelt természetéhez, ami szinte semmilyen energiafogyasztást eredményez, amikor a rendszer tétlen. A piezoelektromos mikromegmunkálású ultrahang-átalakítók (pMUT-k) olcsó, miniatürizált szilícium alapú ultrahang-átalakítók, amelyek adóként és vevőként is működhetnek30,31,32,33,34. A beépített érzékelők által kapott jelek feldolgozásához a macskabagoly neuroanatómiájából merítettünk ihletet35,36,37. A Tyto alba macskabagoly a rendkívül hatékony hallásmeghatározó rendszernek köszönhetően figyelemre méltó éjszakai vadászati ​​képességeiről ismert. A zsákmány helyének kiszámításához a macskabagoly lokalizációs rendszere kódolja a repülés idejét (ToF), amikor a zsákmány hanghullámai elérik a bagoly füleit vagy hangreceptorait. Tekintettel a fülek közötti távolságra, a két ToF mérés (Interaural Time Difference, ITD) különbsége lehetővé teszi a célpont azimut pozíciójának analitikus kiszámítását. Bár a biológiai rendszerek kevéssé alkalmasak algebrai egyenletek megoldására, nagyon hatékonyan képesek megoldani a lokalizációs problémákat. A macskabagoly idegrendszere egy koincidencia-detektor (CD)35 neuronkészletet használ (azaz olyan neuronokat, amelyek képesek észlelni a tüskék közötti időbeli korrelációkat, amelyek lefelé terjednek a konvergens gerjesztő végződésekig)38,39 számítógépes gráfokba rendezve a pozicionálási problémák megoldására.
Korábbi kutatások kimutatták, hogy a komplementer fém-oxid-félvezető (CMOS) hardver és az RRAM-alapú neuromorf hardver, amelyet a macskabagoly inferior colliculusa („hallókéreg”) inspirált, hatékony módszer a pozíció kiszámítására az ITD13, 40, 41, 42, 43 , 44, 45, 46. Azonban a lehetőség a teljes A hallási jeleket neuromorf számítási grafikonokkal összekapcsoló neuromorf rendszereket még nem sikerült bemutatni. A fő probléma az analóg CMOS áramkörök eredendő változékonysága, amely befolyásolja az egyezésérzékelés pontosságát. A közelmúltban bemutatták az ITD47 becslések alternatív numerikus megvalósításait. Ebben a cikkben azt javasoljuk, hogy az RRAM azon képességét használjuk, hogy nem illékony módon változtassa meg a vezetőképességi értéket az analóg áramkörök változékonyságának ellensúlyozására. Kísérleti rendszert valósítottunk meg, amely egy 111,9 kHz-es frekvencián működő pMUT átvivő membránból, két gyöngybagoly fülét szimuláló pMUT vevő membránból (szenzorból) és egy . Kísérletileg jellemeztük a pMUT detektáló rendszert és az RRAM alapú ITD számítási gráfot, hogy teszteljük lokalizációs rendszerünket és értékeljük annak szögfelbontását.
Módszerünket összehasonlítjuk a hagyományos nyalábformáló vagy neuromorf módszerekkel ugyanazt a lokalizációs feladatot ellátó mikrokontrolleren végzett digitális megvalósítással, valamint a referenciában javasolt ITD becsléshez egy terepi programozható kaputömb (FPGA) segítségével. 47. Ez az összehasonlítás rávilágít a javasolt RRAM-alapú analóg neuromorf rendszer versenyképes energiahatékonyságára.
A pontos és hatékony objektum lokalizációs rendszer egyik legszembetűnőbb példája a macskabagoly35,37,48-ban található. Alkonyatkor és hajnalban a macskabagoly (Tyto Alba) elsősorban a passzív hallgatásra támaszkodik, és aktívan keresi a kis zsákmányt, például pocokat vagy egereket. Ezek a hallási szakértők elképesztő pontossággal (körülbelül 2°)35 tudják lokalizálni a zsákmányból származó hallási jeleket, amint azt az 1a. ábra mutatja. A macskabaglyok a hangforrásoktól a két fülig bejövő repülési idő (ITD) különbségéből következtetnek a hangforrások elhelyezkedésére az azimut (vízszintes) síkban. Az ITD számítási mechanizmusát Jeffress javasolta49,50, amely az idegi geometrián alapul, és két kulcsfontosságú komponenst igényel: egy axont, egy késleltető vonalként működő idegrostot és egy számítási rendszerbe szerveződő koincidencia-detektor neuronok tömbjét. ábrán látható grafikonon. A hang azimut függő időkésleltetéssel (ITD) éri el a fület. A hang ezután tüskés mintázattá alakul mindkét fülben. A bal és a jobb fül axonjai késleltetési vonalként működnek, és a CD neuronokon konvergálnak. Elméletileg az egyező neuronok tömbjében egyszerre csak egy neuron kap bemenetet (ahol a késleltetés pontosan kioltódik), és maximálisan tüzel (a szomszédos sejtek is tüzelnek, de alacsonyabb frekvencián). Bizonyos neuronok aktiválása kódolja a célpont helyzetét a térben anélkül, hogy az ITD-t szögekké alakítaná tovább. Ezt a koncepciót az 1c. ábra foglalja össze: például ha a hang a jobb oldalról jön, amikor a jobb fülből érkező bemeneti jel hosszabb utat tesz meg, mint a bal fülből jövő út, ami például kompenzálja az ITD-k számát, amikor a 2. neuron egyezik. Más szavakkal, minden CD egy bizonyos ITD-re (más néven optimális késleltetésre) reagál az axonális késleltetés miatt. Így az agy az időbeli információkat térbeli információvá alakítja. Ennek a mechanizmusnak anatómiai bizonyítékait találták37,51. A fáziszárt makronukleusz neuronok időbeli információkat tárolnak a bejövő hangokról: ahogy a nevük is sugallja, bizonyos jelfázisokban tüzelnek. A Jeffress modell koincidencia detektor neuronjai a lamináris magban találhatók. Információkat kapnak a makronukleáris neuronoktól, amelyek axonjai késleltetési vonalként működnek. A késleltetési vonal által biztosított késleltetés mértéke magyarázható az axon hosszával, valamint egy másik mielinizációs mintázattal, amely megváltoztatja a vezetési sebességet. A macskabagoly hallórendszere által inspirálva kifejlesztettünk egy biomimetikus rendszert a tárgyak lokalizálására. A két fület két pMUT vevő képviseli. A hangforrás a közöttük elhelyezkedő pMUT adó (1a. ábra), a számítási grafikont pedig RRAM-alapú CD-áramkörökből álló rács alkotja (1b. ábra, zöld), a CD-neuronok szerepét töltve be, amelyek bemenetei késleltetettek. az áramkörön keresztül a késleltetési vonalak (kék) axonként működnek a biológiai megfelelőben. A javasolt szenzoros rendszer működési frekvenciájában eltér a bagolyétól, amelynek hallórendszere az 1-8 kHz tartományban működik, de ebben a munkában kb. 117 kHz-en működő pMUT szenzorokat használnak. Az ultrahangos jelátalakító kiválasztását a műszaki és optimalizálási szempontok szerint kell mérlegelni. Először is, a vételi sávszélesség egyetlen frekvenciára való korlátozása ideális esetben javítja a mérési pontosságot és leegyszerűsíti az utófeldolgozási lépést. Emellett az ultrahangos működésnek megvan az az előnye, hogy a kibocsátott impulzusok nem hallhatók, így nem zavarják az embereket, mivel a hallási tartományuk ~20-20 kHz.
a macskabagoly hanghullámokat kap egy célponttól, jelen esetben mozgó zsákmánytól. A hanghullám repülési ideje (ToF) fülenként eltérő (kivéve, ha a zsákmány közvetlenül a bagoly előtt van). A szaggatott vonal azt az utat mutatja, amelyen a hanghullámok eljutnak a fülesbagoly füléhez. A zsákmány pontosan lokalizálható a vízszintes síkban a két akusztikus út közötti hosszkülönbség és a megfelelő interaurális időkülönbség (ITD) alapján (a bal oldali kép a 74. hivatkozás ihlette, copyright 2002, Society for Neuroscience). Rendszerünkben a pMUT adó (sötétkék) olyan hanghullámokat generál, amelyek visszaverődnek a célpontról. A visszavert ultrahanghullámokat két pMUT vevő (világoszöld) veszi, és a neuromorf processzor dolgozza fel (jobbra). b Egy ITD (Jeffress) számítási modell, amely leírja, hogy a macskabagoly fülébe belépő hangokat először fáziszárt tüskékként kódolják a nagy magban (NM), majd a lamelláris magban illeszkedő detektor neuronokból álló geometriai elrendezésű rácsot használnak. Feldolgozás (Hollandia) (balra). A késleltetési vonalakat és a koincidencia detektor neuronjait kombináló neuroITD számítási gráf illusztrációja, a bagoly bioszenzor rendszer RRAM-alapú neuromorf áramkörök segítségével modellezhető (jobbra). c A fő Jeffress mechanizmus vázlata, a ToF különbsége miatt a két fül különböző időpontokban kap hangingereket, és mindkét végéről küld axonokat a detektorba. Az axonok egy sor koincidenciadetektor (CD) neuron részei, amelyek mindegyike szelektíven reagál az erősen idővel korrelált bemenetekre. Ennek eredményeként csak azok a CD-k vannak maximálisan gerjesztve, amelyek bemenetei a legkisebb időkülönbséggel érkeznek (az ITD pontosan kompenzált). A CD ezután kódolja a célpont szöghelyzetét.
A piezoelektromos mikromechanikus ultrahang-átalakítók skálázható ultrahang-átalakítók, amelyek integrálhatók a fejlett CMOS-technológiával31,32,33,52, és alacsonyabb kezdeti feszültséggel és energiafogyasztással rendelkeznek, mint a hagyományos volumetrikus átalakítók53. Munkánk során a membrán átmérője 880 µm, a rezonanciafrekvencia pedig a 110-117 kHz tartományban oszlik meg (2a. ábra, részletesen lásd a Módszereket). Egy tíz tesztkészülékből álló kötegben az átlagos minőségi tényező körülbelül 50 volt (31. hivatkozás). A technológia elérte az ipari érettséget, és önmagában nem bioinspirált. A különböző pMUT-filmekből származó információk kombinálása jól ismert technika, és a pMUT-okból szöginformációkat nyerhetünk, például sugárformáló technikák segítségével31,54. A szöginformáció kinyeréséhez szükséges jelfeldolgozás azonban nem alkalmas kis teljesítményű mérésekre. A javasolt rendszer a pMUT neuromorf adat-előfeldolgozó áramkört a Jeffress-modell által ihletett RRAM-alapú neuromorf számítási gráfral kombinálja (2c. ábra), alternatív energiahatékony és erőforrás-korlátozott hardvermegoldást biztosítva. Kísérletet hajtottunk végre, amelyben két pMUT érzékelőt helyeztünk el egymástól körülbelül 10 cm-re, hogy kihasználjuk a két fogadó membrán által vett különböző ToF hangokat. Egy adóként működő pMUT van a vevők között. A cél egy 12 cm széles PVC lemez volt, amely a pMUT eszköz előtt D távolságban helyezkedett el (2b. ábra). A vevő rögzíti a tárgyról visszavert hangot, és a lehető legnagyobb mértékben reagál a hanghullám áthaladása közben. Ismételje meg a kísérletet a tárgy helyzetének megváltoztatásával, amelyet a D távolság és a θ szög határoz meg. Egy link ihlette. Az 55. ábrán a pMUT nyers jelek neuromorf előfeldolgozását javasoljuk, hogy a visszavert hullámokat csúcsokká alakítsuk át neuromorf számítási grafikon beviteléhez. A csúcs amplitúdójának megfelelő ToF-et mindkét csatornából kinyerjük, és az egyes csúcsok pontos időzítéseként kódoljuk. ábrán. A 2c. ábra a pMUT érzékelő RRAM-alapú számítási grafikonnal való összekapcsolásához szükséges áramkört mutatja: mind a két pMUT vevő esetében a nyers jelet sáváteresztő szűréssel simítják, kiegyenlítik, majd felülkerekedő módban továbbítják a szivárgó integrátorhoz. a dinamikus küszöb (2d. ábra) kimeneti eseményt (spike) és tüzelési (LIF) neuront hoz létre: a kimeneti tüskeidő kódolja a detektált repülési időt. A LIF küszöbérték a pMUT válaszhoz van kalibrálva, ezáltal csökkentve a pMUT eszközenkénti variabilitását. Ezzel a megközelítéssel a teljes hanghullám memóriában való tárolása és későbbi feldolgozása helyett egyszerűen a hanghullám ToF-jének megfelelő csúcsot generálunk, amely a rezisztív memória számítási gráf bemenetét képezi. A tüskéket közvetlenül a késleltetési vonalakra küldik, és párhuzamosítják a neuromorf számítási grafikonokon található egyezésészlelő modulokkal. Mivel ezeket a tranzisztorok kapuihoz küldik, nincs szükség további erősítőáramkörre (a részletekért lásd a 4. kiegészítő ábrát). A pMUT által biztosított lokalizációs szögpontosság és a javasolt jelfeldolgozási módszer értékeléséhez megmértük az ITD-t (vagyis a két vevő által generált csúcsesemények közötti időbeli különbséget), mivel az objektum távolsága és szöge változott. Az ITD analízist ezután szögekre konvertáltuk (lásd Módszerek), és az objektum helyzetével összefüggésben ábrázoltuk: a mért ITD bizonytalansága a tárgy távolságával és szögével nőtt (2e, f ábra). A fő probléma a csúcs-zaj arány (PNR) a pMUT válaszban. Minél távolabb van az objektum, annál alacsonyabb az akusztikus jel, ezáltal csökken a PNR (2f. ábra, zöld vonal). A PNR csökkenése az ITD becslés bizonytalanságának növekedéséhez vezet, ami a lokalizáció pontosságának növekedését eredményezi (2f. ábra, kék vonal). A távadótól 50 cm távolságra lévő tárgy esetén a rendszer szögpontossága körülbelül 10°. Ez az érzékelő jellemzőiből adódó korlátozás javítható. Például az emitter által küldött nyomás növelhető, ezáltal növelve a pMUT membránt hajtó feszültséget. Egy másik megoldás az átvitt jel erősítésére több 56 adó csatlakoztatása. Ezek a megoldások növelik az érzékelési tartományt a megnövekedett energiaköltségek rovására. További fejlesztések végezhetők a fogadó oldalon. A pMUT vevő zajszintje jelentősen csökkenthető a pMUT és az első fokozatú erősítő közötti kapcsolat javításával, amely jelenleg vezetékes csatlakozásokkal és RJ45 kábelekkel történik.
egy pMUT-kristály képe hat 880 µm-es membránnal, 1,5 mm-es osztással. b A mérési beállítás diagramja. A célpont a θ azimut pozícióban és a D távolságban található. A pMUT adó 117,6 kHz-es jelet generál, amely visszaverődik a célpontról, és eléri a két különböző repülési idejű (ToF) pMUT vevőt. Ez a különbség, amelyet hangközi időkülönbségként (ITD) definiálunk, egy objektum helyzetét kódolja, és a két vevőérzékelő csúcsválaszának becslésével becsülhető meg. c Az előfeldolgozási lépések vázlata a nyers pMUT jel tüskeszekvenciákká való konvertálásához (azaz a neuromorf számítási gráf bemenetéhez). A pMUT szenzorokat és neuromorf számítási grafikonokat elkészítették és tesztelték, a neuromorf előfeldolgozás pedig szoftveres szimuláción alapul. d A pMUT membrán válasza jel vételekor és tüskedoménné való átalakulása. e Kísérleti lokalizációs szögpontosság a tárgyszög (Θ) és a célobjektum távolságának (D) függvényében. Az ITD extrakciós módszer legalább 4°C-os szögfelbontást igényel. f A szögpontosság (kék vonal) és a megfelelő csúcs/zaj arány (zöld vonal) a tárgytávolság függvényében Θ = 0 esetén.
A rezisztív memória nem felejtő, vezetőképes állapotban tárolja az információkat. A módszer alapelve, hogy az anyag atomi szintű módosulása változást okoz az elektromos vezetőképességében57. Itt egy oxid alapú rezisztív memóriát használunk, amely egy 5 nm-es hafnium-dioxid rétegből áll, amely a felső és az alsó titán és titán-nitrid elektródák közé helyezkedik el. Az RRAM-eszközök vezetőképessége megváltoztatható olyan áram/feszültség hullámforma alkalmazásával, amely az elektródák között szabad oxigénvezető szálakat hoz létre vagy megszakít. Az ilyen eszközöket58 egy szabványos 130 nm-es CMOS folyamatba integráltuk, hogy létrehozzunk egy koincidencia-detektort és egy késleltető vonal áramkört megvalósító, újrakonfigurálható neuromorf áramkört (3a. ábra). Az eszköz nem illékony és analóg jellege, valamint a neuromorf áramkör eseményvezérelt jellege minimálisra csökkenti az energiafogyasztást. Az áramkör azonnali be- és kikapcsolás funkcióval rendelkezik: bekapcsolás után azonnal működik, lehetővé téve az áramkör teljes kikapcsolását, amikor az áramkör üresjáratban van. ábrán láthatók a javasolt séma fő építőelemei. 3b. N darab párhuzamos egyellenállásos egytranzisztoros (1T1R) szerkezetből áll, amelyek szinaptikus súlyokat kódolnak, amelyekből súlyozott áramot vesznek, egy differenciálpár-integrátor (DPI)59 közös szinapszisába injektálják, majd végül a szinapszisba injektálják integrálással és szivárgás. aktivált (LIF) neuron 60 (a részleteket lásd a Módszereknél). A bemeneti túlfeszültségek az 1T1R szerkezet kapujára kerülnek, több száz nanoszekundumos nagyságrendű időtartamú feszültségimpulzusok sorozataként. Az ellenállásos memória magas vezetőképességű állapotba (HCS) helyezhető úgy, hogy külső pozitív referenciát alkalmaz a Vtopra, amikor a Vbottom földelt, és visszaállítható alacsony vezetőképességű állapotba (LCS), ha pozitív feszültséget kapcsol a Vbottomra, amikor a Vtop földelt. A HCS átlagértéke szabályozható a SET (ICC) programozási áramának (compliance) korlátozásával a soros tranzisztor kapuforrás feszültségével (3c. ábra). Az RRAM funkciója az áramkörben kettős: irányítja és súlyozza a bemeneti impulzusokat.
Pásztázó elektronmikroszkópos (SEM) képe egy 130 nm-es CMOS technológiába integrált kék HfO2 1T1R RRAM eszközről, szelektortranzisztorokkal (650 nm széles) zöld színben. b A javasolt neuromorf séma alapvető építőkövei. A Vin0 és Vin1 bemeneti feszültségimpulzusok (csúcsok) Iweight áramot fogyasztanak, ami arányos az 1T1R szerkezet G0 és G1 vezetési állapotával. Ezt az áramot a DPI szinapszisokba fecskendezik, és gerjesztik a LIF neuronokat. Az RRAM G0 és G1 telepítve van a HCS-be, illetve az LCS-be. c A kumulatív konduktancia-sűrűség függvénye egy 16K RRAM-os eszközök csoportjában az ICC áramillesztés függvényében, amely hatékonyan szabályozza a vezetési szintet. d Az (a) pontban szereplő áramköri mérések azt mutatják, hogy a G1 (az LCS-ben) hatékonyan blokkolja a Vin1 (zöld) bemenetét, és a kimeneti neuron membránfeszültsége csak a Vin0 kék bemenetére reagál. Az RRAM hatékonyan határozza meg az áramkör csatlakozásait. e A (b) szerinti áramkör mérése, amely a G0 vezetőképességi érték hatását mutatja a Vmem membránfeszültségre Vin0 feszültségimpulzus alkalmazása után. Minél nagyobb a vezetőképesség, annál erősebb a válasz: így az RRAM eszköz I/O kapcsolat súlyozást valósít meg. Az áramkörön végzett mérések az RRAM kettős funkcióját, a bemeneti impulzusok útválasztását és súlyozását mutatják be.
Először is, mivel két alapvető vezetési állapot van (HCS és LCS), az RRAM-ok blokkolhatják vagy kihagyhatják a bemeneti impulzusokat, ha azok LCS vagy HCS állapotban vannak. Ennek eredményeként az RRAM hatékonyan határozza meg az áramkör csatlakozásait. Ez az alapja az architektúra újrakonfigurálhatóságának. Ennek bemutatására leírjuk a 3b. ábrán látható áramkör blokk egy gyártott áramköri megvalósítását. A G0-nak megfelelő RRAM a HCS-be, a második G1 RRAM pedig az LCS-be van programozva. A bemeneti impulzusok a Vin0-ra és a Vin1-re is vonatkoznak. Két bemeneti impulzussorozat hatását elemeztük a kimeneti neuronokban úgy, hogy oszcilloszkóp segítségével összegyűjtöttük a neuron membránfeszültségét és a kimeneti jelet. A kísérlet sikeres volt, amikor csak a HCS eszközt (G0) kapcsolták a neuron impulzusához a membránfeszültség stimulálására. Ezt szemlélteti a 3d. ábra, ahol a kék impulzussor hatására a membrán feszültsége felhalmozódik a membránkondenzátoron, míg a zöld impulzussor állandóan tartja a membránfeszültséget.
Az RRAM második fontos funkciója a kapcsolati súlyok megvalósítása. Az RRAM analóg vezetőképesség-beállításával az I/O csatlakozások ennek megfelelően súlyozhatók. A második kísérletben a G0 eszközt a HCS különböző szintjeire programoztuk, és a bemeneti impulzust a VIn0 bemenetre alkalmaztuk. A bemeneti impulzus áramot (Iweight) vesz a készülékből, amely arányos a vezetőképességgel és a megfelelő potenciáleséssel Vtop − Vbot. Ezt a súlyozott áramot ezután a DPI szinapszisokba és a LIF kimeneti neuronokba fecskendezik. A kimeneti neuronok membránfeszültségét oszcilloszkóppal rögzítettük, és a 3d. ábrán mutatjuk be. A neuron membránjának egyetlen bemeneti impulzusra adott feszültségcsúcsa arányos a rezisztív memória vezetőképességével, ami azt mutatja, hogy az RRAM használható szinaptikus súlyú programozható elemként. Ez a két előzetes teszt azt mutatja, hogy a javasolt RRAM alapú neuromorf platform képes megvalósítani az alapvető Jeffress mechanizmus alapvető elemeit, nevezetesen a késleltetési vonalat és a koincidencia detektor áramkört. Az áramköri platform úgy épül fel, hogy egymás mellé rakják egymás mellé a blokkokat, például a 3b. ábrán látható blokkokat, és a kapuikat egy közös bemeneti vonalhoz kötik. Terveztünk, gyártottunk és teszteltünk egy neuromorf platformot, amely két kimeneti neuronból áll, amelyek két bemenetet kapnak (4a. ábra). A kapcsolási rajz a 4b. ábrán látható. A felső 2 × 2 RRAM mátrix lehetővé teszi a bemeneti impulzusok két kimeneti neuronhoz való irányítását, míg az alsó 2 × 2 mátrix két neuron (N0, N1) ismétlődő összekapcsolását teszi lehetővé. Bemutatjuk, hogy ez a platform használható késleltetési vonal konfigurációval és két különböző koincidencia detektor funkcióval, amint azt a 4c-e ábrán kísérleti mérések mutatják.
Az áramköri diagramot két, 0 és 1 bemenetet kapó N0 és N1 kimeneti neuron alkotja. A tömb felső négy eszköze szinaptikus kapcsolatokat határoz meg a bemenettől a kimenetig, az alsó négy cella pedig a neuronok közötti visszatérő kapcsolatokat. A színes RRAM-ok a jobb oldalon a HCS-ben konfigurált eszközöket képviselik: a HCS-ben lévő eszközök engedélyezik a csatlakozásokat és súlyokat jelentenek, míg az LCS-ben lévő eszközök blokkolják a bemeneti impulzusokat és letiltják a kimenetekhez való csatlakozást. b Az (a) áramkör rajza nyolc RRAM modullal kékkel kiemelve. c A késleltetési vonalak a DPI szinapszisok és a LIF neuronok dinamikájának egyszerű felhasználásával jönnek létre. A zöld RRAM vezetőképessége elég magas ahhoz, hogy a Δt bemeneti késleltetés után hibát idézzen elő a kimeneten. d Időfüggő jelek irányérzéketlen CD detektálásának sematikus ábrázolása. Az 1. kimeneti neuron, az N1, rövid késleltetéssel a 0 és 1 bemeneteken tüzel. e Irányérzékeny CD áramkör, egy olyan áramkör, amely érzékeli, ha az 1. bemenet megközelíti a 0 bemenetet, és a 0 bemenet után érkezik. Az áramkör kimenetét az 1. neuron (N1) képviseli.
A késleltetési vonal (4c. ábra) egyszerűen a DPI-szinapszisok és a LIF-neuronok dinamikus viselkedését használja fel, hogy a Tdel késleltetésével reprodukálja a bemeneti csúcsot Vin1-ről Vout1-re. Csak a Vin1-hez és Vout1-hez csatlakoztatott G3 RRAM van programozva HCS-ben, a többi RRAM programozása LCS-ben történik. A G3 eszközt 92,6 µs-ra programozták annak biztosítására, hogy minden bemeneti impulzus kellőképpen növelje a kimeneti neuron membránfeszültségét ahhoz, hogy elérje a küszöbértéket és késleltetett kimeneti impulzust generáljon. A Tdel késleltetést a szinaptikus és a neurális időállandó határozza meg. A koincidencia detektorok az időben korrelált, de térben elosztott bemeneti jelek előfordulását észlelik. Az irányérzéketlen CD az egyedi bemenetekre támaszkodik, amelyek egy közös kimeneti neuronhoz konvergálnak (4d. ábra). A Vin0-t és Vin1-et a Vout1-hez, G2-hez és G4-hez csatlakoztató két RRAM nagy vezetésre van programozva. A Vin0 és Vin1 tüskék egyidejű érkezése az N1 neuron membrán feszültségét a kimeneti tüske generálásához szükséges küszöb fölé emeli. Ha a két bemenet időben túl távol van egymástól, akkor az első bemenet által felhalmozott membránfeszültség töltése idővel csökkenhet, ami megakadályozza, hogy az N1 membránpotenciál elérje a küszöbértéket. A G1 és G2 körülbelül 65 µs-ra van programozva, ami biztosítja, hogy egyetlen bemeneti túlfeszültség ne növelje meg annyira a membránfeszültséget, hogy kimeneti túlfeszültséget okozzon. A térben és időben elosztott események közötti koincidencia-észlelés alapvető művelet az érzékelési feladatok széles körében, mint például az optikai áramlás alapú akadálykerülés és a hangforrás lokalizálása. Így az irányérzékeny és érzéketlen CD-k számítási alapja a vizuális és audio lokalizációs rendszerek felépítésének alapvető építőköve. Amint azt az időállandók jellemzői mutatják (lásd a 2. kiegészítő ábrát), a javasolt áramkör négy nagyságrendű időskála megfelelő tartományát valósítja meg. Így egyszerre tud megfelelni a vizuális és hangrendszerek követelményeinek. Az irányérzékeny CD egy olyan áramkör, amely érzékeny az impulzusok érkezésének térbeli sorrendjére: jobbról balra és fordítva. Ez egy alapvető építőelem a Drosophila vizuális rendszer alapvető mozgásérzékelő hálózatában, amelyet a mozgásirányok kiszámítására és az ütközések észlelésére használnak62. Az irányérzékeny CD eléréséhez két bemenetet kell két különböző neuronhoz (N0, N1) irányítani, és ezek között irányított kapcsolatot kell kialakítani (4e. ábra). Az első bemenet vételekor a NO úgy reagál, hogy a küszöbérték fölé emeli a membrán feszültségét, és túlfeszültséget küld. Ez a kimeneti esemény pedig az N1-et indítja el a zölddel kiemelt iránykapcsolatnak köszönhetően. Ha egy Vin1 bemeneti esemény érkezik, és bekapcsolja az N1-et, miközben a membránfeszültsége még mindig magas, az N1 kimeneti eseményt generál, jelezve, hogy a két bemenet között egyezést találtak. Az irányított kapcsolatok lehetővé teszik, hogy az N1 csak akkor adjon ki kimenetet, ha az 1. bemenet a 0 bemenet után érkezik. A G0, G3 és G7 73,5 µS-re, 67,3 µS-re és 40,2 µS-ra van programozva, biztosítva, hogy a Vin0 bemenet egyetlen tüske késleltetést okozzon. kimeneti tüske, míg az N1 membránpotenciálja csak akkor éri el a küszöbértéket, ha mindkét bemeneti robbanás szinkronban érkezik. .
A variabilitás a tökéletlenség forrása a modellezett neuromorf rendszerekben63, 64, 65. Ez a neuronok és szinapszisok heterogén viselkedéséhez vezet. Ilyen hátrányok például a bemeneti erősítés, az időállandó és a tűzálló periódus 30%-os (átlagos szórás) változékonysága, hogy csak néhányat említsünk (lásd a Módszerek). Ez a probléma még hangsúlyosabb, ha több neurális áramkör kapcsolódik egymáshoz, például egy két neuronból álló orientációérzékeny CD. A megfelelő működéshez a két neuron erősítési és lefutási időállandójának a lehető leghasonlóbbnak kell lennie. Például a bemeneti erősítés nagy különbsége azt okozhatja, hogy az egyik neuron túlreagál egy bemeneti impulzusra, míg a másik neuron alig reagál. ábrán. Az 5a. ábra azt mutatja, hogy a véletlenszerűen kiválasztott neuronok eltérően reagálnak ugyanarra a bemeneti impulzusra. Ez a neurális változékonyság például az irányérzékeny CD-k működése szempontjából releváns. ábrán látható sémában. Az 5b, c ábrák szerint az 1. idegsejt bemeneti erősítése sokkal nagyobb, mint a 0. neuroné. Így a 0. idegsejtnek három bemeneti impulzusra van szüksége (1 helyett), hogy elérje a küszöböt, az 1. neuronnak pedig, ahogy az várható volt, két bemeneti eseményre van szüksége. A tüskeidőtől függő biomimetikus plaszticitás (STDP) megvalósítása lehetséges módja a pontatlan és lassú idegi és szinaptikus áramkörök rendszerteljesítményre gyakorolt ​​hatásának mérséklésének43. Itt azt javasoljuk, hogy a rezisztív memória plasztikus viselkedését használjuk a neurális bemenet fokozásának befolyásolására és a neuromorf áramkörök változékonyságának hatásainak csökkentésére. ábrán látható módon. A 4e. ábrán az RRAM szinaptikus tömegéhez kapcsolódó vezetőképességi szintek hatékonyan modulálták a megfelelő neurális membrán feszültségválaszt. Iteratív RRAM programozási stratégiát használunk. Egy adott bemenethez a szinaptikus súlyok vezetőképességi értékeit újraprogramozzák, amíg az áramkör cél viselkedését meg nem kapjuk (lásd Módszerek).
a Kilenc véletlenszerűen kiválasztott neuron ugyanazon bemeneti impulzusra adott válaszának kísérleti mérése. A válasz populációnként eltérő, befolyásolva a bemeneti nyereséget és az időállandót. b Az idegsejtek irányérzékeny CD-t befolyásoló neuronok variabilitására gyakorolt ​​hatásának kísérleti mérése. A két irányérzékeny CD kimeneti neuron eltérően reagál a bemeneti ingerekre a neuron-neuron variabilitás miatt. A 0. neuronnak kisebb a bemeneti erősítése, mint az 1. neuronnak, ezért három bemeneti impulzus szükséges (1 helyett) egy kimeneti tüske létrehozásához. Ahogy az várható volt, az 1. neuron két bemeneti eseménnyel éri el a küszöböt. Ha az 1. bemenet Δt = 50 µs után érkezik a 0. neuron tüzelése után, a CD néma marad, mert Δt nagyobb, mint az 1. neuron időállandója (kb. 22 µs). c Δt = 20 µs-kal csökken, így az 1. bemenet akkor ér el csúcsot, amikor az 1. neuron tüzelése még mindig magas, ami két bemeneti esemény egyidejű észlelését eredményezi.
Az ITD számítási oszlopban használt két elem a késleltetési vonal és az irányérzéketlen CD. Mindkét áramkör precíz kalibrálást igényel a jó tárgypozícionálási teljesítmény érdekében. A késleltetési vonalnak a bemeneti csúcs precízen késleltetett változatát kell leadnia (6a. ábra), és a CD-t csak akkor kell aktiválni, ha a bemenet a célérzékelési tartományba esik. A késleltetési vonal esetében a bemeneti kapcsolatok szinaptikus súlyait (G3 a 4a. ábrán) újraprogramoztuk, amíg el nem érjük a célkésleltetést. A program leállításához állítson be tűrést a célkésleltetés körül: minél kisebb a tűrés, annál nehezebb sikeresen beállítani a késleltetési vonalat. ábrán. A 6b. ábra a késleltetési vonal kalibrálási folyamatának eredményeit mutatja: látható, hogy a javasolt séma pontosan tudja biztosítani a tervezési sémában szükséges összes késleltetést (10-300 μs). A kalibrálási iterációk maximális száma befolyásolja a kalibrációs folyamat minőségét: 200 iteráció 5% alá csökkentheti a hibát. Egy kalibrációs iteráció egy RRAM cella beállítási/visszaállítási műveletének felel meg. A hangolási folyamat kritikus fontosságú a CD-modul azonnali bezárási eseményérzékelésének pontosságának javítása szempontjából is. Tíz kalibrációs iterációra volt szükség ahhoz, hogy a valódi pozitív arányt (azaz a relevánsnak helyesen azonosított események arányát) 95% felett (kék vonal a 6c. ábrán) érjük el. A hangolási folyamat azonban nem befolyásolta a hamis pozitív eseményeket (vagyis a tévesen relevánsként azonosított események gyakoriságát). Egy másik biológiai rendszerekben megfigyelt módszer a gyorsan aktiválódó utak időbeli korlátainak leküzdésére a redundancia (vagyis egy adott funkció végrehajtására ugyanannak az objektumnak sok másolatát használják fel). A biology66 ihlette több CD áramkört helyeztünk el minden CD-modulban a két késleltetési vonal között, hogy csökkentsük a hamis pozitív eredmények hatását. ábrán látható módon. 6c (zöld vonal), három CD elem elhelyezése minden CD-modulban csökkentheti a téves riasztások arányát 10-2 alá.
a A neuronális variabilitás hatása a késleltető vonal áramköreire. b A késleltetési vonal áramkörök nagy késleltetésekre skálázhatók a megfelelő LIF neuronok és DPI szinapszisok időállandóinak nagy értékekre állításával. Az RRAM kalibrációs eljárás iterációk számának növelése lehetővé tette a célkésleltetés pontosságának jelentős javítását: 200 iteráció 5% alá csökkentette a hibát. Egy iteráció egy RRAM cellán végrehajtott SET/RESET műveletnek felel meg. A c Jeffress modell minden CD-modulja megvalósítható N párhuzamos CD-elem használatával a nagyobb rugalmasság érdekében a rendszerhibák tekintetében. d Több RRAM-kalibrációs iteráció növeli a valódi pozitív arányt (kék vonal), míg a hamis pozitív arány független az iterációk számától (zöld vonal). Több CD-elem párhuzamos elhelyezése elkerüli a CD-modul egyezéseinek hamis észlelését.
Most a 2. ábrán látható végpontok közötti integrált objektum lokalizációs rendszer teljesítményét és energiafogyasztását értékeljük a pMUT érzékelő, CD és késleltető vonal áramkörök akusztikai tulajdonságainak mérésével, amelyek a neuromorf számítási grafikont alkotják. Jeffress modell (1a. ábra). Ami a neuromorf számítási gráfot illeti, minél nagyobb a CD-modulok száma, annál jobb a szögfelbontás, de annál nagyobb a rendszer energiája is (7a. ábra). Kompromisszum érhető el, ha összehasonlítjuk az egyes komponensek (pMUT érzékelők, neuronok és szinaptikus áramkörök) pontosságát a teljes rendszer pontosságával. A késleltetési vonal felbontását a szimulált szinapszisok és neuronok időállandói korlátozzák, amelyek sémánk szerint meghaladja a 10 µs-ot, ami 4°-os szögfelbontásnak felel meg (lásd Módszerek). A CMOS technológiával rendelkező fejlettebb csomópontok lehetővé teszik az alacsonyabb időállandójú neurális és szinaptikus áramkörök tervezését, ami a késleltetési vonalelemek nagyobb pontosságát eredményezi. A mi rendszerünkben azonban a pontosságot korlátozza a pMUT hiba a szöghelyzet becslésében, azaz 10° (kék vízszintes vonal a 7a. ábrán). A CD-modulok számát 40-ben rögzítettük, ami körülbelül 4°-os szögfelbontásnak felel meg, azaz a számítási gráf szögpontosságának (világoskék vízszintes vonal a 7a. ábrán). Rendszerszinten ez 4°-os felbontást és 10°-os pontosságot ad az érzékelőrendszer előtt 50 cm-re elhelyezkedő tárgyak esetén. Ez az érték összehasonlítható a ref.-ben közölt neuromorf hanglokalizációs rendszerekkel. 67. A javasolt rendszer összehasonlítása a technika állásával az 1. kiegészítő táblázatban található. További pMUT-ok hozzáadása, az akusztikus jelszint növelése és az elektronikus zaj csökkentése lehetséges módja a lokalizáció pontosságának további javításának. ) a becslések szerint 9,7. nz. 55. Adott 40 CD egység a számítási grafikonon, a SPICE szimuláció 21,6 nJ-re becsülte a műveletenkénti energiát (azaz az objektum pozicionálási energiáját). A neuromorf rendszer csak akkor aktiválódik, ha bemeneti esemény érkezik, azaz amikor egy akusztikus hullám eléri bármelyik pMUT vevőt és túllépi az észlelési küszöböt, ellenkező esetben inaktív marad. Ezzel elkerülhető a szükségtelen energiafogyasztás, amikor nincs bemeneti jel. Figyelembe véve a lokalizációs műveletek 100 Hz-es frekvenciáját és műveletenként 300 µs aktiválási periódust (a maximális lehetséges ITD), a neuromorf számítási gráf energiafogyasztása 61,7 nW. Az egyes pMUT vevőknél alkalmazott neuromorf előfeldolgozással a teljes rendszer energiafogyasztása eléri a 81,6 nW-ot. Ahhoz, hogy megértsük a javasolt neuromorf megközelítés energiahatékonyságát a hagyományos hardverekkel összehasonlítva, ezt a számot összehasonlítottuk azzal az energiával, amely egy modern, kis teljesítményű mikrokontrolleren ugyanazon feladat elvégzéséhez szükséges, akár neuromorf, akár hagyományos sugárformáló készségekkel68. A neuromorf megközelítés egy analóg-digitális átalakító (ADC) fokozatot vesz figyelembe, amelyet egy sáváteresztő szűrő és egy burkológörbe extrakciós fokozat követ (Teeger-Kaiser módszer). Végül egy küszöbműveletet hajtanak végre a ToF kinyerésére. Kihagytuk az ITD ToF-en alapuló kiszámítását és a becsült szöghelyzetre való átszámítást, mivel ez minden mérésnél egyszer történik (lásd Módszerek). Feltételezve 250 kHz-es mintavételezési frekvenciát mindkét csatornán (pMUT vevők), 18 sáváteresztő szűrő műveletet, 3 burkológörbe kivonási műveletet és 1 küszöbműveletet mintánként, a teljes energiafogyasztás 245 mikrowattra becsülhető. Ez a mikrokontroller alacsony fogyasztású üzemmódját69 használja, amely akkor kapcsol be, amikor az algoritmusok nem futnak, ami 10,8 µW-ra csökkenti az energiafogyasztást. A referenciában javasolt nyalábformáló jelfeldolgozó megoldás teljesítményfelvétele. 31, 5 pMUT vevővel és 11 nyalábbal, egyenletesen elosztva az azimutsíkban [-50°, +50°], 11,71 mW (a részletekért lásd a Módszerek című részt). Ezenkívül közöljük egy FPGA47 alapú Time Difference Encoder (TDE) 1,5 mW-ra becsült energiafogyasztását, amely helyettesíti a Jeffress modellt az objektum lokalizációjához. Ezen becslések alapján a javasolt neuromorf megközelítés öt nagyságrenddel csökkenti az energiafogyasztást egy olyan mikrokontrollerhez képest, amely klasszikus sugárformáló technikákat alkalmaz az objektum lokalizációs műveleteihez. A jelfeldolgozás neuromorf megközelítésének alkalmazása egy klasszikus mikrokontrolleren körülbelül két nagyságrenddel csökkenti az energiafogyasztást. A javasolt rendszer hatékonysága egy aszinkron rezisztív-memóriás analóg áramkör kombinációjával magyarázható, amely képes a memórián belüli számítások elvégzésére, valamint a jelek észleléséhez szükséges analóg-digitális átalakítás hiányával.
a A lokalizációs művelet szögfelbontása (kék) és energiafogyasztása (zöld) a CD-modulok számától függően. A sötétkék vízszintes sáv a PMUT szögpontosságát, a világoskék vízszintes sáv pedig a neuromorf számítási gráf szögpontosságát mutatja. b A javasolt rendszer energiafogyasztása és összehasonlítása a két tárgyalt mikrokontroller-megvalósítással és a Time Difference Encoder (TDE)47 FPGA digitális megvalósításával.
A célhelymeghatározó rendszer energiafogyasztásának minimalizálása érdekében kigondoltunk, megterveztünk és megvalósítottunk egy hatékony, eseményvezérelt RRAM-alapú neuromorf áramkört, amely feldolgozza a beépített szenzorok által generált jelinformációkat a célobjektum valós helyzetének kiszámításához. idő. . Míg a hagyományos feldolgozási módszerek folyamatosan mintavételeznek az észlelt jelekből, és számításokat végeznek a hasznos információk kinyerése érdekében, a javasolt neuromorf megoldás aszinkron módon végzi a számításokat, amint hasznos információ érkezik, öt nagyságrenddel maximalizálva a rendszer energiahatékonyságát. Ezenkívül kiemeljük az RRAM-alapú neuromorf áramkörök rugalmasságát. Az RRAM azon képessége, hogy nem illékony módon változtassa meg a vezetőképességet (plaszticitás), kompenzálja az ultrakis teljesítményű analóg DPI szinaptikus és neurális áramköreinek inherens változékonyságát. Ez teszi ezt az RRAM-alapú áramkört sokoldalúvá és erőteljessé. Nem az a célunk, hogy komplex függvényeket vagy mintákat kinyerjünk a jelekből, hanem az objektumok valós időben történő lokalizálása. Rendszerünk hatékonyan képes tömöríteni a jelet, és végül további feldolgozási lépésekhez küldeni, hogy szükség esetén bonyolultabb döntéseket hozhasson. A lokalizációs alkalmazások kontextusában a neuromorf előfeldolgozási lépésünk információkat szolgáltathat az objektumok elhelyezkedéséről. Ez az információ felhasználható például mozgásérzékelésre vagy gesztusfelismerésre. Hangsúlyozzuk az ultrakis teljesítményű érzékelők, például a pMUT-ok és az ultrakis teljesítményű elektronika kombinálásának fontosságát. Ehhez a neuromorf megközelítések kulcsfontosságúak, mivel ezek vezettek bennünket a biológiai ihletésű számítási módszerek, például a Jeffress-modell új áramköri megvalósításainak kifejlesztéséhez. A szenzorfúziós alkalmazások keretében rendszerünk több különböző esemény alapú érzékelővel kombinálható a pontosabb információk megszerzése érdekében. Bár a baglyok kitűnően találnak zsákmányt a sötétben, kiváló a látásuk, és kombinált hallási és vizuális keresést hajtanak végre, mielőtt elkapnák a zsákmányt70. Amikor egy bizonyos hallási neuron kigyullad, a bagoly megkapja azokat az információkat, amelyekre szüksége van annak meghatározásához, hogy milyen irányban kezdje meg a vizuális keresést, így a figyelmét a vizuális jelenet egy kis részére összpontosítja. Vizuális szenzorok (DVS kamera) és egy javasolt hallásérzékelő (pMUT alapú) kombinációját meg kell vizsgálni a jövőbeni autonóm ágensek kifejlesztéséhez.
A pMUT érzékelő egy NYÁK-on található, két vevővel körülbelül 10 cm-re egymástól, az adó pedig a vevők között található. Ebben a munkában mindegyik membrán egy felfüggesztett bimorf szerkezet, amely két, 800 nm vastag piezoelektromos alumínium-nitrid (AlN) rétegből áll, amelyek három, 200 nm vastag molibdén (Mo) réteg közé helyezkednek el, és egy 200 nm vastag réteggel vannak bevonva. a felső passziváló SiN réteget a hivatkozásban leírtak szerint. 71. A belső és a külső elektródákat a molibdén alsó és felső rétegére helyezik fel, míg a középső molibdén elektródát mintázatlan és földelésként használják, így négy pár elektródát tartalmazó membrán keletkezik.
Ez az architektúra lehetővé teszi a közös membrán deformáció használatát, ami jobb adási és vételi érzékenységet eredményez. Az ilyen pMUT emitterként jellemzően 700 nm/V gerjesztési érzékenységet mutat, ami 270 Pa/V felületi nyomást biztosít. Vevőként egy pMUT film 15 nA/Pa rövidzárlati érzékenységet mutat, ami közvetlenül összefügg az AlN piezoelektromos együtthatójával. Az AlN réteg feszültségének technikai változékonysága a rezonanciafrekvencia változásához vezet, amit a pMUT egyenáramú előfeszítésével lehet kompenzálni. A DC érzékenységet 0,5 kHz/V-on mértük. Az akusztikus jellemzéshez mikrofont használnak a pMUT előtt.
A visszhangimpulzus mérésére egy körülbelül 50 cm2 területű téglalap alakú lemezt helyeztünk a pMUT elé, hogy tükrözze a kibocsátott hanghullámokat. Mind a lemezek közötti távolság, mind a pMUT síkhoz viszonyított szög szabályozása speciális tartók segítségével történik. A Tectronix CPX400DP feszültségforrás három pMUT membránt előfeszít, a rezonanciafrekvenciát 111,9 kHz-re hangolja31, míg az adókat egy Tectronix AFG 3102 impulzusgenerátor hajtja meg, amely rezonanciafrekvenciára (111,9 kHz) és 0,01 munkaciklusra van hangolva. Az egyes pMUT vevők négy kimeneti portjáról leolvasott áramokat speciális differenciáláram- és feszültségarchitektúra segítségével feszültségekké alakítják, a keletkező jeleket pedig a Spektrum adatgyűjtő rendszer digitalizálja. A detektálás határát a pMUT jelvétel jellemezte különböző körülmények között: a reflektort különböző távolságokra [30, 40, 50, 60, 80, 100] cm-re mozgattuk, és megváltoztattuk a pMUT támaszszögét ([0, 20, 40] o ) A 2b. ábra az ITD időbeli észlelési felbontását mutatja a megfelelő szöghelyzettől függően fokokban.
Ez a cikk két különböző készen álló RRAM áramkört használ. Az első egy 16 384 (16 000) eszközből álló tömb (128 × 128 eszköz) 1T1R konfigurációban, egy tranzisztorral és egy ellenállással. A második chip a 4a. ábrán látható neuromorf platform. Az RRAM cella egy TiN/HfO2/Ti/TiN kötegbe ágyazott 5 nm vastag HfO2 filmből áll. Az RRAM stack a szabványos 130 nm-es CMOS folyamat back-of-line (BEOL) részébe van integrálva. Az RRAM-alapú neuromorf áramkörök tervezési kihívást jelentenek az olyan teljesen analóg elektronikus rendszerek számára, amelyekben az RRAM-eszközök a hagyományos CMOS-technológiával együtt léteznek. Különösen az RRAM eszköz vezetési állapotát kell beolvasni és a rendszer függvényváltozójaként használni. Ebből a célból egy áramkört terveztek, gyártottak és teszteltek, amely bemeneti impulzus vételekor kiolvassa az eszköz áramát, és ezt az áramot használja a differenciálpár-integrátor (DPI) szinapszis válaszának súlyozására. Ez az áramkör látható a 3a ábrán, amely a 4a ábrán látható neuromorf platform alapvető építőköveit mutatja be. Egy bemeneti impulzus aktiválja az 1T1R eszköz kapuját, és az RRAM-on keresztül az eszköz G vezetőképességével arányos áramot indukál (Iweight = G(Vtop – Vx)). A műveleti erősítő (op-amp) áramkör invertáló bemenete állandó DC előfeszítő feszültségű Vtop. A műveleti erősítő negatív visszacsatolása Vx = Vtopot biztosít azáltal, hogy egyenlő áramot biztosít az M1-ből. Az eszközről leolvasott aktuális Iweight-t a DPI szinapszisba fecskendezik. Az erősebb áram nagyobb depolarizációt eredményez, így az RRAM vezetőképessége hatékonyan valósítja meg a szinaptikus súlyokat. Ezt az exponenciális szinaptikus áramot a Leaky Integration and Excitation (LIF) neuronok membránkondenzátorán keresztül fecskendezik be, ahol feszültségként integrálódnak. Ha a membrán küszöbfeszültségét (az inverter kapcsolási feszültségét) túllépjük, a neuron kimeneti része aktiválódik, és kimeneti tüske keletkezik. Ez az impulzus visszatér, és a neuron membránkondenzátorát a földre söntöli, ami kisülést okoz. Ezt az áramkört azután egy impulzusbővítővel egészítik ki (a 3a. ábrán nem látható), amely a LIF neuron kimeneti impulzusát a cél impulzusszélességre formálja. Az egyes vonalakba multiplexerek is be vannak építve, amelyek lehetővé teszik az RRAM eszköz felső és alsó elektródáinak feszültségellátását.
Az elektromos tesztelés magában foglalja az analóg áramkörök dinamikus viselkedésének elemzését és rögzítését, valamint az RRAM-eszközök programozását és olvasását. Mindkét lépéshez speciális szerszámok szükségesek, amelyek mindegyike egyidejűleg csatlakozik az érzékelőkártyához. A neuromorf áramkörökben lévő RRAM-eszközökhöz való hozzáférés külső eszközökről multiplexeren (MUX) keresztül történik. A MUX elválasztja az 1T1R cellát az áramkör többi részétől, amelyhez tartozik, lehetővé téve az eszköz olvasását és/vagy programozását. Az RRAM-eszközök programozásához és olvasásához Keithley 4200 SCS gépet használnak egy Arduino mikrokontrollerrel együtt: az első a pontos impulzusgenerálás és az áramleolvasás, a második pedig a memóriatömb egyes 1T1R elemeinek gyors eléréséhez. Az első művelet az RRAM eszköz létrehozása. A cellákat egyenként választják ki, és pozitív feszültséget kapcsolnak a felső és alsó elektródák közé. Ebben az esetben az áramerősség tíz mikroamper nagyságrendűre korlátozódik, mivel a megfelelő kapufeszültséget a választó tranzisztorra táplálják. Az RRAM cella ezután válthat az alacsony vezetőképességű állapot (LCS) és a magas vezetőképességű állapot (HCS) között a RESET és a SET műveletek segítségével. A SET műveletet úgy hajtják végre, hogy a felső elektródára 1 μs időtartamú, 2,0-2,5 V csúcsfeszültségű téglalap alakú feszültségimpulzust, valamint 0,9-1,3 V csúcsfeszültségű, hasonló alakú szinkronimpulzust adunk. a választó tranzisztor kapuja. Ezek az értékek lehetővé teszik az RRAM vezetőképességének modulálását 20-150 µs-os időközönként. RESET esetén egy 1 µs széles, 3 V-os csúcsimpulzust adnak a cella alsó elektródájára (bitvonalra), ha a kapufeszültség 2,5-3,0 V tartományban van. Az analóg áramkörök be- és kimenetei dinamikus jelek. . Bemenetként két HP 8110-es impulzusgenerátort összekapcsoltunk Tektronix AFG3011 jelgenerátorokkal. A bemeneti impulzus szélessége 1 µs, a felfutó/eső éle pedig 50 ns. Az ilyen típusú impulzusokról feltételezzük, hogy az analóg hibaalapú áramkörök tipikus hibája. Ami a kimeneti jelet illeti, a kimeneti jelet Teledyne LeCroy 1 GHz-es oszcilloszkóppal rögzítettük. Az oszcilloszkóp adatgyűjtési sebessége bizonyítottan nem korlátozó tényező az áramköri adatok elemzésében és gyűjtésében.
Az analóg elektronika dinamikájának használata a neuronok és szinapszisok viselkedésének szimulálására elegáns és hatékony megoldás a számítási hatékonyság javítására. Ennek a számítási alátétnek az a hátránya, hogy sémánként változni fog. Számszerűsítettük a neuronok és szinaptikus áramkörök változékonyságát (2a, b kiegészítő ábra). A változékonyság megnyilvánulásai közül az időállandókkal és a bemeneti nyereséggel kapcsolatosak a legnagyobb hatást rendszerszinten. A LIF neuron és a DPI szinapszis időállandóját egy RC áramkör határozza meg, ahol R értékét a tranzisztor kapujára adott előfeszítő feszültség szabályozza (a neuronnál Vlk, a szinapszisnál Vtau), meghatározva a szivárgási arány. A bemeneti erősítés a bemeneti impulzussal stimulált szinaptikus és neuronális membránkondenzátorok által elért csúcsfeszültség. A bemeneti erősítést egy másik előfeszített tranzisztor vezérli, amely modulálja a bemeneti áramot. Az ST Microelectronics 130 nm-es folyamatára kalibrált Monte Carlo szimulációt végeztünk, hogy gyűjtsünk némi bemeneti nyereséget és időállandót. Az eredményeket a 2. kiegészítő ábra mutatja be, ahol a bemeneti erősítést és az időállandót a szivárgási sebességet szabályozó előfeszítő feszültség függvényében számszerűsítjük. A zöld markerek számszerűsítik az időállandónak az átlagtól való szórását. Mind a neuronok, mind a szinaptikus áramkörök képesek voltak az időállandók széles tartományát kifejezni 10-5-10-2 s tartományban, amint azt a kiegészítő ábra mutatja. A neuronális és szinapszis variabilitás bemeneti amplifikációja (2e, d kiegészítő ábra) körülbelül 8%, illetve 3% volt. Ez a hiányosság jól dokumentált a szakirodalomban: különféle méréseket végeztek a DYNAP chipek tömbjén, hogy felmérjék a LIF63 neuronok populációi közötti eltérést. Megmérték a BrainScale vegyes jel chipben lévő szinapszisokat és elemezték azok inkonzisztenciáit, valamint kalibrációs eljárást javasoltak a rendszerszintű variabilitás hatásának csökkentésére64.
Az RRAM funkciója a neuromorf áramkörökben kettős: az architektúra meghatározása (a bemenetek és a kimenetek továbbítása) és a szinaptikus súlyok megvalósítása. Ez utóbbi tulajdonság segítségével megoldható a modellezett neuromorf áramkörök változékonyságának problémája. Kidolgoztunk egy egyszerű kalibrációs eljárást, amely magában foglalja az RRAM eszköz újraprogramozását, amíg az elemzett áramkör el nem ér bizonyos követelményeket. Egy adott bemenetnél a kimenetet a rendszer figyeli, és az RRAM-ot újraprogramozza a cél viselkedés eléréséig. A programozási műveletek között 5 másodperces várakozási időt vezettünk be, hogy megoldjuk az RRAM relaxációjának problémáját, amely tranziens konduktancia-ingadozásokat eredményez (kiegészítő információ). A szinaptikus súlyokat a modellezett neuromorf áramkör követelményei szerint állítják be vagy kalibrálják. A kalibrálási eljárást további algoritmusok foglalják össze [1, 2], amelyek a neuromorf platformok két alapvető jellemzőjére, a késleltetési vonalakra és az irányérzéketlen CD-re összpontosítanak. Késleltető vonallal rendelkező áramkör esetén a cél viselkedés az, hogy Δt késleltetésű kimeneti impulzust biztosítsanak. Ha a tényleges áramköri késleltetés kisebb, mint a célérték, a G3 szinaptikus súlyát csökkenteni kell (a G3-at vissza kell állítani, majd alacsonyabb illesztőáramra kell állítani az Icc-t). Ezzel szemben, ha a tényleges késleltetés nagyobb, mint a célérték, akkor a G3 vezetőképességét növelni kell (a G3-at először alaphelyzetbe kell állítani, majd magasabb Icc értékre kell állítani). Ez a folyamat mindaddig ismétlődik, amíg az áramkör által generált késleltetés meg nem egyezik a célértékkel, és a kalibrációs folyamat leállításához tűrést nem állítanak be. A tájolásra nem érzékeny CD-k esetében két RRAM-eszköz, a G1 és a G3 vesz részt a kalibrálási folyamatban. Ennek az áramkörnek két bemenete van, Vin0 és Vin1, dt késleltetéssel. Az áramkörnek csak a [0,dtCD] illesztési tartomány alatti késleltetésekre kell reagálnia. Ha nincs kimeneti csúcs, de a bemeneti csúcs közel van, mindkét RRAM-eszközt fel kell erősíteni, hogy segítse a neuronnak a küszöb elérését. Ezzel szemben, ha az áramkör olyan késleltetésre reagál, amely meghaladja a dtCD céltartományát, a vezetőképességet csökkenteni kell. Ismételje meg a folyamatot, amíg el nem éri a megfelelő viselkedést. A megfelelőségi áram modulálható a beépített analóg áramkörrel a ref. 72,73. Ezzel a beépített áramkörrel az ilyen eljárások rendszeresen elvégezhetők a rendszer kalibrálásához vagy egy másik alkalmazáshoz való újrafelhasználásához.
Kiértékeljük a neuromorf jelfeldolgozási megközelítésünk energiafogyasztását egy szabványos 32 bites mikrokontrolleren68. Ebben az értékelésben feltételezzük, hogy ugyanazzal a beállítással működik, mint ebben a cikkben, egy pMUT adóval és két pMUT vevővel. Ez a módszer egy sávszűrőt használ, majd egy burkológörbe kivonási lépést (Teeger-Kaiser), végül pedig egy küszöbműveletet alkalmaznak a jelre, hogy kivonják a repülési időt. Az ITD kiszámítása és érzékelési szögekre való konvertálása kimarad az értékelésből. Egy 18 lebegőpontos műveletet igénylő 4. rendű végtelen impulzusválasz szűrőt használó sávszűrő megvalósítást tekintünk. A borítékkivonás további három lebegőpontos műveletet használ, és az utolsó művelet a küszöbérték beállítására szolgál. Összesen 22 lebegőpontos művelet szükséges a jel előfeldolgozásához. Az átvitt jel egy 111,9 kHz-es, 10 ms-onként generált rövid szinuszos hullám, amely 100 Hz-es pozicionálási működési frekvenciát eredményez. A Nyquist követelményeinek való megfelelés érdekében 250 kHz-es mintavételezési frekvenciát használtunk, és minden méréshez 6 ms-os ablakot használtunk az 1 méteres tartomány rögzítéséhez. Ne feledje, hogy 6 ezredmásodperc egy 1 méter távolságra lévő objektum repülési ideje. Ez 180 µW energiafogyasztást biztosít az A/D konverzióhoz 0,5 MSPS mellett. A jel előfeldolgozása 6,60 MIPS (utasítás/másodperc), 0,75 mW-ot generál. A mikrokontroller azonban átválthat alacsony fogyasztású 69 üzemmódba, amikor az algoritmus nem fut. Ez az üzemmód 10,8 μW statikus energiafogyasztást és 113 μs ébredési időt biztosít. 84 MHz-es órajel mellett a mikrokontroller a neuromorf algoritmus összes műveletét 10 ms-on belül elvégzi, és az algoritmus 6,3%-os munkaciklust számol, így alacsony fogyasztású üzemmódot használ. Az így kapott teljesítmény disszipáció 244,7 μW. Megjegyzendő, hogy az ITD kimenetet kihagyjuk a ToF-ből és az érzékelési szögre való átalakítást, így alábecsüljük a mikrokontroller energiafogyasztását. Ez további értéket biztosít a javasolt rendszer energiahatékonysága szempontjából. További összehasonlítási feltételként értékeljük a referenciában javasolt klasszikus sugárformálási módszerek teljesítményfelvételét. 31,54, ha ugyanabba a mikrokontrollerbe68 van beépítve 1,8 V tápfeszültség mellett. Öt egyenletesen elhelyezett pMUT membránt használunk a nyalábformáláshoz szükséges adatok gyűjtésére. Ami magát a feldolgozást illeti, az alkalmazott nyalábformáló módszer a késleltetés összegzése. Egyszerűen abból áll, hogy késleltetést alkalmaznak a sávokra, amelyek megfelelnek az egyik sáv és a referenciasáv közötti érkezési idők várható különbségének. Ha a jelek fázisban vannak, akkor ezeknek a jeleknek az összege időeltolás után nagy energiájú lesz. Ha fázison kívül vannak, a destruktív interferencia korlátozza az összegük energiáját. egy kapcsolatban. ábrán. A 31. ábrán 2 MHz-es mintavételezési frekvencia van kiválasztva az adatok egész számú mintával való időbeli eltolásához. Szerényebb megközelítés a durvább, 250 kHz-es mintavételezés fenntartása, és a véges impulzusválasz (FIR) szűrő használata a töredékkésések szintetizálására. Feltételezzük, hogy a nyalábformáló algoritmus bonyolultságát elsősorban az időeltolás határozza meg, mivel minden csatorna egy FIR szűrővel van konvolálva, mindkét irányban 16 leágazású. A művelethez szükséges MIPS-ek számának kiszámításához mérésenként 6 ms-os ablakot veszünk figyelembe, amely 1 méteres tartományt, 5 csatornát, 11 sugárformálási irányt (+/- 50° tartomány 10°-os lépésekben) rögzít. A másodpercenkénti 75 mérés a maximális 100 MIPS-re emelte a mikrokontrollert. Link. 68, ami 11,26 mW teljesítményveszteséget eredményez, 11,71 mW teljes teljesítménydisszipáció mellett a fedélzeti ADC hozzájárulás hozzáadása után.
A tanulmány eredményeit alátámasztó adatok ésszerű kérésre rendelkezésre állnak a megfelelő szerzőtől, az FM-től.
Indiveri, G. & Sandamirskaya, Y. A tér és az idő jelentősége a jelfeldolgozáshoz neuromorf ágensekben: A környezettel kölcsönhatásba lépő, kis teljesítményű, autonóm ágensek fejlesztésének kihívása. Indiveri, G. & Sandamirskaya, Y. A tér és az idő jelentősége a jelfeldolgozáshoz neuromorf ágensekben: A környezettel kölcsönhatásba lépő, kis teljesítményű, autonóm ágensek fejlesztésének kihívása.Indiveri G. és Sandamirskaya Y. A tér és az idő jelentősége a jelfeldolgozásban neuromorf ágensekben: a környezettel kölcsönhatásba lépő, kis teljesítményű autonóm ágensek fejlesztésének kihívása. Indiveri, G. & Sandamirskaya, Y.空间和时间对于神经形态代理中信号处理的重要性：开发与环境交互的低功耗、自主代理的挑战. Indiveri, G. & Sandamirskaya, Y.Indiveri G. és Sandamirskaya Y. A tér és az idő jelentősége a jelfeldolgozásban neuromorf ágensekben: a környezettel kölcsönhatásba lépő, kis teljesítményű autonóm ágensek fejlesztésének kihívása.IEEE jelfeldolgozás. Journal 36, 16–28 (2019).
Thorpe, SJ Csúcs érkezési idő: Hatékony neurális hálózati kódolási séma. Eckmiller, R., Hartmann, G. & Hauske, G. (szerk.). Eckmiller, R., Hartmann, G. & Hauske, G. (szerk.).Eckmiller, R., Hartmann, G. és Hauske, G. (szerk.).Eckmiller, R., Hartmann, G. és Hauske, G. (szerk.). Párhuzamos feldolgozás neurális rendszerekben és számítógépekben 91–94 (North-Holland Elsevier, 1990).
Levy, WB & Calvert, VG A kommunikáció 35-ször több energiát fogyaszt, mint a számítás az emberi kéregben, de mindkét költségre szükség van a szinapszisszám előrejelzéséhez. Levy, WB & Calvert, VG A kommunikáció 35-ször több energiát fogyaszt, mint a számítás az emberi kéregben, de mindkét költségre szükség van a szinapszisszám előrejelzéséhez.Levy, WB és Calvert, WG A kommunikáció 35-ször több energiát fogyaszt, mint a számítás az emberi kéregben, de mindkét költségre szükség van a szinapszisok számának előrejelzéséhez. Levy, WB & Calvert, VG Communication Kommunikáció Levy, WB & Calvert, VG kommunikációLevy, WB és Calvert, WG A kommunikáció 35-ször több energiát fogyaszt, mint a számítás az emberi kéregben, de mindkét költség megköveteli a szinapszisok számának előrejelzését.folyamat. Nemzeti Tudományos Akadémia. a tudomány. US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing.Dalgati, T., Vianello, E., DeSalvo, B. és Casas, J. Rovarok által ihletett neuromorf számítástechnika.Dalgati T., Vianello E., DeSalvo B. és Casas J. Rovarok által inspirált neuromorf számítástechnika. Jelenlegi. Vélemény. Rovartudomány. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Towards spike-based machine intelligence with neuromorphic computing. Roy, K., Jaiswal, A. & Panda, P. Towards spike-based machine intelligence with neuromorphic computing. Roy, K., Jaiswal, A. & Panda, P. Towards Spike-Based Machine Intelligence with Neuromorphic Computing.Roy K, Jaiswal A és Panda P. Impulzus alapú mesterséges intelligencia neuromorf számítástechnikával. Nature 575, 607–617 (2019).
Indiveri, G. és Liu, S.-C. Indiveri, G. és Liu, S.-C.Indiveri, G. és Liu, S.-K. Indiveri, G. és Liu, S.-C. Indiveri, G. és Liu, S.-C.Indiveri, G. és Liu, S.-K.Memória és információfeldolgozás neuromorf rendszerekben. folyamat. IEEE 103, 1379–1397 (2015).
Akopyan F. et al. Truenorth: Tervezés és eszközkészlet egy 65 mW-os, 1 millió neuronos programozható szinaptikus chiphez. IEEE tranzakciók. Integrált áramköri rendszerek számítógépes tervezése. 34, 1537–1557 (2015).
Schemmel, J. et al. Élő bemutató: a BrainScaleS neuromorf rendszer kicsinyített változata lemezes léptékben. 2012 IEEE International Symposium on Circuits and Systems (ISCAS), (IEEE szerk.) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Egy skálázható többmagos architektúra heterogén memóriastruktúrákkal dinamikus neuromorf aszinkron processzorokhoz (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Egy skálázható többmagos architektúra heterogén memóriastruktúrákkal dinamikus neuromorf aszinkron processzorokhoz (DYNAP).Moradi S., Qiao N., Stefanini F. és Indiviri G. Méretezhető többmagos architektúra heterogén memóriastruktúrákkal dinamikus neuromorf aszinkron processzorokhoz (DYNAP). Moradi, S., Qiao, N., Stefanini, F. és Indiveri, G.的异构内存结构. Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Egyfajta bővíthető többmagos architektúra, egyedi memóriastruktúrával a dinamikus neurális feldolgozáshoz (DYNAP).Moradi S., Qiao N., Stefanini F. és Indiviri G. Méretezhető többmagos architektúra heterogén memóriastruktúrákkal dinamikus neuromorf aszinkron processzorokhoz (DYNAP).IEEE Transactions on Biomedical Science. elektromos rendszer. 12, 106–122 (2018).
Davis, M. et al. Loihi: Neuromorf többmagos processzor beágyazott tanulással. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA A SpiNNaker projekt. Furber, SB, Galluppi, F., Temple, S. & Plana, LA A SpiNNaker projekt.Ferber SB, Galluppi F., Temple S. és Plana LA SpiNNaker projekt.Ferber SB, Galluppi F., Temple S. és Plana LA SpiNNaker projekt. folyamat. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Neuromorf szenzoros rendszerek. & Delbruck, T. Neuromorf szenzoros rendszerek.és Delbrück T. Neuromorf szenzoros rendszerek. & Delbruck, T. 神经形态感觉系统. & Delbruck, T.és Delbrück T. Neuromorf szenzoros rendszer.Jelenlegi. Vélemény. Neurobiológia. 20, 288–295 (2010).
Chope, T. et al. Neuromorf szenzoros integráció a hangforrás lokalizációja és az ütközések elkerülése érdekében. 2019-ben az IEEE Biomedical Circuits and Systems konferenciáján (BioCAS), (IEEE Edit.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. A spike-based neuromorphic architecture of stereo vision. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. A spike-based neuromorphic architecture of stereo vision.Risi N, Aymar A, Donati E, Solinas S és Indiveri G. A spike-based neuromorphic stereovision architektúra. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S és Indiveri G. Spike-alapú neuromorf architektúra sztereó látáshoz.elülső. Neurorobotics 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. A 3D-percepció tüskés neurális hálózati modellje eseményalapú neuromorf sztereó látásrendszerekhez. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. A 3D-percepció tüskés neurális hálózati modellje eseményalapú neuromorf sztereó látásrendszerekhez.Oswald, M., Ieng, S.-H., Benosman, R. és Indiveri, G. A 3D Pulsed Neural Network Perception Model for Event-Based Neuromorphic Stereo Vision Systems. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型.Oswald, M., Ieng, S.-H., Benosman, R. és Indiveri, G. Spiked 3Dperception Neural Network Model for an Event-Based Neuromorphic Stereo Vision System.a tudomány. Jelentés 7, 1–11 (2017).
Dalgaty, T. et al. A rovarok által ihletett alapvető mozgásérzékelés rezisztív memóriát és bursty neurális hálózatokat foglal magában. Bionikus biohibrid rendszer. 10928, 115–128 (2018).
D'Angelo, G. et al. Eseményalapú excentrikus mozgásérzékelés időbeli differenciális kódolással. elülső. Ideggyógyászat. 14, 451 (2020).