Апликациите за обработка на податоци во реалниот свет бараат компактни компјутерски системи со мала латентност и ниска моќност. Со пресметковните способности управувани од настани, комплементарните хибридни мемристични невроморфни архитектури од метал-оксид-полупроводник обезбедуваат идеална хардверска основа за такви задачи. За да го покажеме целосниот потенцијал на таквите системи, предлагаме и експериментално демонстрираме сеопфатно решение за обработка на сензори за апликации за локализација на објекти во реалниот свет. Цртајќи инспирација од невроанатомијата на штала був, развивме биоинспириран систем за локализација на објекти управуван од настани, кој комбинира најсовремен пиезоелектричен микромеханички трансдуцер со невроморфна резистивна меморија базирана на пресметковни графикони. Прикажуваме мерења на фабрикуван систем кој вклучува детектор на отпорна случајност базиран на меморија, коло за одложена линија и целосно приспособлив ултразвучен трансдуцер. Ги користиме овие експериментални резултати за калибрирање на симулации на ниво на системот. Овие симулации потоа се користат за да се оцени аголната резолуција и енергетската ефикасност на моделот за локализација на објектот. Резултатите покажуваат дека нашиот пристап може да биде енергетски поефикасен од неколку реда на големина од микроконтролерите кои ја извршуваат истата задача.
Влегуваме во ера на сеприсутни компјутери каде што бројот на уреди и системи што се распоредени расте експоненцијално за да ни помогнат во секојдневниот живот. Се очекува овие системи да работат континуирано, трошејќи што е можно помалку енергија додека учат да ги интерпретираат податоците што ги собираат од повеќе сензори во реално време и да произведуваат бинарен излез како резултат на задачите за класификација или препознавање. Еден од најважните чекори потребни за постигнување на оваа цел е извлекување корисни и компактни информации од бучни и често нецелосни сензорни податоци. Конвенционалните инженерски пристапи обично се примероци од сензорски сигнали со константна и висока брзина, генерирајќи големи количини на податоци дури и во отсуство на корисни влезови. Дополнително, овие методи користат сложени техники за обработка на дигитален сигнал за претходна обработка на влезните (често бучни) податоци. Наместо тоа, биологијата нуди алтернативни решенија за обработка на бучни сензорни податоци со користење на енергетски ефикасни, асинхрони пристапи водени од настани (шила)2,3. Невроморфното пресметување зема инспирација од биолошките системи за да ги намали пресметковните трошоци во однос на барањата за енергија и меморија во споредба со традиционалните методи за обработка на сигнали4,5,6. Неодамна, беа демонстрирани иновативни системи засновани на мозок за општа намена кои имплементираат импулсни невронски мрежи (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Овие процесори обезбедуваат решенија со мала моќност и ниска латентност за машинско учење и моделирање на кортикални кола. За целосно искористување на нивната енергетска ефикасност, овие невроморфни процесори мора да бидат директно поврзани со сензори управувани од настани12,13. Сепак, денес има само неколку уреди на допир кои директно обезбедуваат податоци управувани од настани. Истакнати примери се динамичките визуелни сензори (DVS) за апликации за вид како што се следење и детекција на движење14,15,16,17 силициумската кохлеа18 и невроморфните аудитивни сензори (NAS)19 за обработка на аудитивни сигнали, миризливи сензори20 и бројни примери21,22 на допир. . сензори за текстура.
Во овој труд, го презентираме новоразвиениот систем за аудитивна обработка управуван од настани, применет за локализација на објектот. Овде, за прв пат, опишуваме систем од крај до крај за локализација на објекти добиен со поврзување на најсовремен пиезоелектричен микромашински ултразвучен трансдуцер (pMUT) со пресметковен график базиран на невроморфна отпорна меморија (RRAM). Пресметковните архитектури во меморијата кои користат RRAM се ветувачко решение за намалување на потрошувачката на енергија23,24,25,26,27,28,29. Нивната вродена нестабилност - не бара активна потрошувачка на енергија за складирање или ажурирање информации - совршено се вклопува со асинхроната природа на невроморфното пресметување водена од настани, што резултира со речиси никаква потрошувачка на енергија кога системот е неактивен. Пиезоелектричните микромашински ултразвучни трансдуктори (pMUTs) се ефтини, минијатуризирани ултразвучни претворувачи на база на силикон, способни да дејствуваат како предаватели и приемници30,31,32,33,34. За да ги обработиме сигналите што ги добиваат вградените сензори, црпевме инспирација од невроанатомијата на був штала35,36,37. Бувот од штала Tyto alba е познат по своите извонредни способности за ноќно ловење благодарение на многу ефикасниот систем за локализација на слухот. За да се пресмета локацијата на пленот, системот за локализација на шталата го шифрира времето на летот (ToF) кога звучните бранови од пленот допираат до ушите на бувот или до звучните рецептори. Со оглед на растојанието помеѓу ушите, разликата помеѓу двете мерења на ToF (Interaural Time Difference, ITD) овозможува аналитичко пресметување на азимутската позиција на целта. Иако биолошките системи се слабо прилагодени за решавање на алгебарски равенки, тие можат многу ефикасно да ги решат проблемите со локализација. Нервниот систем на був од штала користи збир од детектор на случајност (CD)35 неврони (т.е. неврони способни да детектираат временски корелации помеѓу шила кои се шират надолу до конвергентни возбудливи завршетоци)38,39 организирани во пресметковни графикони за да ги решат проблемите со позиционирање.
Претходните истражувања покажаа дека комплементарниот хардвер со метал-оксид-полупроводник (CMOS) и невроморфен хардвер базиран на RRAM инспириран од долниот коликулус („аудитивен кортекс“) на бувот на шталата е ефикасен метод за пресметување на положбата користејќи ITD13, 40, 41, 42, 43, 44, 45, 46. Меѓутоа, на Потенцијалот на комплетните невроморфни системи кои ги поврзуваат аудитивните знаци со невроморфните пресметковни графикони допрва треба да се докаже. Главниот проблем е вродената варијабилност на аналогните CMOS кола, што влијае на точноста на откривањето на совпаѓање. Неодамна, беа прикажани алтернативни нумерички имплементации на проценките ITD47. Во овој труд, предлагаме да ја искористиме способноста на RRAM да ја промени вредноста на спроводливоста на неиспарлив начин за да се спротивстави на варијабилноста во аналогните кола. Спроведовме експериментален систем кој се состои од една мембрана за предавање pMUT која работи на фреквенција од 111,9 kHz, две мембрани за примање pMUT (сензори) кои симулираат уши од бувови од штала и еден . Експериментално го карактеризиравме системот за откривање pMUT и пресметковниот график ITD базиран на RRAM за да го тестираме нашиот систем за локализација и да ја оцениме неговата аголна резолуција.
Нашиот метод го споредуваме со дигитална имплементација на микроконтролер кој ја извршува истата задача за локализација користејќи конвенционални методи за формирање на зрак или невроморфни методи, како и теренска програмабилна порта низа (FPGA) за ITD проценка предложена во референцата. 47. Оваа споредба ја нагласува конкурентната енергетска ефикасност на предложениот аналоген невроморфен систем базиран на RRAM.
Еден од највпечатливите примери за точен и ефикасен систем за локализација на објекти може да се најде во штала wl35,37,48. Во самрак и зори, штала бувот (Tyto Alba) првенствено се потпира на пасивно слушање, активно барајќи мал плен како што се бувчиња или глувци. Овие аудитивни експерти можат да ги локализираат аудитивните сигнали од пленот со неверојатна точност (околу 2°)35, како што е прикажано на сл. 1а. Амбарските бувови ја заклучуваат локацијата на изворите на звук во азимутската (хоризонтална) рамнина од разликата во времето на летот (ИТД) од изворот на звук до двете уши. ITD пресметковниот механизам беше предложен од Jeffress49,50 кој се потпира на нервната геометрија и бара две клучни компоненти: аксон, нервно влакно на неврон што делува како линија за одложување и низа неврони за детектор на коинциденција организирани во пресметковен систем. графикон како што е прикажано на слика 1б. Звукот допира до увото со временско доцнење зависно од азимут (ITD). Звукот потоа се претвора во шилеста шема во секое уво. Аксоните на левото и десното уво делуваат како линии за одложување и се спојуваат на ЦД невроните. Теоретски, само еден неврон во низа на совпаднати неврони ќе добива влез во исто време (каде што доцнењето точно се откажува) и ќе се активира максимално (соседните ќелии исто така ќе се активираат, но со помала фреквенција). Активирањето на одредени неврони ја шифрира позицијата на целта во вселената без дополнително претворање на ITD во агли. Овој концепт е сумиран на слика 1в: на пример, ако звукот доаѓа од десната страна кога влезниот сигнал од десното уво поминува подолг пат од патеката од левото уво, компензирајќи за бројот на ITD, на пример, кога невронот 2 се совпаѓа. Со други зборови, секое ЦД реагира на одредено ITD (исто така познато како оптимално доцнење) поради аксонално доцнење. Така, мозокот ги претвора временските информации во просторни информации. Пронајдени се анатомски докази за овој механизам37,51. Макронуклеусните неврони заклучени со фаза складираат временски информации за дојдовните звуци: како што имплицира нивното име, тие палат во одредени фази на сигналот. Во ламинарното јадро може да се најдат неврони за детектор на случајност на моделот Џефрес. Тие добиваат информации од макронуклеарни неврони, чии аксони дејствуваат како линии за одложување. Количината на доцнење обезбедено од линијата за одложување може да се објасни со должината на аксонот, како и со друга шема на миелинизација што ја менува брзината на спроводливост. Инспирирани од аудитивниот систем на бувот на шталата, развивме биомиметички систем за локализирање на предметите. Двете уши се претставени со два pMUT приемници. Изворот на звукот е предавателот pMUT кој се наоѓа помеѓу нив (сл. 1а), а пресметковниот график е формиран од мрежа од ЦД кола базирани на RRAM (сл. 1б, зелено), играјќи ја улогата на ЦД неврони чии влезови се одложени. низ колото, линиите за одложување (сини) делуваат како аксони во биолошкиот пандан. Предложениот сензорен систем се разликува по работна фреквенција од онаа на бувот, чиј аудитивен систем работи во опсег од 1-8 kHz, но во оваа работа се користат сензори pMUT кои работат на околу 117 kHz. Изборот на ултразвучен трансдуцер се разгледува според техничките критериуми и критериумите за оптимизација. Прво, ограничувањето на пропусниот опсег на примање на една фреквенција идеално ја подобрува точноста на мерењето и го поедноставува чекорот по обработката. Покрај тоа, работата на ултразвук има предност што емитираните импулси не се слушаат, затоа не ги вознемирувајте луѓето, бидејќи нивниот аудитивен опсег е ~20-20 kHz.
бувот од шталата прима звучни бранови од целта, во овој случај движечкиот плен. Времето на летот (ToF) на звучниот бран е различно за секое уво (освен ако пленот е директно пред бувот). Испрекината линија го покажува патот по кој звучните бранови стигнат до ушите на бувот. Пленот може точно да се локализира во хоризонталната рамнина врз основа на разликата во должина помеѓу двете акустични патеки и соодветната интераурална временска разлика (ITD) (левата слика инспирирана од реф. 74, авторски права 2002 година, Society for Neuroscience). Во нашиот систем, предавателот pMUT (темно сина) генерира звучни бранови кои отскокнуваат од целта. Рефлектираните ултразвучни бранови се примаат од два приема pMUT (светло зелена) и се обработуваат од невроморфниот процесор (десно). б ITD (Jeffress) пресметковен модел кој опишува како звуците што влегуваат во ушите на бувот на шталата најпрво се кодирани како фази заклучени шила во големото јадро (NM), а потоа се користи геометриски распоредена мрежа од соодветни детекторски неврони во ламеларното јадро. Обработка (Холандија) (лево). Илустрација на пресметковен график neuroITD кој комбинира линии за одложување и неврони за детектор на случајност, системот за биосензор на був може да се моделира со помош на невроморфни кола базирани на RRAM (десно). в Шематски на главниот механизам на Џефрес, поради разликата во ToF, двете уши примаат звучни дразби во различно време и испраќаат аксони од двата краја до детекторот. Аксоните се дел од серијата неврони со детектор на случајност (CD), од кои секој реагира селективно на силно временски корелирани влезови. Како резултат на тоа, само ЦД-а чии влезови пристигнуваат со најмала временска разлика се максимално возбудени (ITD точно се компензира). ЦД-то потоа ќе ја шифрира аголната положба на целта.
Пиезоелектричните микромеханички ултразвучни трансдуктори се скалабилни ултразвучни трансдуктори кои можат да се интегрираат со напредната CMOS технологија31,32,33,52 и имаат помал почетен напон и потрошувачка на енергија од традиционалните волуметриски претворувачи53. Во нашата работа, дијаметарот на мембраната е 880 µm, а резонантната фреквенција е распределена во опсег од 110-117 kHz (сл. 2а, видете Методи за детали). Во серија од десет тест уреди, просечниот фактор на квалитет беше околу 50 (уп. 31). Технологијата достигна индустриска зрелост и не е биоинспирирана сама по себе. Комбинирањето информации од различни pMUT филмови е добро позната техника, а информациите за аголот може да се добијат од pMUTs користејќи, на пример, техники за формирање на зрак31,54. Сепак, обработката на сигналот потребна за извлекување на информациите за аголот не е погодна за мерења со мала моќност. Предложениот систем го комбинира невроморфното коло за претпроцесирање на податоци pMUT со невроморфен пресметковен график базиран на RRAM инспириран од моделот на Џефрес (слика 2в), обезбедувајќи алтернативно енергетско ефикасно и хардверско решение со ограничени ресурси. Направивме експеримент во кој два pMUT сензори беа поставени на приближно 10 cm еден од друг за да ги искористат различните ToF звуци што ги добиваат двете мембрани за примање. Еден pMUT кој делува како предавател седи помеѓу приемниците. Целта беше ПВЦ плоча широка 12 cm, сместена на растојание D пред уредот pMUT (сл. 2б). Приемникот го снима звукот што се рефлектира од објектот и реагира колку што е можно повеќе за време на поминувањето на звучниот бран. Повторете го експериментот со менување на положбата на објектот, одредена од растојанието D и аголот θ. Инспириран од врска. 55, предлагаме невроморфна претходна обработка на pMUT необработени сигнали за претворање на рефлектираните бранови во врвови за внесување на невроморфен пресметковен график. ToF што одговара на амплитудата на врвовите се извлекува од секој од двата канали и се кодира како точно тајминг на поединечните врвови. На сл. 2c го прикажува колото потребно за поврзување на сензорот pMUT со пресметковен график базиран на RRAM: за секој од двата приема pMUT, необработениот сигнал се филтрира со бенд-пропус за да се изедначи, исправи и потоа се пренесува до интеграторот што протекува во режим на надминување. динамичкиот праг (сл. 2г) создава излезен настан (шип) и неврон за отпуштање (LIF): времето на излезниот скок го шифрира откриеното време на летот. Прагот LIF е калибриран според одговорот pMUT, со што се намалува варијабилноста на pMUT од уред до уред. Со овој пристап, наместо да го складираме целиот звучен бран во меморијата и да го обработуваме подоцна, ние едноставно генерираме врв што одговара на ToF на звучниот бран, кој го формира влезот во пресметковниот график на резистивна меморија. Боцките се испраќаат директно до линиите за одложување и се паралелизираат со модулите за откривање на совпаѓање во невроморфните пресметковни графикони. Бидејќи тие се испраќаат до портите на транзисторите, не се потребни дополнителни кола за засилување (видете ја дополнителната слика 4 за детали). За да ја оцениме аголната точност на локализацијата обезбедена од pMUT и предложениот метод за обработка на сигналот, го измеривме ITD (односно, разликата во времето помеѓу врвните настани генерирани од два приема) бидејќи растојанието и аголот на објектот варираат. Анализата на ITD потоа беше претворена во агли (види Методи) и исцртана според позицијата на објектот: неизвесноста во измерената ITD се зголемуваше со растојанието и аголот до објектот (сл. 2e,f). Главниот проблем е односот врв-шум (PNR) во одговорот pMUT. Колку подалеку е објектот, толку е помал звучниот сигнал, а со тоа се намалува PNR (сл. 2f, зелена линија). Намалувањето на PNR доведува до зголемување на неизвесноста во проценката на ITD, што резултира со зголемување на точноста на локализацијата (сл. 2f, сина линија). За објект на растојание од 50 cm од предавателот, аголната точност на системот е приближно 10°. Ова ограничување наметнато од карактеристиките на сензорот може да се подобри. На пример, притисокот испратен од емитерот може да се зголеми, а со тоа да се зголеми напонот што ја движи pMUT мембраната. Друго решение за засилување на пренесениот сигнал е поврзување на повеќе предаватели 56. Овие решенија ќе го зголемат опсегот на откривање на сметка на зголемените трошоци за енергија. Може да се направат дополнителни подобрувања на страната на примачот. Подот на бучавата на приемникот на pMUT може значително да се намали со подобрување на врската помеѓу pMUT и засилувачот на првата фаза, што во моментов се прави со жичени врски и кабли RJ45.
Слика на кристал pMUT со шест мембрани од 880 µm интегрирани со чекор од 1,5 mm. б Дијаграм на мерното поставување. Целта се наоѓа на азимутската позиција θ и на растојание D. Предавателот pMUT генерира сигнал од 117,6 kHz кој отскокнува од целта и достигнува два приема pMUT со различно време на летот (ToF). Оваа разлика, дефинирана како интер-слушна временска разлика (ITD), ја шифрира позицијата на објектот и може да се процени со проценка на максималниот одговор на двата сензори на приемникот. в. Сензорите pMUT и невроморфните пресметковни графикони се фабрикувани и тестирани, а невроморфната претходна обработка се базира на софтверска симулација. г Одговор на мембраната pMUT при прием на сигнал и нејзина трансформација во домен на шилести. д Аголна точност на експериментална локализација како функција на аголот на објектот (Θ) и растојанието (D) до целниот објект. Методот на екстракција на ITD бара минимална аголна резолуција од приближно 4°C. f Аголна точност (сина линија) и соодветниот сооднос врв-шум (зелена линија) наспроти растојанието на објектот за Θ = 0.
Отпорната меморија ги складира информациите во неиспарлива спроводлива состојба. Основниот принцип на методот е дека модификацијата на материјалот на атомско ниво предизвикува промена на неговата електрична спроводливост57. Овде користиме отпорна меморија базирана на оксид која се состои од 5nm слој на хафниум диоксид сместен помеѓу горните и долните електроди на титаниум и титаниум нитрид. Спроводливоста на RRAM уредите може да се промени со примена на бранова форма на струја/напон што создава или крши проводни филаменти на празни места на кислород помеѓу електродите. Ние ко-интегриравме такви уреди58 во стандарден CMOS процес од 130 nm за да создадеме фабрикувано реконфигурирачко невроморфно коло кое имплементира детектор за случајност и коло за одложена линија (сл. 3а). Неиспарливата и аналогната природа на уредот, во комбинација со природата на невроморфното коло водена од настани, ја минимизира потрошувачката на енергија. Колото има функција за моментално вклучување/исклучување: работи веднаш по вклучувањето, овозможувајќи целосно исклучување на напојувањето кога колото е во мирување. Главните градежни блокови на предложената шема се прикажани на сл. 3б. Се состои од N паралелни структури со еден-отпорник со еден транзистор (1T1R) кои ги кодираат синаптичките тежини од кои се земаат пондерираните струи, се вбризгуваат во заедничката синапса на интеграторот на диференцијален пар (DPI)59 и на крајот се инјектираат во синапсата со интеграција и истекување. активиран (LIF) неврон 60 (види Методи за детали). Влезните пренапони се применуваат на портата на структурата 1T1R во форма на низа на напонски импулси со времетраење од редот на стотици наносекунди. Отпорната меморија може да се стави во состојба на висока спроводливост (HCS) со примена на надворешна позитивна референца на Vtop кога Vbottom е заземјена, и ресетирање на ниска спроводлива состојба (LCS) со примена на позитивен напон на Vbottom кога Vtop е заземјен. Просечната вредност на HCS може да се контролира со ограничување на програмската струја (усогласеност) на SET (ICC) со напонот на портата-извор на серискиот транзистор (сл. 3в). Функциите на RRAM во колото се двојни: тие ги насочуваат и тежат влезните импулси.
Електронски микроскоп за скенирање (SEM) слика на син HfO2 1T1R RRAM уред интегриран во CMOS технологија од 130 nm со транзистори со избирање (широка 650 nm) во зелена боја. б Основни градежни блокови на предложената невроморфна шема. Импулсите на влезниот напон (врвови) Vin0 и Vin1 трошат струја I тежина, што е пропорционално со состојбите на спроводливост G0 и G1 на структурата 1T1R. Оваа струја се инјектира во DPI синапсите и ги возбудува LIF невроните. RRAM G0 и G1 се инсталирани во HCS и LCS соодветно. в. г Мерења на кола во (а) кои покажуваат дека G1 (во LCS) ефикасно го блокира влезот од Vin1 (зелено), и навистина мембранскиот напон на излезниот неврон реагира само на синиот влез од Vin0. RRAM ефикасно ги одредува врските во колото. д Мерење на колото во (б) покажувајќи го ефектот на вредноста на спроводливоста G0 врз напонот на мембраната Vmem по примена на напонски импулс Vin0. Колку е поголема спроводливоста, толку е посилен одговорот: на тој начин, уредот RRAM имплементира пондерирање на В/И конекција. Направени се мерења на колото и ја демонстрираат двојната функција на RRAM, рутирање и пондерирање на влезните импулси.
Прво, бидејќи постојат две основни состојби на спроводливост (HCS и LCS), RRAMs може да ги блокираат или пропуштат влезните импулси кога се во состојби LCS или HCS, соодветно. Како резултат на тоа, RRAM ефикасно ги одредува врските во колото. Ова е основа за да може да се реконфигурира архитектурата. За да го покажеме ова, ќе опишеме фабрикувана имплементација на колото на блокот на колото на Сл. 3б. RRAM што одговара на G0 е програмиран во HCS, а вториот RRAM G1 е програмиран во LCS. Влезните импулси се применуваат и на Vin0 и Vin1. Ефектите на две секвенци на влезни импулси беа анализирани во излезните неврони со собирање на напонот на невронската мембрана и излезниот сигнал со помош на осцилоскоп. Експериментот беше успешен кога само уредот HCS (G0) беше поврзан со пулсот на невронот за да се стимулира напнатоста на мембраната. Ова е прикажано на Слика 3г, каде синиот импулсен воз предизвикува напонот на мембраната да се изгради на кондензаторот на мембраната, додека зелениот импулсен воз го одржува напонот на мембраната константен.
Втората важна функција на RRAM е имплементација на тежини за поврзување. Користејќи го прилагодувањето на аналогната спроводливост на RRAM, I/O конекциите може да се мерат соодветно. Во вториот експеримент, уредот G0 беше програмиран на различни нивоа на HCS, а влезниот пулс беше применет на влезот Vin0. Влезниот пулс влече струја (Iweight) од уредот, која е пропорционална на спроводливоста и соодветниот потенцијален пад Vtop − Vbot. Оваа пондерирана струја потоа се инјектира во DPI синапсите и излезните неврони LIF. Напонот на мембраната на излезните неврони беше снимен со помош на осцилоскоп и прикажан на Сл. 3г. Врвот на напонот на невронската мембрана како одговор на еден влезен импулс е пропорционален на спроводливоста на отпорната меморија, што покажува дека RRAM може да се користи како програмабилен елемент со синаптичка тежина. Овие два прелиминарни теста покажуваат дека предложената невроморфна платформа базирана на RRAM е способна да ги имплементира основните елементи на основниот механизам на Џефрес, имено линијата за доцнење и колото на детектор на случајност. Платформата на колото е изградена со натрупување последователни блокови еден до друг, како што се блоковите на Слика 3б, и поврзување на нивните порти со заедничка влезна линија. Дизајниравме, фабрикувавме и тестиравме невроморфна платформа која се состои од два излезни неврони кои примаат два влеза (сл. 4а). Дијаграмот на колото е прикажан на слика 4б. Горната 2 × 2 RRAM матрица овозможува влезните импулси да се насочат кон два излезни неврони, додека долната 2 × 2 матрица овозможува повторливи врски на два неврони (N0, N1). Докажуваме дека оваа платформа може да се користи со конфигурација на линијата за одложување и две различни функции на детектор на случајност, како што е прикажано со експериментални мерења на Сл. 4c-e.
Дијаграм на кола формиран од два излезни неврони N0 и N1 кои примаат два влеза 0 и 1. Горните четири уреди од низата ги дефинираат синаптичките врски од влез до излез, а долните четири ќелии дефинираат повторливи врски помеѓу невроните. Обоените RRAM-и ги претставуваат уредите конфигурирани во HCS од десната страна: уредите во HCS дозволуваат поврзување и претставуваат тежини, додека уредите во LCS ги блокираат влезните импулси и ги оневозможуваат врските со излезите. б Дијаграм на коло (а) со осум RRAM модули означени со сино. в Линиите за одложување се формираат со едноставно користење на динамиката на DPI синапсите и LIF невроните. Зелената RRAM е поставена на доволно висока спроводливост за да може да предизвика дефект на излезот по доцнењето на влезот Δt. г Шематска илустрација на ЦД-откривање на сигнали зависни од време, нечувствителни на насока. Излезниот неврон 1, N1, се активира на влезовите 0 и 1 со кратко задоцнување. д ЦД коло чувствително на насока, коло кое детектира кога влезот 1 се приближува до влезот 0 и пристигнува по влезот 0. Излезот на колото е претставен со невронот 1 (N1).
Линијата за одложување (слика 4в) едноставно го користи динамичкото однесување на DPI синапсите и LIF невроните за да го репродуцира влезниот скок од Vin1 до Vout1 со одложување на Tdel. Само G3 RRAM поврзан со Vin1 и Vout1 е програмиран во HCS, останатите RRAM се програмирани во LCS. Уредот G3 беше програмиран за 92,6 µs за да се осигура дека секој влезен импулс го зголемува напонот на мембраната на излезниот неврон доволно за да го достигне прагот и да генерира задоцнет излезен пулс. Доцнењето Tdel се одредува со синаптичката и нервната временска константа. Детекторите на случајност детектираат појава на временски корелирани, но просторно распределени влезни сигнали. ЦД-то кое не е чувствително на насока се потпира на поединечни влезови кои се спојуваат до заеднички излезен неврон (Слика 4г). Двата RRAM што ги поврзуваат Vin0 и Vin1 со Vout1, G2 и G4 соодветно се програмирани за висока спроводливост. Истовременото пристигнување на шила на Vin0 и Vin1 го зголемува напонот на мембраната на невронот N1 над прагот потребен за генерирање на излезниот скок. Ако двата влеза се премногу оддалечени во времето, полнењето на напонот на мембраната акумулирано од првиот влез може да има време да се распадне, спречувајќи го мембранскиот потенцијал N1 да ја достигне прагот на вредноста. G1 и G2 се програмирани за приближно 65 µs, што осигурува дека еден влезен пренапон не го зголемува напонот на мембраната доволно за да предизвика излезен бран. Откривањето случајност помеѓу настаните распоредени во просторот и времето е фундаментална операција што се користи во широк опсег на сензорни задачи како што се избегнување препреки засновано на оптички проток и локализација на изворот на звук. Така, пресметувањето ЦД-а чувствителни на насока и нечувствителни е основен градежен блок за конструирање системи за визуелна и аудио локализација. Како што е прикажано со карактеристиките на временските константи (види Дополнителна слика 2), предложеното коло спроведува соодветен опсег од временски скали од четири реда на големина. Така, може истовремено да ги исполни барањата на визуелните и звучните системи. ЦД чувствително на насока е коло кое е чувствително на просторниот редослед на пристигнување на импулсите: од десно кон лево и обратно. Тој е фундаментален градежен блок во основната мрежа за детекција на движење на визуелниот систем Drosophila, што се користи за пресметување на насоките на движење и откривање на судири62. За да се постигне ЦД чувствително на насока, два влеза мора да бидат насочени кон два различни неврони (N0, N1) и мора да се воспостави насочена врска помеѓу нив (сл. 4д). Кога ќе се прими првиот влез, NO реагира со зголемување на напонот на неговата мембрана над прагот на вредноста и испраќање на бран. Овој излезен настан, пак, го активира N1 благодарение на насоченото поврзување означено со зелено. Ако влезен настан Vin1 пристигне и го напојува N1 додека напонот на неговата мембрана е сè уште висок, N1 генерира излезен настан што покажува дека е пронајдено совпаѓање помеѓу двата влеза. Дирекционите врски дозволуваат N1 да емитува излез само ако влезот 1 доаѓа по влезот 0. G0, G3 и G7 се програмирани на 73,5 µS, 67,3 µS и 40,2 µS, соодветно, обезбедувајќи дека едно шило на влезот Vin0 предизвикува доцнење излезниот скок, додека мембранскиот потенцијал на N1 го достигнува прагот само кога двата влеза ќе пукнат пристигнете синхронизирано. .
Варијабилноста е извор на несовршеност во моделираните невроморфни системи63,64,65. Ова води до хетерогено однесување на невроните и синапсите. Примери за такви недостатоци вклучуваат 30% (средна стандардна девијација) варијабилност во влезното засилување, временската константа и огноотпорниот период, за да именува само неколку (види Методи). Овој проблем е уште поизразен кога повеќе нервни кола се поврзани заедно, како што е ЦД чувствително на ориентација кое се состои од два неврони. За да работи правилно, временските константи на засилување и распаѓање на двата неврони треба да бидат колку што е можно слични. На пример, големата разлика во влезното засилување може да предизвика еден неврон да претерано реагира на влезниот пулс додека другиот неврон едвај реагира. На сл. Слика 5а покажува дека случајно избраните неврони различно реагираат на истиот влезен пулс. Оваа нервна варијабилност е релевантна, на пример, за функцијата на ЦД-а чувствителни на насока. Во шемата прикажана на сл. 5b, c, влезното засилување на невронот 1 е многу поголемо од она на невронот 0. Така, на невронот 0 му требаат три влезни импулси (наместо 1) за да го достигне прагот, а на невронот 1, како што се очекуваше, му требаат два влезни настани. Спроведувањето на биомиметичка пластичност зависна од времето на скок (STDP) е можен начин да се ублажи влијанието на непрецизните и слабите нервни и синаптички кола врз перформансите на системот43. Овде предлагаме да се користи пластичното однесување на отпорната меморија како средство за влијание врз подобрувањето на нервниот влез и намалување на ефектите од варијабилноста во невроморфните кола. Како што е прикажано на сл. 4e, нивоата на спроводливост поврзани со RRAM синаптичката маса ефикасно го модулираа соодветниот одговор на напонот на невралната мембрана. Ние користиме итеративна стратегија за програмирање RRAM. За даден влез, вредностите на спроводливоста на синаптичките тежини се репрограмираат додека не се добие целното однесување на колото (види Методи).
a Експериментални мерења на одговорот на девет случајно избрани поединечни неврони на истиот влезен пулс. Одговорот варира меѓу популациите, што влијае на влезната добивка и временската константа. б Експериментални мерења на влијанието на невроните врз варијабилноста на невроните кои влијаат на ЦД чувствително на насока. Двата излезни ЦД неврони чувствителни на насока различно реагираат на влезните стимули поради варијабилноста од неврон до неврон. Невронот 0 има помала влезна добивка од невронот 1, така што потребни се три влезни импулси (наместо 1) за да се создаде излезен скок. Како што се очекуваше, невронот 1 го достигнува прагот со два влезни настани. Ако влезот 1 пристигне Δt = 50 µs по активирањето на невронот 0, CD останува тивко бидејќи Δt е поголема од временската константа на невронот 1 (околу 22 µs). c се намалува за Δt = 20 µs, така што влезот 1 достигнува врв кога пукањето на невронот 1 е сè уште високо, што резултира со истовремено откривање на два влезни настани.
Двата елементи што се користат во колоната за пресметување на ITD се линијата за одложување и ЦД-то кое не е чувствително на насоката. Двете кола бараат прецизна калибрација за да се обезбедат добри перформанси за позиционирање на објектот. Линијата за одложување мора да испорача прецизно одложена верзија на влезниот врв (сл. 6а), а ЦД-то мора да се активира само кога влезот ќе падне во опсегот за откривање на целта. За линијата за одложување, синаптичките тежини на влезните врски (G3 на слика 4а) беа репрограмирани додека не се добие целното доцнење. Поставете толеранција околу целното доцнење за да ја запрете програмата: колку е помала толеранцијата, толку е потешко успешно да се постави линијата за одложување. На сл. Слика 6б ги прикажува резултатите од процесот на калибрација на линијата за доцнење: може да се види дека предложената шема може точно да ги обезбеди сите доцнења потребни во шемата за дизајнирање (од 10 до 300 μs). Максималниот број на повторувања на калибрација влијае на квалитетот на процесот на калибрација: 200 повторувања може да ја намалат грешката на помалку од 5%. Една итерација на калибрација одговара на операција за поставување/ресетирање на RRAM ќелија. Процесот на подесување е исто така клучен за подобрување на прецизноста на инстантното откривање на настани за затворање на ЦД-модулот. Беа потребни десет повторувања на калибрација за да се постигне вистинска позитивна стапка (т.е. стапката на настани правилно идентификувани како релевантни) над 95% (сина линија на Слика 6в). Сепак, процесот на подесување не влијаеше на лажни позитивни настани (односно, на зачестеноста на настаните кои погрешно беа идентификувани како релевантни). Друг метод забележан во биолошките системи за надминување на временските ограничувања на патеките кои брзо се активираат е вишокот (односно, многу копии од истиот објект се користат за извршување на дадена функција). Инспирирани од биологијата66, поставивме неколку ЦД кола во секој модул за ЦД помеѓу двете линии за одложување за да го намалиме влијанието на лажни позитиви. Како што е прикажано на сл. 6c (зелена линија), ставајќи три ЦД-елементи во секој CD-модул може да ја намали стапката на лажни аларми на помалку од 10–2.
Ефект на невронската варијабилност на кола за одложена линија. б. Зголемувањето на бројот на повторувања на постапката за калибрација RRAM овозможи значително да се подобри точноста на целното доцнење: 200 повторувања ја намалија грешката на помалку од 5%. Една итерација одговара на операција SET/RESET на ќелија RRAM. Секој CD-модул во моделот c Jeffress може да се имплементира со користење на N паралелни ЦД-елементи за поголема флексибилност во однос на дефектите на системот. г Повеќе повторувања на калибрација RRAM ја зголемуваат вистинската позитивна стапка (сина линија), додека стапката на лажно позитивна е независна од бројот на повторувања (зелена линија). Со поставување на повеќе ЦД-елементи паралелно се избегнува лажното откривање на совпаѓања на CD-модулите.
Сега ги проценуваме перформансите и потрошувачката на енергија на интегрираниот систем за локализација на објекти од крај до крај прикажан на Слика 2 користејќи мерења на акустичните својства на сензорот pMUT, ЦД и кола за одложена линија што го сочинуваат невроморфниот пресметковен график. Џефрсов модел (сл. 1а). Што се однесува до невроморфниот пресметковен график, колку е поголем бројот на CD-модули, толку е подобра аголната резолуција, но и поголема е енергијата на системот (сл. 7а). Може да се постигне компромис со споредување на точноста на поединечните компоненти (pMUT сензори, неврони и синаптички кола) со точноста на целиот систем. Резолуцијата на линијата за одложување е ограничена со временските константи на симулираните синапси и неврони, кои во нашата шема надминуваат 10 µs, што одговара на аголна резолуција од 4° (види Методи). Понапредните јазли со CMOS технологијата ќе овозможат дизајнирање на нервни и синаптички кола со пониски временски константи, што ќе резултира со поголема точност на елементите на линијата за одложување. Меѓутоа, во нашиот систем, точноста е ограничена со грешката pMUT при проценката на аголната положба, т.е. 10° (сина хоризонтална линија на Сл. 7а). Го фиксиравме бројот на CD-модули на 40, што одговара на аголна резолуција од околу 4°, т.е. аголна точност на пресметковниот график (светло сина хоризонтална линија на Сл. 7а). На системско ниво, ова дава резолуција од 4° и точност од 10° за објекти лоцирани на 50 cm пред сензорскиот систем. Оваа вредност е споредлива со невроморфните системи за локализација на звукот пријавени во ref. 67. Споредба на предложениот систем со најсовремената технологија може да се најде во дополнителната табела 1. Додавањето дополнителни pMUTs, зголемувањето на нивото на акустичниот сигнал и намалувањето на електронскиот шум се можни начини за дополнително подобрување на точноста на локализацијата. ) се проценува на 9,7. nz. 55. Со оглед на 40 ЦД единици на пресметковниот график, симулацијата SPICE ја процени енергијата по операција (т.е. енергија за позиционирање на објектот) на 21,6 nJ. Неуроморфниот систем се активира само кога ќе пристигне влезен настан, т.е. кога акустичен бран ќе достигне кој било приемник pMUT и ќе го надмине прагот на детекција, во спротивно тој останува неактивен. Ова ја избегнува непотребната потрошувачка на енергија кога нема влезен сигнал. Со оглед на фреквенцијата на операциите за локализација од 100 Hz и период на активирање од 300 µs по операција (максималниот можен ITD), потрошувачката на енергија на невроморфниот пресметковен график е 61,7 nW. Со невроморфна прет-обработка применета на секој приемник pMUT, потрошувачката на енергија на целиот систем достигнува 81,6 nW. За да ја разбереме енергетската ефикасност на предложениот невроморфен пристап во споредба со конвенционалниот хардвер, ја споредивме оваа бројка со енергијата потребна за извршување на истата задача на модерен микроконтролер со мала моќност користејќи или невроморфна или конвенционална вештина за формирање на зрак68. Неуроморфниот пристап ја разгледува фазата на аналогно-дигитален конвертор (ADC), проследена со бенд-пропустлив филтер и фаза на екстракција на обвивка (метод Teeger-Kaiser). Конечно, се изведува операција на праг за да се извлече ToF. Ја испуштивме пресметката на ITD врз основа на ToF и конверзијата во проценетата аголна положба бидејќи тоа се случува еднаш за секое мерење (види Методи). Претпоставувајќи стапка на земање примероци од 250 kHz на двата канали (приемници pMUT), 18 операции на пропусниот филтер, 3 операции за извлекување на обвивката и 1 операција на праг по примерок, вкупната потрошувачка на енергија се проценува на 245 микровати. Ова го користи режимот со мала моќност на микроконтролерот69, кој се вклучува кога алгоритмите не се извршуваат, што ја намалува потрошувачката на енергија на 10,8 µW. Потрошувачката на енергија на решението за обработка на сигнал за формирање на зрак предложено во референцата. 31, со 5 pMUT приемници и 11 зраци рамномерно распоредени во азимутската рамнина [-50°, +50°], е 11,71 mW (видете го делот Методи за детали). Дополнително, ја известуваме потрошувачката на енергија на енкодер за временски разлики (TDE) базиран на FPGA47, проценет на 1,5 mW како замена за моделот Џефрес за локализација на објекти. Врз основа на овие проценки, предложениот невроморфен пристап ја намалува потрошувачката на енергија за пет реда на големина во споредба со микроконтролерот кој користи класични техники за формирање на зрак за операции за локализација на објекти. Усвојувањето на невроморфен пристап за обработка на сигналот на класичен микроконтролер ја намалува потрошувачката на енергија за околу два реда на големина. Ефективноста на предложениот систем може да се објасни со комбинацијата на асинхроно аналогно коло со отпорна меморија способно да врши пресметки во меморијата и недостатокот на конверзија од аналогно во дигитално потребна за да се согледаат сигналите.
a Аголна резолуција (сина) и потрошувачка на енергија (зелена) на операцијата за локализација во зависност од бројот на CD-модули. Темно сината хоризонтална лента ја претставува аголната точност на PMUT, а светло сината хоризонтална лента ја претставува аголната точност на невроморфниот пресметковен график. б Потрошувачка на енергија на предложениот систем и споредба со двете дискутирани имплементации на микроконтролер и дигитална имплементација на енкодерот за временска разлика (TDE)47 FPGA.
За да ја минимизираме потрошувачката на енергија на системот за локализација на целта, замисливме, дизајниравме и имплементиравме ефикасно невроморфно коло засновано на RRAM, управувано од настани, кое ги обработува информациите за сигналот генерирани од вградените сензори за да ја пресмета позицијата на целниот објект во реално време. . Додека традиционалните методи на обработка континуирано земаат примерок од откриените сигнали и вршат пресметки за да извлечат корисни информации, предложеното невроморфно решение врши пресметки асинхроно кога пристигнуваат корисни информации, максимизирајќи ја ефикасноста на моќноста на системот за пет реда на големина. Дополнително, ја истакнуваме флексибилноста на невроморфните кола базирани на RRAM. Способноста на RRAM да ја менува спроводливоста на неиспарлив начин (пластичност) ја компензира вродената варијабилност на синаптичките и нервните кола на аналогните DPI со ултра ниска моќност. Ова го прави ова коло базирано на RRAM разноврсно и моќно. Нашата цел не е да извлекуваме сложени функции или обрасци од сигналите, туку да ги локализираме објектите во реално време. Нашиот систем, исто така, може ефикасно да го компресира сигналот и на крајот да го испрати на понатамошни чекори за обработка за да донесе посложени одлуки кога е потребно. Во контекст на апликациите за локализација, нашиот чекор на невроморфна преобработка може да обезбеди информации за локацијата на објектите. Оваа информација може да се користи, на пример, за откривање движење или препознавање гестови. Ја нагласуваме важноста од комбинирање на сензори со ултра мала моќност, како што се pMUT, со електроника со ултра ниска моќност. За ова, невроморфните пристапи беа клучни бидејќи нè наведоа да развиеме нови имплементации на кола на биолошки инспирирани пресметковни методи како што е моделот Џефрес. Во контекст на апликациите за фузија на сензори, нашиот систем може да се комбинира со неколку различни сензори базирани на настани за да се добијат попрецизни информации. Иако бувовите се одлични во пронаоѓањето плен во темница, тие имаат одличен вид и вршат комбинирано аудитивно и визуелно пребарување пред да го фатат пленот70. Кога ќе запали одреден аудитивен неврон, бувот ги добива потребните информации за да одреди во која насока да го започне своето визуелно пребарување, со што ќе го фокусира своето внимание на мал дел од визуелната сцена. Треба да се истражи комбинација од визуелни сензори (DVS камера) и предложен сензор за слушање (врз основа на pMUT) за развој на идни автономни агенти.
Сензорот pMUT се наоѓа на ПХБ со два приемници оддалечени приближно 10 cm, а предавателот се наоѓа помеѓу приемниците. Во оваа работа, секоја мембрана е суспендирана биморфна структура која се состои од два слоја пиезоелектричен алуминиум нитрид (AlN) со дебелина од 800 nm, сместена помеѓу три слоја молибден (Mo) со дебелина од 200 nm и обложена со слој дебел 200 nm. горниот пасивирачки SiN слој како што е опишано во референцата. 71. Внатрешната и надворешната електрода се нанесуваат на долните и горните слоеви на молибден, додека средната молибденска електрода е без шема и се користи како заземјување, што резултира со мембрана со четири пара електроди.
Оваа архитектура овозможува користење на заедничка деформација на мембраната, што резултира со подобрена чувствителност на пренос и примање. Таков pMUT обично покажува чувствителност на возбуда од 700 nm/V како емитер, обезбедувајќи површински притисок од 270 Pa/V. Како приемник, еден pMUT филм покажува чувствителност на краток спој од 15 nA/Pa, што е директно поврзано со пиезоелектричниот коефициент на AlN. Техничката варијабилност на напонот во слојот AlN доведува до промена на резонантната фреквенција, која може да се компензира со примена на DC пристрасност на pMUT. DC чувствителноста беше измерена на 0,5 kHz/V. За акустична карактеризација, се користи микрофон пред pMUT.
За да го измериме пулсот на ехо, поставивме правоаголна плоча со површина од околу 50 cm2 пред pMUT за да ги рефлектира емитираните звучни бранови. И растојанието помеѓу плочите и аголот во однос на pMUT рамнината се контролираат со помош на специјални држачи. Изворот на напон Tectronix CPX400DP пристрасува три pMUT мембрани, подесувајќи ја резонантната фреквенција на 111,9 kHz31, додека предавателите се управувани од генератор на импулси Tectronix AFG 3102 дотеран на резонантната фреквенција (111,9 kHz) од 0,0 циклус. Струите што се читаат од четирите излезни порти на секој приемник pMUT се претвораат во напони со помош на специјална архитектура на диференцијална струја и напон, а добиените сигнали се дигитализираат со системот за собирање податоци Spektrum. Границата на откривање се карактеризира со добивање на сигнал pMUT под различни услови: го поместивме рефлекторот на различни растојанија [30, 40, 50, 60, 80, 100] cm и го сменивме аголот на поддршка pMUT ([0, 20, 40] o ) Слика 2б ја прикажува временската резолуција за откривање ITD во зависност од соодветната аголна положба во степени.
Оваа статија користи две различни RRAM кола кои не се на полица. Првиот е низа од 16.384 (16.000) уреди (128 × 128 уреди) во конфигурација 1T1R со еден транзистор и еден отпор. Вториот чип е невроморфната платформа прикажана на Сл. 4а. RRAM ќелијата се состои од филм HfO2 со дебелина од 5 nm, вграден во стек TiN/HfO2/Ti/TiN. Стакот RRAM е интегриран во задниот дел (BEOL) на стандардниот CMOS процес од 130 nm. Неуроморфните кола базирани на RRAM претставуваат предизвик за дизајн за целосно аналогни електронски системи во кои уредите RRAM коегзистираат со традиционалната CMOS технологија. Особено, состојбата на спроводливост на уредот RRAM мора да се чита и да се користи како функционална променлива за системот. За таа цел, беше дизајнирано, фабрикувано и тестирано коло кое ја чита струјата од уредот кога се прима влезен импулс и ја користи оваа струја за да го мери одговорот на синапсата на интегратор на диференцијални парови (DPI). Ова коло е прикажано на слика 3а, која ги претставува основните градежни блокови на невроморфната платформа на Слика 4а. Влезен импулс ја активира портата на уредот 1T1R, индуцирајќи струја низ RRAM пропорционална на спроводливоста на уредот G (Iweight = G(Vtop – Vx)). Инвертирачкиот влез на колото на операциониот засилувач (op-amp) има постојан DC пристрасен напон Vtop. Негативниот фидбек на оп-засилувачот ќе обезбеди Vx = Vtop со обезбедување еднаква струја од M1. Тековната тежина добиена од уредот се инјектира во DPI синапсата. Посилната струја ќе резултира со поголема деполаризација, така што спроводливоста на RRAM ефикасно ги имплементира синаптичките тежини. Оваа експоненцијална синаптичка струја се вбризгува преку мембранскиот кондензатор на невроните за интеграција и возбудување (LIF), каде што е интегриран како напон. Ако прагот на напонот на мембраната (прекинувачкиот напон на инвертерот) е надминат, излезниот дел од невронот се активира, создавајќи излезен скок. Овој пулс се враќа и го шантира мембранскиот кондензатор на невронот на земјата, предизвикувајќи негово празнење. Ова коло потоа се надополнува со експандер на пулсот (не е прикажан на сл. 3а), кој го обликува излезниот пулс на невронот LIF до целната ширина на пулсот. Во секоја линија се вградени и мултиплексери, што овозможува напон да се примени на горните и долните електроди на уредот RRAM.
Електричното тестирање вклучува анализа и снимање на динамичкото однесување на аналогните кола, како и програмирање и читање RRAM уреди. За двата чекори потребни се специјални алатки, од кои сите се поврзани со таблата на сензорот во исто време. Пристапот до уредите RRAM во невроморфните кола се врши од надворешни алатки преку мултиплексер (MUX). MUX ја одвојува ќелијата 1T1R од останатото коло на кое му припаѓа, овозможувајќи уредот да се чита и/или програмира. За програмирање и читање RRAM уреди, машината Keithley 4200 SCS се користи заедно со Arduino микроконтролер: првиот за прецизно генерирање пулс и читање на струјата, а вториот за брз пристап до поединечни 1T1R елементи во мемориската низа. Првата операција е да се формира уредот RRAM. Ќелиите се избираат една по една и се применува позитивен напон помеѓу горните и долните електроди. Во овој случај, струјата е ограничена на редот од десетици микроампери поради напојувањето на соодветниот напон на портата до транзисторот на избирачот. Потоа ќелијата RRAM може да кружи помеѓу состојба на ниска спроводливост (LCS) и состојба на висока спроводливост (HCS) користејќи операции RESET и SET, соодветно. Операцијата SET се изведува со примена на правоаголен пулс на напон со времетраење од 1 μs и врвен напон од 2,0-2,5 V на горната електрода и синхронизиран пулс со слична форма со врвен напон од 0,9-1,3 V до портата на транзисторот на избирачот. Овие вредности овозможуваат модулирање на спроводливоста на RRAM во интервали од 20-150 µs. За RESET, пулсот со врв од 1 µs, 3 V се применува на долната електрода (битна линија) на ќелијата кога напонот на портата е во опсег од 2,5-3,0 V. Влезовите и излезите на аналогните кола се динамични сигнали . За влез, поврзавме два импулсни генератори HP 8110 со генератори на сигнали Tektronix AFG3011. Влезниот пулс има ширина од 1 µs и раб на пораст/пад од 50 ns. Овој тип на пулс се претпоставува дека е типичен дефект во кола базирани на аналогни дефекти. Што се однесува до излезниот сигнал, излезниот сигнал е снимен со помош на осцилоскоп Teledyne LeCroy 1 GHz. Брзината на стекнување на осцилоскопот е докажано дека не е ограничувачки фактор во анализата и стекнувањето на податоците од колото.
Користењето на динамиката на аналогната електроника за симулирање на однесувањето на невроните и синапсите е елегантно и ефикасно решение за подобрување на пресметковната ефикасност. Недостаток на оваа пресметковна подлога е тоа што ќе се разликува од шема до шема. Ја квантифициравме варијабилноста на невроните и синаптичките кола (Дополнителна слика 2а,б). Од сите манифестации на варијабилност, оние поврзани со временските константи и влезното засилување имаат најголемо влијание на ниво на системот. Временската константа на LIF невронот и DPI синапсата се одредува со RC коло, каде што вредноста на R е контролирана со пристрасен напон кој се применува на портата на транзисторот (Vlk за невронот и Vtau за синапсата), со што се одредува стапка на истекување. Влезното засилување е дефинирано како врвен напон што го достигнуваат кондензаторите на синаптичката и невронската мембрана стимулиран од влезен пулс. Влезното засилување е контролирано од друг транзистор за пристрасност кој ја модулира влезната струја. Беше изведена симулација на Монте Карло калибрирана на процесот од 130 nm на ST Microelectronics за да се соберат одредени статистики за влезно засилување и временска константа. Резултатите се претставени на дополнителна слика 2, каде што влезното засилување и временската константа се квантифицирани како функција на пристрасниот напон кој ја контролира стапката на истекување. Зелените маркери го квантифицираат стандардното отстапување на временската константа од средната вредност. И невроните и синаптичките кола беа во можност да изразат широк опсег на временски константи во опсег од 10-5-10-2 секунди, како што е прикажано во шемата за дополнителна слика. Влезното засилување (Дополнителна слика 2e,d) на варијабилноста на невроните и синапсите беше приближно 8% и 3%, соодветно. Таквиот недостаток е добро документиран во литературата: беа извршени различни мерења на низата DYNAP чипови за да се процени неусогласеноста помеѓу популациите на LIF63 неврони. Синапсите во мешаниот сигнален чип BrainScale беа измерени и анализирани нивните недоследности и беше предложена процедура за калибрација за да се намали ефектот на варијабилноста на ниво на системот64.
Функцијата на RRAM во невроморфните кола е двојна: дефинирање на архитектурата (рутирање на влезови до излези) и имплементација на синаптички тежини. Последното својство може да се искористи за да се реши проблемот со варијабилноста на моделираните невроморфни кола. Развивме едноставна процедура за калибрација која вклучува репрограмирање на уредот RRAM додека колото што се анализира не исполни одредени барања. За даден влез, излезот се следи и RRAM се репрограмира додека не се постигне целното однесување. Беше воведено време на чекање од 5 секунди помеѓу операциите на програмирање за да се реши проблемот со релаксација на RRAM што резултира со минливи флуктуации на спроводливоста (Дополнителни информации). Синаптичките тежини се прилагодуваат или калибрираат според барањата на невроморфното коло што се моделира. Постапката за калибрација е сумирана во дополнителни алгоритми [1, 2] кои се фокусираат на две фундаментални карактеристики на невроморфните платформи, линиите за одложување и ЦД-то кое не е чувствително на насоката. За коло со линија за одложување, целното однесување е да се обезбеди излезен пулс со задоцнување Δt. Ако вистинското доцнење на колото е помало од целната вредност, синаптичката тежина на G3 треба да се намали (G3 треба да се ресетира и потоа да се постави на помала соодветна струја Icc). Спротивно на тоа, ако вистинското доцнење е поголемо од целната вредност, спроводливоста на G3 мора да се зголеми (G3 мора прво да се ресетира, а потоа да се постави на повисока Icc вредност). Овој процес се повторува додека доцнењето генерирано од колото не се совпадне со целната вредност и не се постави толеранција за да се запре процесот на калибрација. За ЦД-а кои не се чувствителни на ориентација, два RRAM уреди, G1 и G3, се вклучени во процесот на калибрација. Ова коло има два влеза, Vin0 и Vin1, задоцнети за dt. Колото треба да реагира само на доцнење под опсегот на совпаѓање [0,dtCD]. Ако нема излезен врв, но влезниот врв е блиску, двата уреди RRAM треба да се засилат за да му помогнат на невронот да го достигне прагот. Спротивно на тоа, ако колото реагира на доцнење што го надминува целниот опсег на dtCD, спроводливоста мора да се намали. Повторете го процесот додека не се добие правилното однесување. Струјата на усогласеност може да се модулира со вграденото аналогно коло во ref. 72,73. Со ова вградено коло, таквите постапки може да се вршат периодично за да се калибрира системот или повторно да се користи за друга апликација.
Ја проценуваме потрошувачката на енергија на нашиот пристап за обработка на невроморфни сигнали на стандарден 32-битен микроконтролер68. Во оваа евалуација, претпоставуваме работа со истото поставување како во овој труд, со еден pMUT предавател и два pMUT приемници. Овој метод користи пропусен филтер, проследен со чекор за извлекување на обвивката (Teeger-Kaiser), и на крајот операцијата на праг се применува на сигналот за да се извлече времето на летот. Пресметувањето на ITD и неговата конверзија во агли за откривање се испуштени во евалуацијата. Сметаме имплементација на бенд-пропусен филтер со користење на филтер за бесконечен импулсен одговор од 4-ти ред кој бара 18 операции со подвижна запирка. Извлекувањето на обвивката користи уште три операции со подвижна запирка, а последната операција се користи за поставување на прагот. Потребни се вкупно 22 операции со подвижна запирка за предобработка на сигналот. Пренесениот сигнал е краток излив од 111,9 kHz синусен брановиден генериран на секои 10 ms што резултира со позиционирана работна фреквенција од 100 Hz. Користивме брзина на земање примероци од 250 kHz за да се усогласиме со Nyquist и прозорец од 6 ms за секое мерење за да снимиме опсег од 1 метар. Забележете дека 6 милисекунди е времето на летот на објект што е оддалечен 1 метар. Ова обезбедува потрошувачка на енергија од 180 µW за A/D конверзија со 0,5 MSPS. Претходната обработка на сигналот е 6,60 MIPS (инструкции во секунда), генерирајќи 0,75 mW. Сепак, микроконтролерот може да се префрли на режим со мала моќност 69 кога алгоритмот не работи. Овој режим обезбедува статичка потрошувачка на енергија од 10,8 μW и време на будење од 113 μs. Со оглед на фреквенцијата на часовникот од 84 MHz, микроконтролерот ги завршува сите операции на невроморфниот алгоритам во рок од 10 ms, а алгоритмот пресметува работен циклус од 6,3%, со што се користи режим со мала моќност. Резултирачката дисипација на моќноста е 244,7 μW. Забележете дека го испуштаме излезот ITD од ToF и аголот на конверзија во детекција, со што ја потценуваме потрошувачката на енергија на микроконтролерот. Ова обезбедува дополнителна вредност за енергетската ефикасност на предложениот систем. Како дополнителен услов за споредба, ја оценуваме потрошувачката на енергија на класичните методи за формирање на зрак предложени во референцата. 31,54 кога е вграден во истиот микроконтролер68 на напон на напојување 1,8V. Пет рамномерно распоредени pMUT мембрани се користат за да се добијат податоци за формирање на зрак. Што се однесува до самата обработка, користениот метод за формирање на зрак е собирање на одложување. Едноставно се состои од примена на доцнење на лентите што одговара на очекуваната разлика во времето на пристигнување помеѓу една лента и референтната лента. Ако сигналите се во фаза, збирот на овие сигнали ќе има висока енергија по временско поместување. Ако тие се надвор од фаза, деструктивните пречки ќе ја ограничат енергијата на нивниот збир. во врска. На сл. 31, се избира брзина на земање примероци од 2 MHz за временско поместување на податоците за цел број на примероци. Поскромниот пристап е да се одржи погруба брзина на примерок од 250 kHz и да се користи филтер за конечен одговор (FIR) за синтетизирање на фракционо доцнење. Ќе претпоставиме дека сложеноста на алгоритмот за формирање на зрак главно се определува со временското поместување, бидејќи секој канал е споен со FIR филтер со 16 чешми во секоја насока. За да го пресметаме бројот на MIPS потребни за оваа операција, разгледуваме прозорец од 6ms по мерење за да снимиме опсег од 1 метар, 5 канали, 11 насоки за формирање на зрак (опсег +/- 50° во чекори од 10°). 75 мерења во секунда го туркаа микроконтролерот до максималните 100 MIPS. Врска. 68, што резултира со дисипација на моќност од 11,26 mW за вкупна дисипација на моќност од 11,71 mW по додавањето на вградниот придонес на ADC.
Податоците кои ги поддржуваат резултатите од оваа студија се достапни од соодветниот автор, FM, на разумно барање.
Indiveri, G. & Sandamirskaya, Y. Важноста на просторот и времето за обработка на сигналот кај невроморфните агенси: Предизвикот за развој на автономни агенси со мала моќност кои комуницираат со околината. Indiveri, G. & Sandamirskaya, Y. Важноста на просторот и времето за обработка на сигналот кај невроморфните агенси: Предизвикот за развој на автономни агенси со мала моќност кои комуницираат со околината.Indiveri G. and Sandamirskaya Y. Важноста на просторот и времето за процесирање на сигналот кај невроморфните агенси: предизвикот за развивање автономни агенси со ниска моќност во интеракција со околината. Индивери, Г. и Сандамирскаја, Ј.空间和时间对于神经形态代理中信号处理的重要性：开发与环境交互的低功耗、自主代理的挑战。 Индивери, Г. и Сандамирскаја, Ј.Indiveri G. and Sandamirskaya Y. Важноста на просторот и времето за процесирање на сигналот кај невроморфните агенси: предизвикот за развивање автономни агенси со ниска моќност во интеракција со околината.Обработка на сигнали IEEE. Весник 36, 16–28 (2019).
Торп, SJ Peak Arrival Time: Ефикасна шема за кодирање на невронска мрежа. во Eckmiller, R., Hartmann, G. & Hauske, G. (eds). во Eckmiller, R., Hartmann, G. & Hauske, G. (eds).во Eckmiller, R., Hartmann, G. and Hauske, G. (eds.).Во Eckmiller, R., Hartmann, G., and Hauske, G. (eds.). Паралелно процесирање во невронски системи и компјутери 91-94 (North-Holland Elsevier, 1990).
Levy, WB & Calvert, VG Communication троши 35 пати повеќе енергија од пресметките во човечкиот кортекс, но двата трошоци се потребни за да се предвиди бројот на синапсите. Levy, WB & Calvert, VG Communication троши 35 пати повеќе енергија од пресметките во човечкиот кортекс, но двата трошоци се потребни за да се предвиди бројот на синапсите.Levy, WB и Calvert, WG Communication троши 35 пати повеќе енергија од пресметките во човечкиот кортекс, но двата трошоци се потребни за да се предвиди бројот на синапсите. Levy, WB & Calvert, VG Communication. Levy, WB & Calvert, VG CommunicationLevy, WB и Calvert, WG Communication троши 35 пати повеќе енергија од пресметките во човечкиот кортекс, но и двете трошоци бараат предвидување на бројот на синапсите.процес. Националната академија на науките. науката. US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Неуроморфно пресметување инспирирано од инсекти. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Неуроморфно пресметување инспирирано од инсекти.Dalgati, T., Vianello, E., DeSalvo, B. и Casas, J. Неуроморфно пресметување инспирирано од инсекти.Далгати Т., Вианело Е., ДеСалво Б. и Касас Ј. Неуроморфно пресметување инспирирано од инсекти. Актуелно. Мислење. Наука за инсекти. 30, 59-66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Кон машинската интелигенција базирана на шилци со невроморфно пресметување. Roy, K., Jaiswal, A. & Panda, P. Кон машинската интелигенција базирана на шилци со невроморфно пресметување. Roy, K., Jaiswal, A. & Panda, P. Towards Spike-based Machine Intelligence with Neuromorphic Computing.Рој К, Џејсвал А и Панда П. Вештачка интелигенција базирана на пулс користејќи невроморфно пресметување. Nature 575, 607-617 (2019).
Индивери, Г. и Лиу, С.-Ц. Индивери, Г. и Лиу, С.-Ц.Индивери, Г. и Лиу, С.-К. Индивери, Г. и Лиу, С.-Ц. Индивери, Г. и Лиу, С.-Ц.Индивери, Г. и Лиу, С.-К.Обработка на меморија и информации во невроморфни системи. процес. IEEE 103, 1379–1397 (2015).
Akopyan F. et al. Truenorth: Дизајн и комплет алатки за 65 mW 1 милион неврони програмабилен синаптички чип. IEEE трансакции. Компјутерски дизајн на системи со интегрирано коло. 34, 1537–1557 (2015).
Шемел, Ј. и сор. Демо во живо: намалена верзија на невроморфниот систем BrainScaleS во скала на плоча. 2012 IEEE Меѓународен симпозиум за кола и системи (ISCAS), (IEEE ed.) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Скалабилна повеќејадрена архитектура со хетерогени мемориски структури за динамични невроморфни асинхрони процесори (DYNAPs). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Скалабилна повеќејадрена архитектура со хетерогени мемориски структури за динамични невроморфни асинхрони процесори (DYNAPs).Moradi S., Qiao N., Stefanini F. и Indiviri G. Скалабилна повеќејадрена архитектура со хетерогени мемориски структури за динамични невроморфни асинхрони процесори (DYNAP). Моради, С., Кјао, Н., Стефанини, Ф. и Индивери, Г.一种可扩展的多核架构，具有用于动态神经形态异步处理器(DYNAP) 的异昄动 Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Еден вид архитектура со повеќе јадра што може да се прошири, со единствена мемориска структура за динамична невронска обработка (DYNAP).Moradi S., Qiao N., Stefanini F. и Indiviri G. Скалабилна повеќејадрена архитектура со хетерогени мемориски структури за динамични невроморфни асинхрони процесори (DYNAP).IEEE Transactions on Biomedical Science. електричен систем. 12, 106-122 (2018).
Дејвис, М. и сор. Лоихи: невроморфен повеќејадрен процесор со вградено учење. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA The SpiNNaker проектот. Furber, SB, Galluppi, F., Temple, S. & Plana, LA The SpiNNaker проектот.Проектот Ferber SB, Galluppi F., Temple S. и Plana LA SpiNNaker.Проектот Ferber SB, Galluppi F., Temple S. и Plana LA SpiNNaker. процес. IEEE 102, 652-665 (2014).
Лиу, С.-К. & Delbruck, T. Невроморфни сензорни системи. & Delbruck, T. Невроморфни сензорни системи.и Delbrück T. Невроморфни сензорни системи. & Делбрук, Т. 神经形态感觉系统. & Делбрук, Т.и Delbrück T. Невроморфен сензорен систем.Актуелно. Мислење. Невробиологија. 20, 288-295 (2010).
Chope, T. et al. Невроморфна сензорна интеграција за комбинирана локализација на изворот на звук и избегнување судир. Во 2019 година на Конференцијата на IEEE за биомедицински кола и системи (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Неуроморфна архитектура на стерео визија базирана на шилци. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Неуроморфна архитектура на стерео визија базирана на шилци.Risi N, Aymar A, Donati E, Solinas S и Indiveri G. Неуроморфна стереовизиска архитектура базирана на шилци. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Риси, Н., Аимар, А., Донати, Е., Солинас, С. & Индивери, Г.Risi N, Aimar A, Donati E, Solinas S и Indiveri G. Неуроморфна архитектура базирана на шипки за стерео визија.предниот дел. Neurorobotics 14, 93 (2020).
Освалд, М., Иенг, С.-Х., Беносман, Р. Освалд, М., Иенг, С.-Х., Беносман, Р.Освалд, М., Иенг, С.-Х., Беносман, Р. и Индивери, Г. Освалд, М., Иенг, С.-Х., Беносман, Р. и Индивери, Г. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型。Освалд, М., Иенг, С.-Х., Беносман, Р. и Индивери, Г.науката. Извештај 7, 1–11 (2017).
Далгати, Т. и сор. Основното детекција на движење инспирирано од инсекти вклучува отпорна меморија и пукнати невронски мрежи. Бионички биохибриден систем. 10928, 115-128 (2018).
D'Angelo, G. et al. Откривање на ексцентрично движење базирано на настани со користење на временско диференцијално кодирање. предниот дел. Неврологија. 14, 451 (2020).
Време на објавување: 17-11-2022 година