Вести

Апликације за обраду података у стварном свету захтевају компактне рачунарске системе са малом латенцијом и ниском потрошњом. Са рачунарским могућностима вођеним догађајима, комплементарне хибридне метал-оксид-полупроводник хибридне мемристивне неуроморфне архитектуре пружају идеалну хардверску основу за такве задатке. Да бисмо демонстрирали пуни потенцијал таквих система, предлажемо и експериментално демонстрирамо свеобухватно решење за обраду сензора за апликације локализације објеката у стварном свету. Црпећи инспирацију из неуроанатомије сова, развили смо биоинспирисан систем за локализацију објеката вођен догађајима који комбинује најсавременији пиезоелектрични микромеханички претварач претварача са рачунарском неуроморфном отпорном меморијом заснованом на графовима. Приказујемо мерења фабрикованог система који укључује отпорни детектор случајности заснован на меморији, кола за одлагање линије и потпуно прилагодљив ултразвучни претварач. Користимо ове експерименталне резултате за калибрацију симулација на нивоу система. Ове симулације се затим користе за процену угаоне резолуције и енергетске ефикасности модела локализације објекта. Резултати показују да наш приступ може бити неколико редова величине енергетски ефикаснији од микроконтролера који обављају исти задатак.
Улазимо у еру свеприсутног рачунарства у којој број уређаја и система који се користе експоненцијално расте како би нам помогли у свакодневном животу. Од ових система се очекује да раде непрекидно, трошећи што је могуће мање енергије док уче да тумаче податке које прикупљају са више сензора у реалном времену и производе бинарни излаз као резултат задатака класификације или препознавања. Један од најважнијих корака потребних за постизање овог циља је издвајање корисних и компактних информација из бучних и често непотпуних сензорних података. Конвенционални инжењерски приступи обично узоркују сигнале сензора константном и великом брзином, генеришући велике количине података чак и у одсуству корисних улаза. Поред тога, ове методе користе сложене технике дигиталне обраде сигнала за претходну обраду (често бучних) улазних података. Уместо тога, биологија нуди алтернативна решења за обраду бучних сензорних података коришћењем енергетски ефикасних, асинхроних приступа вођених догађајима (шиљци)2,3. Неуроморфно рачунарство је инспирисано биолошким системима како би се смањили трошкови рачунара у смислу енергетских и меморијских захтева у поређењу са традиционалним методама обраде сигнала4,5,6. Недавно су демонстрирани иновативни системи опште намене засновани на мозгу који имплементирају импулсне неуронске мреже (ТруеНортх7, БраинСцалеС8, ДИНАП-СЕ9, Лоихи10, Спиннакер11). Ови процесори пружају решења мале снаге и мале латенције за машинско учење и моделирање кортикалних кола. Да би у потпуности искористили своју енергетску ефикасност, ови неуроморфни процесори морају бити директно повезани са сензорима вођеним догађајима12,13. Међутим, данас постоји само неколико уређаја осетљивих на додир који директно пружају податке вођене догађајима. Истакнути примери су динамички визуелни сензори (ДВС) за апликације вида као што су праћење и детекција покрета14,15,16,17, силицијумска пужница18 и неуроморфни слушни сензори (НАС)19 за обраду слушних сигнала, олфакторни сензори20 и бројни примери21,22 додира. . сензори текстуре.
У овом раду представљамо новоразвијени систем слушне обраде вођен догађајима примењен на локализацију објеката. Овде, по први пут, описујемо енд-то-енд систем за локализацију објеката добијен повезивањем најсавременијег пиезоелектричног микромашинског ултразвучног претварача (пМУТ) са рачунарским графом заснованим на неуроморфној отпорној меморији (РРАМ). Архитектуре рачунара у меморији које користе РРАМ су обећавајуће решење за смањење потрошње енергије23,24,25,26,27,28,29. Њихова инхерентна непроменљивост — не захтева активну потрошњу енергије за складиштење или ажурирање информација — савршено се уклапа са асинхроном, догађајима вођеном природом неуроморфног рачунарства, што резултира скоро никаквом потрошњом енергије када је систем неактиван. Пиезоелектрични микромашински ултразвучни претварачи (пМУТ) су јефтини, минијатуризовани ултразвучни претварачи на бази силицијума који могу да делују као предајници и пријемници30,31,32,33,34. Да бисмо обрадили сигнале које су примили уграђени сензори, црпили смо инспирацију из неуроанатомије ушарене сове35,36,37. Сова ушарка Тито алба позната је по својим изузетним способностима ноћног лова захваљујући веома ефикасном систему слушне локализације. Да би израчунао локацију плена, систем локализације сове ушаре кодира време лета (ТоФ) када звучни таласи из плена дођу до сваког од совиних ушију или звучних рецептора. С обзиром на растојање између ушију, разлика између два ТоФ мерења (Интераурал Тиме Дифференце, ИТД) омогућава аналитички израчунавање азимутске позиције мете. Иако биолошки системи нису погодни за решавање алгебарских једначина, они могу веома ефикасно да реше проблеме локализације. Нервни систем сове ушаре користи скуп неурона детектора случајности (ЦД)35 (тј. неурона који су способни да детектују временске корелације између шиљака који се пропагирају надоле до конвергентних ексцитаторних завршетака)38,39 организованих у рачунарске графове за решавање проблема позиционирања.
Претходна истраживања су показала да је комплементарни хардвер метал-оксид-полупроводника (ЦМОС) и неуроморфни хардвер заснован на РРАМ-у инспирисан инфериорним коликулусом („слушним кортексом“) сове ушаре ефикасан метод за израчунавање положаја помоћу ИТД13, 40, 41, 42, 43 , 44, 45, 46. Међутим, потенцијал комплетних неуроморфних система који повезују слушне сигнале са неуроморфним рачунарским графовима тек треба да се демонстрира. Главни проблем је инхерентна варијабилност аналогних ЦМОС кола, што утиче на тачност детекције подударања. Недавно су демонстриране алтернативне нумеричке имплементације процјена ИТД47. У овом раду предлажемо да се искористи способност РРАМ-а да промени вредност проводљивости на непроменљив начин како би се супротставио варијабилности у аналогним колима. Имплементирали смо експериментални систем који се састоји од једне пМУТ предајне мембране која ради на фреквенцији од 111,9 кХз, две пМУТ пријемне мембране (сензора) које симулирају уши сове и једне . Експериментално смо окарактерисали пМУТ систем детекције и ИТД рачунарски граф заснован на РРАМ-у да бисмо тестирали наш систем локализације и проценили његову угаону резолуцију.
Наш метод упоређујемо са дигиталном имплементацијом на микроконтролеру који обавља исти задатак локализације користећи конвенционалне методе формирања снопа или неуроморфне методе, као и поље програмабилних капија (ФПГА) за ИТД процену предложену у референци. 47. Ово поређење наглашава конкурентну енергетску ефикасност предложеног аналогног неуроморфног система заснованог на РРАМ-у.
Један од најупечатљивијих примера тачног и ефикасног система локализације објеката може се наћи у сови ушару35,37,48. У сумрак и зору, сова ушара (Тито Алба) се првенствено ослања на пасивно слушање, активно тражећи мали плен као што су волухарице или мишеви. Ови слушни стручњаци могу да локализују звучне сигнале плена са запањујућом тачношћу (око 2°)35, као што је приказано на слици 1а. Сове ушаре закључују локацију извора звука у азимутној (хоризонталној) равни на основу разлике у долазном времену лета (ИТД) од извора звука до два уха. ИТД рачунарски механизам је предложио Јеффресс49,50 који се ослања на неуронску геометрију и захтева две кључне компоненте: аксон, нервно влакно неурона које делује као линија кашњења и низ неурона детектора случајности организованих у рачунарски систем. графикон као што је приказано на слици 1б. Звук стиже до уха са временским кашњењем које зависи од азимута (ИТД). Звук се затим претвара у узорак шиљака у сваком уху. Аксони левог и десног уха делују као линије кашњења и конвергирају се на ЦД неуронима. Теоретски, само један неурон у низу подударних неурона ће примати улаз у исто време (где се кашњење тачно поништава) и активираће се максимално (суседне ћелије ће се такође активирати, али на нижој фреквенцији). Активирање одређених неурона кодира позицију мете у простору без даљег претварања ИТД у углове. Овај концепт је сажет на слици 1ц: на пример, ако звук долази са десне стране када улазни сигнал из десног уха путује дужом путањом од путање из левог уха, компензујући број ИТД, на пример, када се неурон 2 подудара. Другим речима, сваки ЦД реагује на одређени ИТД (такође познат као оптимално кашњење) због кашњења аксона. Дакле, мозак претвара временске информације у просторне. Пронађени су анатомски докази за овај механизам37,51. Фазно закључани макронуклеусни неурони чувају временске информације о долазним звуцима: као што им име говори, они активирају одређене фазе сигнала. Неурони детектора случајности Џефресовог модела могу се наћи у ламинарном језгру. Они добијају информације од макронуклеарних неурона, чији аксони делују као линије кашњења. Количина кашњења коју обезбеђује линија кашњења може се објаснити дужином аксона, као и другим обрасцем мијелинизације који мења брзину проводљивости. Инспирисани слушним системом ушарене сове, развили смо биомиметички систем за локализацију објеката. Два уха су представљена са два пМУТ пријемника. Извор звука је пМУТ предајник који се налази између њих (слика 1а), а рачунски граф је формиран мрежом ЦД кола заснованих на РРАМ-у (слика 1б, зелена), који играју улогу ЦД неурона чији улази касне. кроз коло, линије кашњења (плаве) делују као аксони у биолошком пару. Предложени сензорни систем се разликује по радној фреквенцији од оног код сове, чији слушни систем ради у опсегу 1–8 кХз, али се у овом раду користе пМУТ сензори који раде на око 117 кХз. Избор ултразвучног претварача разматра се према техничким и оптимизацијским критеријумима. Прво, ограничавање пропусног опсега пријема на једну фреквенцију идеално побољшава тачност мерења и поједностављује корак накнадне обраде. Поред тога, рад у ултразвуку има предност у томе што се емитовани импулси не чују, стога не узнемиравајте људе, јер је њихов слушни опсег ~20-20 кХз.
сова ушара прима звучне таласе од мете, у овом случају плен који се креће. Време лета (ТоФ) звучног таласа је различито за свако уво (осим ако је плен директно испред сове). Испрекидана линија показује пут којим звучни таласи стигну до ушију сове. Плен се може тачно локализовати у хоризонталној равни на основу разлике у дужини између две акустичне путање и одговарајуће интерауралне временске разлике (ИТД) (лева слика инспирисана реф. 74, ауторска права 2002, Друштво за неуронауку). У нашем систему, пМУТ предајник (тамно плави) генерише звучне таласе који се одбијају од мете. Одбијене ултразвучне таласе примају два пМУТ пријемника (светло зелена) и обрађују неуроморфни процесор (десно). б Рачунски модел ИТД (Јеффресс) који описује како се звуци који улазе у уши сове прво кодирају као фазно закључани шиљци у великом језгру (НМ), а затим користе геометријски распоређену мрежу подударних детекторских неурона у ламеларном језгру. Обрада (Холандија) (лево). Илустрација неуроИТД рачунарског графа који комбинује линије кашњења и неуроне детектора случајности, биосензорски систем сове може се моделовати коришћењем неуроморфних кола заснованих на РРАМ-у (десно). ц Шема главног Џефресовог механизма, због разлике у ТоФ, два уха примају звучне стимулусе у различито време и шаљу аксоне са оба краја до детектора. Аксони су део серије неурона детектора случајности (ЦД), од којих сваки селективно реагује на инпуте који су јако временски корелисани. Као резултат, само ЦД-ови чији улази долазе са најмањом временском разликом су максимално узбуђени (ИТД је тачно компензован). ЦД ће затим кодирати угаону позицију мете.
Пиезоелектрични микромеханички ултразвучни претварачи су скалабилни ултразвучни претварачи који се могу интегрисати са напредном ЦМОС технологијом31,32,33,52 и имају нижи почетни напон и потрошњу енергије од традиционалних волуметријских претварача53. У нашем раду, пречник мембране је 880 µм, а резонантна фреквенција је распоређена у опсегу од 110–117 кХз (слика 2а, за детаље видети Методе). У серији од десет уређаја за тестирање, просечан фактор квалитета је био око 50 (реф. 31). Технологија је достигла индустријску зрелост и сама по себи није биоинспирисана. Комбиновање информација из различитих пМУТ филмова је добро позната техника, а информације о угловима могу се добити од пМУТ-ова коришћењем, на пример, техника формирања зрака31,54. Међутим, обрада сигнала потребна за издвајање информација о угловима није погодна за мерења мале снаге. Предложени систем комбинује неуроморфно коло за претходну обраду података пМУТ са неуроморфним рачунарским графом заснованим на РРАМ-у инспирисаним Јеффрессовим моделом (слика 2ц), пружајући алтернативно енергетски ефикасно и хардверско решење са ограниченим ресурсима. Извели смо експеримент у коме су два пМУТ сензора постављена на удаљености од приближно 10 цм да би се искористили различити ТоФ звукови које су примиле две пријемне мембране. Један пМУТ који делује као предајник налази се између пријемника. Мета је била ПВЦ плоча ширине 12 цм, смештена на растојању Д испред пМУТ уређаја (слика 2б). Пријемник снима звук који се одбија од објекта и реагује што је више могуће током проласка звучног таласа. Поновити експеримент променом положаја објекта, одређеног растојањем Д и углом θ. Инспирисан везом. 55, предлажемо неуроморфну ​​претходну обраду пМУТ необрађених сигнала за претварање рефлектованих таласа у врхове да би се унео неуроморфни рачунарски граф. ТоФ који одговара амплитуди пикова се издваја из сваког од два канала и кодира као тачно време појединачних пикова. На сл. 2ц приказује кола потребно за повезивање пМУТ сензора са рачунарским графиком заснованим на РРАМ-у: за сваки од два пМУТ пријемника, сирови сигнал се филтрира по опсегу да би се изгладио, исправио, а затим прослеђен интегратору који не пропушта у режиму превазилажења. динамички праг (слика 2д) ствара излазни догађај (шиљак) и неурон окидања (ЛИФ): излазно време шика кодира детектовано време лета. Праг ЛИФ је калибрисан према пМУТ одговору, чиме се смањује пМУТ варијабилност од уређаја до уређаја. Овим приступом, уместо да чувамо цео звучни талас у меморији и касније га обрађујемо, ми једноставно генеришемо врх који одговара ТоФ звучног таласа, који формира улаз за рачунарски граф отпорне меморије. Шиљци се шаљу директно на линије кашњења и паралелизирају са модулима за детекцију подударања у неуроморфним прорачунским графовима. Пошто се шаљу на капије транзистора, нису потребна додатна кола за појачавање (погледајте додатну слику 4 за детаље). Да бисмо проценили угаону тачност локализације коју обезбеђује пМУТ и предложени метод обраде сигнала, измерили смо ИТД (тј. разлику у времену између вршних догађаја генерисаних од стране два пријемника) како су растојање и угао објекта варирали. ИТД анализа је затим конвертована у углове (погледајте Методе) и уцртана у односу на положај објекта: несигурност у измереном ИТД се повећавала са растојањем и углом према објекту (Слика 2е,ф). Главни проблем је однос пик-шум (ПНР) у пМУТ одговору. Што је објекат даље, то је нижи акустични сигнал, чиме се смањује ПНР (слика 2ф, зелена линија). Смањење ПНР-а доводи до повећања несигурности у процени ИТД, што резултира повећањем тачности локализације (слика 2ф, плава линија). За објекат на удаљености од 50 цм од предајника, угаона тачност система је приближно 10°. Ово ограничење које намећу карактеристике сензора може се побољшати. На пример, притисак који шаље емитер може се повећати, чиме се повећава напон који покреће пМУТ мембрану. Друго решење за појачање емитованог сигнала је повезивање више предајника 56. Ова решења ће повећати домет детекције на рачун повећаних трошкова енергије. Додатна побољшања се могу извршити на страни која прима. Ниво буке пријемника пМУТ-а може се значајно смањити побољшањем везе између пМУТ-а и појачала прве фазе, што се тренутно ради жичаним везама и РЈ45 кабловима.
а Слика пМУТ кристала са шест интегрисаних мембрана од 880 µм на кораку од 1,5 мм. б Дијаграм мерне поставке. Циљ се налази на азимутској позицији θ и на удаљености Д. пМУТ предајник генерише сигнал од 117,6 кХз који се одбија од мете и стиже до два пМУТ пријемника са различитим временом лета (ТоФ). Ова разлика, дефинисана као интер-аурална временска разлика (ИТД), кодира позицију објекта и може се проценити проценом вршног одзива два сензора пријемника. ц Шематски приказ корака претходне обраде за претварање сировог пМУТ сигнала у шиљкове секвенце (тј. улаз у граф неуроморфног израчунавања). ПМУТ сензори и неуроморфни рачунарски графови су произведени и тестирани, а неуроморфна предобрада је заснована на софтверској симулацији. д Одговор пМУТ мембране по пријему сигнала и његова трансформација у спике домен. е Угаона тачност експерименталне локализације као функција угла објекта (Θ) и удаљености (Д) до циљаног објекта. Метода екстракције ИТД захтева минималну угаону резолуцију од приближно 4°Ц. ф Угаона тачност (плава линија) и одговарајући однос пик-шум (зелена линија) у односу на удаљеност објекта за Θ = 0.
Отпорна меморија складишти информације у непроменљивом проводљивом стању. Основни принцип методе је да модификација материјала на атомском нивоу изазива промену његове електричне проводљивости57. Овде користимо отпорну меморију засновану на оксиду која се састоји од 5нм слоја хафнијум диоксида у сендвичу између горње и доње електроде од титанијума и титанијум нитрида. Проводљивост РРАМ уређаја може се променити применом таласног облика струје/напона који ствара или прекида проводне филаменте слободних места кисеоника између електрода. Коинтегрисали смо такве уређаје58 у стандардни 130 нм ЦМОС процес да бисмо створили фабриковано реконфигурабилно неуроморфно коло које имплементира детектор случајности и коло линије кашњења (слика 3а). Неиспарљива и аналогна природа уређаја, у комбинацији са природом неуроморфног кола вођеном догађајима, минимизира потрошњу енергије. Коло има функцију тренутног укључивања/искључивања: ради одмах након укључивања, омогућавајући да се напајање потпуно искључи када је коло неактивно. Главни градивни блокови предложене шеме приказани су на сл. 3б. Састоји се од Н паралелних једно-отпорничких једнотранзисторских (1Т1Р) структура које кодирају синаптичке тежине из којих се узимају пондерисане струје, убризгавају се у заједничку синапсу интегратора диференцијалног пара (ДПИ)59 и коначно се убризгавају у синапсу интеграцијом и цурење. активирани (ЛИФ) неурон 60 (погледајте Методе за детаље). Улазни удари се примењују на капију структуре 1Т1Р у облику низа напонских импулса са трајањем реда стотина наносекунди. Отпорна меморија се може поставити у стање високе проводљивости (ХЦС) применом екстерне позитивне референце на Втоп када је Вботтом уземљен и ресетовати у стање ниске проводљивости (ЛЦС) применом позитивног напона на Вботтом када је Втоп уземљен. Просечна вредност ХЦС се може контролисати ограничавањем струје програмирања (усаглашености) СЕТ (ИЦЦ) напоном гејт-извор серијског транзистора (слика 3ц). Функције РРАМ-а у колу су двоструке: оне усмеравају и пондеришу улазне импулсе.
Слика са скенирајућим електронским микроскопом (СЕМ) плавог ХфО2 1Т1Р РРАМ уређаја интегрисаног у 130 нм ЦМОС технологију са селекторским транзисторима (ширине 650 нм) у зеленој боји. б Основни градивни блокови предложене неуроморфне шеме. Импулси улазног напона (пикови) Вин0 и Вин1 троше струју Ивеигхт, која је пропорционална стањима проводљивости Г0 и Г1 структуре 1Т1Р. Ова струја се убризгава у ДПИ синапсе и побуђује ЛИФ неуроне. РРАМ Г0 и Г1 су инсталирани у ХЦС и ЛЦС респективно. ц Функција кумулативне густине проводљивости за групу од 16К РРАМ уређаја као функција ИЦЦ струјног усклађивања, која ефективно контролише ниво проводљивости. д Мерења кола у (а) показују да Г1 (у ЛЦС) ефективно блокира улаз са Вин1 (зелено), и заиста, напон мембране излазног неурона реагује само на плави улаз из Вин0. РРАМ ефикасно одређује везе у колу. е Мерење кола у (б) које показује ефекат вредности проводљивости Г0 на напон мембране Вмем након примене напонског импулса Вин0. Што је већа проводљивост, јачи је одговор: тако, РРАМ уређај примењује пондерисање И/О везе. Мерења су извршена на колу и демонстрирају двоструку функцију РРАМ-а, усмеравање и пондерисање улазних импулса.
Прво, пошто постоје два основна стања проводљивости (ХЦС и ЛЦС), РРАМ-ови могу блокирати или пропустити улазне импулсе када су у ЛЦС или ХЦС стањима, респективно. Као резултат тога, РРАМ ефикасно одређује везе у колу. Ово је основа за могућност реконфигурисања архитектуре. Да бисмо ово демонстрирали, описали ћемо фабриковану имплементацију кола блока на слици 3б. РРАМ који одговара Г0 је програмиран у ХЦС, а други РРАМ Г1 је програмиран у ЛЦС. Улазни импулси се примењују и на Вин0 и Вин1. Ефекти две секвенце улазних импулса анализирани су у излазним неуронима прикупљањем напона неуронске мембране и излазног сигнала помоћу осцилоскопа. Експеримент је био успешан када је само ХЦС уређај (Г0) био повезан са импулсом неурона да би се стимулисао напетост мембране. Ово је демонстрирано на слици 3д, где плави низ импулса узрокује да се мембрански напон нагомила на мембранском кондензатору, док зелени импулсни низ одржава напон мембране константним.
Друга важна функција РРАМ-а је имплементација тежине везе. Користећи РРАМ аналогно подешавање проводљивости, И/О конекције се могу пондерисати у складу са тим. У другом експерименту, Г0 уређај је програмиран на различите нивое ХЦС, а улазни импулс је примењен на ВИн0 улаз. Улазни импулс извлачи струју (Ивеигхт) из уређаја, која је пропорционална проводљивости и одговарајућем паду потенцијала Втоп − Вбот. Ова пондерисана струја се затим убризгава у ДПИ синапсе и ЛИФ излазне неуроне. Напон мембране излазних неурона је забележен помоћу осцилоскопа и приказан на слици 3д. Врх напона неуронске мембране као одговор на један улазни импулс је пропорционалан проводљивости отпорне меморије, што показује да се РРАМ може користити као програмабилни елемент синаптичке тежине. Ова два прелиминарна теста показују да је предложена неуроморфна платформа заснована на РРАМ-у у стању да имплементира основне елементе основног Џефресовог механизма, односно линију кашњења и коло детектора случајности. Платформа кола је изграђена слагањем узастопних блокова један поред другог, као што су блокови на слици 3б, и повезивањем њихових капија на заједничку улазну линију. Дизајнирали смо, произвели и тестирали неуроморфну ​​платформу која се састоји од два излазна неурона који примају два улаза (слика 4а). Шема кола је приказана на слици 4б. Горња 2 × 2 РРАМ матрица омогућава да се улазни импулси усмере на два излазна неурона, док доња 2 × 2 матрица дозвољава рекурентне везе два неурона (Н0, Н1). Показали смо да се ова платформа може користити са конфигурацијом линије кашњења и две различите функције детектора случајности, као што је приказано експерименталним мерењима на слици 4ц-е.
Дијаграм кола формиран од два излазна неурона Н0 и Н1 који примају два улаза 0 и 1. Горња четири уређаја низа дефинишу синаптичке везе од улаза до излаза, а доње четири ћелије дефинишу рекурентне везе између неурона. Обојени РРАМ-ови представљају уређаје конфигурисане у ХЦС-у са десне стране: уређаји у ХЦС-у дозвољавају везе и представљају тежине, док уређаји у ЛЦС-у блокирају улазне импулсе и онемогућавају везе са излазима. б Дијаграм кола (а) са осам РРАМ модула означених плавом бојом. ц Линије кашњења се формирају једноставним коришћењем динамике ДПИ синапси и ЛИФ неурона. Зелени РРАМ је подешен на довољно високу проводљивост да може да изазове квар на излазу након улазног кашњења Δт. д Шематска илустрација ЦД детекције временски зависних сигнала неосетљивог на правац. Излазни неурон 1, Н1, активира се на улазима 0 и 1 са кратким закашњењем. е ЦД коло осетљиво на правац, коло које детектује када се улаз 1 приближи улазу 0 и стигне после улаза 0. Излаз кола је представљен неуроном 1 (Н1).
Линија кашњења (слика 4ц) једноставно користи динамичко понашање ДПИ синапси и ЛИФ неурона да репродукује улазни скок од Вин1 до Воут1 одлагањем Тдел. Само Г3 РРАМ повезан на Вин1 и Воут1 је програмиран у ХЦС-у, остали РРАМ-ови су програмирани у ЛЦС-у. Г3 уређај је програмиран за 92,6 µс како би се осигурало да сваки улазни импулс повећава напон мембране излазног неурона довољно да достигне праг и генерише одложени излазни импулс. Кашњење Тдел је одређено синаптичким и неуронским временским константама. Детектори случајности детектују појаву временски корелираних али просторно распоређених улазних сигнала. ЦД који није осетљив на правац ослања се на појединачне улазе који конвергирају заједничком излазном неурону (слика 4д). Два РРАМ-а који повезују Вин0 и Вин1 са Воут1, Г2 и Г4 су програмирани за високу проводљивост. Истовремени долазак шиљака на Вин0 и Вин1 повећава напон мембране Н1 неурона изнад прага потребног за генерисање излазног скока. Ако су два улаза превише удаљена у времену, наелектрисање на мембранском напону акумулираном на првом улазу може имати времена да се распадне, спречавајући мембрански потенцијал Н1 да достигне граничну вредност. Г1 и Г2 су програмирани за приближно 65 µс, што осигурава да један улазни удар не повећа напон мембране довољно да изазове излазни удар. Детекција случајности између догађаја распоређених у простору и времену је основна операција која се користи у широком спектру задатака сенсинга као што су избегавање препрека засновано на оптичком току и локализација извора звука. Према томе, рачунарски дискови осетљиви на правац и неосетљиви су основни грађевински блок за конструисање визуелних и аудио система за локализацију. Као што показују карактеристике временских константи (погледајте додатну слику 2), предложено коло имплементира одговарајући опсег од четири реда величине временских скала. Тако може истовремено да испуни захтеве визуелних и звучних система. ЦД осетљив на правац је коло које је осетљиво на просторни редослед доласка импулса: с десна на лево и обрнуто. То је основни грађевински блок у основној мрежи детекције покрета Дросопхила визуелног система, који се користи за израчунавање праваца кретања и откривање судара62. Да би се постигао ЦД осетљив на правац, два улаза морају бити усмерена на два различита неурона (Н0, Н1) и између њих мора бити успостављена усмерена веза (слика 4е). Када се прими први улаз, НО реагује повећањем напона на својој мембрани изнад граничне вредности и слањем таласа. Овај излазни догађај, заузврат, покреће Н1 захваљујући усмереној вези означеној зеленом бојом. Ако дође до улазног догађаја Вин1 и активира Н1 док је његов мембрански напон још увек висок, Н1 генерише излазни догађај који показује да је пронађено подударање између два улаза. Усмерене везе дозвољавају Н1 да емитује излаз само ако улаз 1 долази после улаза 0. Г0, Г3 и Г7 су програмирани на 73,5 µС, 67,3 µС и 40,2 µС, респективно, обезбеђујући да један шиљак на улазу Вин0 изазове кашњење излазни скок, док мембрански потенцијал Н1 достиже само праг када оба улазна рафала стигну синхронизовано. .
Варијабилност је извор несавршености у моделованим неуроморфним системима63,64,65. Ово доводи до хетерогеног понашања неурона и синапси. Примери таквих недостатака укључују варијабилност од 30% (средња стандардна девијација) у улазном појачању, временској константи и рефракторном периоду, да споменемо само неке (видети Методе). Овај проблем је још израженији када је више неуронских кола повезано заједно, као што је ЦД осетљив на оријентацију који се састоји од два неурона. Да би исправно функционисале, временске константе појачања и распада два неурона треба да буду што је могуће сличне. На пример, велика разлика у улазном појачању може проузроковати да један неурон претерано реагује на улазни импулс док други неурон једва реагује. На сл. Слика 5а показује да насумично одабрани неурони различито реагују на исти улазни импулс. Ова неуронска варијабилност је релевантна, на пример, за функцију ЦД-ова осетљивих на правац. У шеми приказаној на сл. 5б, ц, улазно појачање неурона 1 је много веће од оне неурона 0. Дакле, неурону 0 су потребна три улазна импулса (уместо 1) да би достигла праг, а неурону 1, како се и очекивало, потребна су два улазна догађаја. Имплементација биомиметичке пластичности зависне од шиљка (СТДП) је могући начин да се ублажи утицај непрецизних и спорих неуронских и синаптичких кола на перформансе система43. Овде предлажемо да се користи пластично понашање отпорне меморије као средство за утицање на побољшање неуронског улаза и смањење ефеката варијабилности у неуроморфним колима. Као што је приказано на сл. 4е, нивои проводљивости повезани са РРАМ синаптичком масом ефикасно модулирају одговарајући напонски одговор неуралне мембране. Користимо итеративну стратегију РРАМ програмирања. За дати улаз, вредности проводљивости синаптичких тежина се репрограмирају док се не добије циљно понашање кола (погледајте Методе).
а Експериментална мерења одговора девет насумично одабраних појединачних неурона на исти улазни импулс. Одговор се разликује у зависности од популације, утичући на појачање уноса и временску константу. б Експериментална мерења утицаја неурона на варијабилност неурона који утичу на ЦД осетљив на правац. Два излазна неурона ЦД-а осетљива на правац различито реагују на улазне стимулусе због варијабилности неурона на неурон. Неурон 0 има ниже улазно појачање од неурона 1, тако да су потребна три улазна импулса (уместо 1) да би се створио излазни скок. Као што се очекивало, неурон 1 достиже праг са два улазна догађаја. Ако улаз 1 стигне Δт = 50 µс након активирања неурона 0, ЦД остаје тих јер је Δт већи од временске константе неурона 1 (око 22 µс). ц се смањује за Δт = 20 µс, тако да улаз 1 има врхунац када је активирање неурона 1 и даље високо, што резултира истовременом детекцијом два улазна догађаја.
Два елемента која се користе у колони за прорачун ИТД су линија кашњења и ЦД неосетљив на правац. Оба кола захтевају прецизну калибрацију да би се обезбедиле добре перформансе позиционирања објеката. Линија кашњења мора да испоручи прецизно одложену верзију улазног пика (слика 6а), а ЦД мора бити активиран само када улаз падне у опсег детекције циља. За линију кашњења, синаптичке тежине улазних веза (Г3 на слици 4а) су репрограмиране док се не добије циљно кашњење. Поставите толеранцију око циљног кашњења да бисте зауставили програм: што је мања толеранција, теже је успешно поставити линију кашњења. На сл. На слици 6б приказани су резултати процеса калибрације линије кашњења: може се видети да предложена шема може тачно да обезбеди сва кашњења потребна у шеми пројектовања (од 10 до 300 μс). Максималан број итерација калибрације утиче на квалитет процеса калибрације: 200 итерација може смањити грешку на мање од 5%. Једна итерација калибрације одговара операцији постављања/ресетовања РРАМ ћелије. Процес подешавања је такође критичан за побољшање тачности детекције тренутног затварања ЦД модула. Било је потребно десет итерација калибрације да би се постигла права позитивна стопа (тј. стопа догађаја која је исправно идентификована као релевантна) изнад 95% (плава линија на слици 6ц). Међутим, процес подешавања није утицао на лажне позитивне догађаје (то јест, на учесталост догађаја који су погрешно идентификовани као релевантни). Други метод примећен у биолошким системима за превазилажење временских ограничења путева који се брзо активирају је редундантност (то јест, много копија истог објекта се користи за обављање дате функције). Инспирисани биологијом66, поставили смо неколико ЦД кола у сваки ЦД модул између две линије кашњења да бисмо смањили утицај лажних позитивних резултата. Као што је приказано на сл. 6ц (зелена линија), постављање три ЦД елемента у сваки ЦД модул може смањити стопу лажних аларма на мање од 10–2.
а Ефекат варијабилности неурона на кола линија кашњења. б Кола линија кашњења могу се скалирати на велика кашњења постављањем временских константи одговарајућих ЛИФ неурона и ДПИ синапси на велике вредности. Повећање броја итерација поступка калибрације РРАМ-а омогућило је значајно побољшање тачности циљног кашњења: 200 итерација је смањило грешку на мање од 5%. Једна итерација одговара операцији СЕТ/РЕСЕТ на РРАМ ћелији. Сваки ЦД модул у ц Јеффресс моделу може бити имплементиран коришћењем Н паралелних ЦД елемената за већу флексибилност у погледу системских кварова. д Више итерација калибрације РРАМ-а повећава праву позитивну стопу (плава линија), док је стопа лажно позитивна независна од броја итерација (зелена линија). Паралелно постављање више ЦД елемената избегава лажно откривање подударања ЦД модула.
Сада процењујемо перформансе и потрошњу енергије енд-то-енд интегрисаног система локализације објеката приказаног на слици 2 користећи мерења акустичких својстава пМУТ сензора, ЦД-а и кола линије кашњења која чине неуроморфни рачунарски граф. Џефресов модел (слика 1а). Што се тиче неуроморфног рачунарског графа, што је већи број ЦД модула, то је боља угаона резолуција, али и већа енергија система (сл. 7а). Компромис се може постићи упоређивањем тачности појединачних компоненти (пМУТ сензора, неурона и синаптичких кола) са тачношћу целог система. Резолуција линије кашњења је ограничена временским константама симулираних синапси и неурона, које у нашој шеми прелазе 10 µс, што одговара угаоној резолуцији од 4° (погледајте Методе). Напреднији чворови са ЦМОС технологијом ће омогућити пројектовање неуронских и синаптичких кола са нижим временским константама, што ће резултирати већом прецизношћу елемената линије кашњења. Међутим, у нашем систему тачност је ограничена грешком пМУТ у процени угаоне позиције, односно 10° (плава хоризонтална линија на сл. 7а). Фиксирали смо број ЦД модула на 40, што одговара угаоној резолуцији од око 4°, односно угаоној тачности рачунског графика (светлоплава хоризонтална линија на слици 7а). На нивоу система, ово даје резолуцију од 4° и тачност од 10° за објекте који се налазе 50 цм испред сензорског система. Ова вредност је упоредива са неуроморфним системима локализације звука наведеним у реф. 67. Поређење предложеног система са стањем технике може се наћи у Додатној табели 1. Додавање додатних пМУТ-ова, повећање нивоа акустичног сигнала и смањење електронског шума су могући начини за даље побољшање тачности локализације. ) процењена је на 9,7. нз. 55. С обзиром на 40 ЦД јединица на рачунарском графу, СПИЦЕ симулација је проценила енергију по операцији (тј. енергију позиционирања објекта) на 21,6 нЈ. Неуроморфни систем се активира само када дође улазни догађај, односно када акустични талас достигне било који пМУТ пријемник и пређе праг детекције, у супротном остаје неактиван. Ово избегава непотребну потрошњу енергије када нема улазног сигнала. Узимајући у обзир фреквенцију операција локализације од 100 Хз и период активације од 300 µс по операцији (максимални могући ИТД), потрошња енергије неуроморфног рачунарског графа је 61,7 нВ. Са неуроморфном претходном обрадом примењеном на сваки пМУТ пријемник, потрошња енергије целог система достиже 81,6 нВ. Да бисмо разумели енергетску ефикасност предложеног неуроморфног приступа у поређењу са конвенционалним хардвером, упоредили смо овај број са енергијом потребном за обављање истог задатка на модерном микроконтролеру мале снаге користећи неуроморфно или конвенционално формирање зрака68 Скилл. Неуроморфни приступ разматра степен аналогно-дигиталног претварача (АДЦ), праћен пропусним филтером и степеном екстракције омотача (Теегер-Каисер метода). Коначно, врши се операција прага за издвајање ТоФ-а. Изоставили смо израчунавање ИТД-а на основу ТоФ-а и конверзију у процењену угаону позицију пошто се то дешава једном за свако мерење (погледајте Методе). Под претпоставком да је брзина узорковања од 250 кХз на оба канала (пМУТ пријемници), 18 операција пропусног филтера, 3 операције екстракције омотача и 1 операција прага по узорку, укупна потрошња енергије је процењена на 245 микровати. Ово користи режим мале снаге микроконтролера69, који се укључује када се алгоритми не извршавају, што смањује потрошњу енергије на 10,8 µВ. Потрошња енергије решења за обраду сигнала за формирање снопа предложеног у референци. 31, са 5 пМУТ пријемника и 11 зрака равномерно распоређених у равни азимута [-50°, +50°], је 11,71 мВ (погледајте одељак Методе за детаље). Поред тога, извештавамо о потрошњи енергије кодера временске разлике (ТДЕ) заснованог на ФПГА47 процењеној на 1,5 мВ као замену за Јеффрессов модел за локализацију објеката. На основу ових процена, предложени неуроморфни приступ смањује потрошњу енергије за пет редова величине у поређењу са микроконтролером који користи класичне технике формирања зрака за операције локализације објеката. Усвајање неуроморфног приступа обради сигнала на класичном микроконтролеру смањује потрошњу енергије за око два реда величине. Ефикасност предложеног система може се објаснити комбинацијом асинхроног аналогног кола отпорне меморије способног да изврши прорачуне у меморији и недостатком аналогно-дигиталне конверзије потребне за перцепцију сигнала.
а Угаона резолуција (плава) и потрошња енергије (зелена) операције локализације у зависности од броја ЦД модула. Тамноплава хоризонтална трака представља угаону тачност ПМУТ-а, а светлоплава хоризонтална трака представља угаону тачност неуроморфног рачунарског графа. б Потрошња енергије предложеног система и поређење са два разматрана микроконтролерска имплементација и дигитална имплементација Тиме Дифференце Енцодер (ТДЕ)47 ФПГА.
Да бисмо минимизирали потрошњу енергије система за локализацију циља, осмислили смо, дизајнирали и имплементирали ефикасно неуроморфно коло засновано на РРАМ-у засновано на догађајима које обрађује информације о сигналу генерисане од стране уграђених сензора како би израчунао положај циљног објекта у стварном времену. време. . Док традиционалне методе обраде континуирано узоркују откривене сигнале и изводе прорачуне за издвајање корисних информација, предложено неуроморфно решење изводи прорачуне асинхроно како корисне информације пристижу, максимизирајући енергетску ефикасност система за пет редова величине. Поред тога, истичемо флексибилност неуроморфних кола заснованих на РРАМ-у. Способност РРАМ-а да промени проводљивост на непроменљив начин (пластичност) компензује инхерентну варијабилност аналогних ДПИ синаптичких и неуронских кола ултра мале снаге. Ово чини ово коло засновано на РРАМ-у свестраним и моћним. Наш циљ није да извучемо сложене функције или обрасце из сигнала, већ да локализујемо објекте у реалном времену. Наш систем такође може ефикасно компримовати сигнал и на крају га послати у даље кораке обраде како би се донеле сложеније одлуке када је то потребно. У контексту апликација за локализацију, наш корак неуроморфне препроцесирања може пружити информације о локацији објеката. Ове информације се могу користити, на пример, за детекцију покрета или препознавање покрета. Наглашавамо важност комбиновања сензора ултра мале снаге као што су пМУТ-ови са електроником ултра мале снаге. За ово, неуроморфни приступи су били кључни јер су нас навели да развијемо нове имплементације кола биолошки инспирисаних рачунарских метода као што је Џефресов модел. У контексту апликација за фузију сензора, наш систем се може комбиновати са неколико различитих сензора заснованих на догађајима како би се добиле тачније информације. Иако су сове одличне у проналажењу плена у мраку, имају одличан вид и обављају комбиновану слушну и визуелну претрагу пре него што ухвате плен70. Када се одређени слушни неурон активира, сова добија информације које су јој потребне да одреди у ком правцу да започне своју визуелну претрагу, фокусирајући тако своју пажњу на мали део визуелне сцене. Комбинацију визуелних сензора (ДВС камера) и предложеног сензора за слушање (заснованог на пМУТ) треба истражити за развој будућих аутономних агената.
ПМУТ сензор се налази на штампаној плочи са два пријемника на удаљености од приближно 10 цм, а предајник се налази између пријемника. У овом раду, свака мембрана је суспендована биморфна структура која се састоји од два слоја пиезоелектричног алуминијум нитрида (АлН) дебљине 800 нм у сендвичу између три слоја молибдена (Мо) дебљине 200 нм и обложеног слојем дебљине 200 нм. горњи пасивирајући СиН слој као што је описано у референци. 71. Унутрашња и спољашња електрода се наносе на доњи и горњи слој молибдена, док је средња молибденска електрода без шаблона и користи се као уземљење, што резултира мембраном са четири пара електрода.
Ова архитектура омогућава коришћење уобичајене деформације мембране, што резултира побољшаном осетљивошћу на пренос и пријем. Такав пМУТ типично показује осетљивост побуде од 700 нм/В као емитер, обезбеђујући површински притисак од 270 Па/В. Као пријемник, један пМУТ филм показује осетљивост на кратки спој од 15 нА/Па, што је директно повезано са пиезоелектричним коефицијентом АлН. Техничка варијабилност напона у АлН слоју доводи до промене резонантне фреквенције, која се може компензовати применом једносмерне пристрасности на пМУТ. ДЦ осетљивост је мерена на 0,5 кХз/В. За акустичку карактеризацију, испред пМУТ-а се користи микрофон.
Да бисмо измерили ехо пулс, поставили смо правоугаону плочу са површином од око 50 цм2 испред пМУТ-а да рефлектује емитоване звучне таласе. И растојање између плоча и угао у односу на раван пМУТ се контролишу помоћу посебних држача. Извор напона Тецтроник ЦПКС400ДП помера три пМУТ мембране, подешавајући резонантну фреквенцију на 111,9 кХз31, док предајнике покреће Тецтроник АФГ 3102 генератор импулса подешен на резонантну фреквенцију (111,9 кХз) и радни циклус од 0.01. Струје очитане са четири излазна порта сваког пМУТ пријемника се конвертују у напоне користећи специјалну архитектуру диференцијалне струје и напона, а резултујући сигнали се дигитализују помоћу Спектрум система за аквизицију података. Границу детекције карактерише аквизиција пМУТ сигнала под различитим условима: рефлектор смо померили на различите удаљености [30, 40, 50, 60, 80, 100] цм и променили угао подршке пМУТ ([0, 20, 40] о ) Слика 2б приказује временску резолуцију детекције ИТД у зависности од одговарајуће угаоне позиције у степенима.
Овај чланак користи два различита готова РРАМ кола. Први је низ од 16.384 (16.000) уређаја (128 × 128 уређаја) у 1Т1Р конфигурацији са једним транзистором и једним отпорником. Други чип је неуроморфна платформа приказана на слици 4а. РРАМ ћелија се састоји од ХфО2 филма дебљине 5 нм уграђеног у ТиН/ХфО2/Ти/ТиН стог. РРАМ стог је интегрисан у бацк-оф-лине (БЕОЛ) стандардног 130нм ЦМОС процеса. Неуроморфна кола заснована на РРАМ-у представљају изазов дизајна за потпуно аналогне електронске системе у којима РРАМ уређаји коегзистирају са традиционалном ЦМОС технологијом. Конкретно, стање проводљивости РРАМ уређаја мора се прочитати и користити као функционална варијабла за систем. У ту сврху, дизајнирано је, произведено и тестирано коло које чита струју из уређаја када се прими улазни импулс и користи ову струју да одмери одговор синапсе интегратора диференцијалног пара (ДПИ). Ово коло је приказано на слици 3а, која представља основне грађевне блокове неуроморфне платформе на слици 4а. Улазни импулс активира капију уређаја 1Т1Р, индукујући струју кроз РРАМ пропорционалну проводљивости уређаја Г (Ивеигхт = Г(Втоп – Вк)). Инвертујући улаз кола операционог појачавача (оп-амп) има константан ДЦ преднапон Втоп. Негативна повратна спрега оп-појачала ће обезбедити Вк = Втоп обезбеђивањем једнаке струје из М1. Тренутна Ивеигхт преузета са уређаја се убризгава у ДПИ синапсу. Јача струја ће резултирати већом деполаризацијом, тако да РРАМ проводљивост ефикасно примењује синаптичке тежине. Ова експоненцијална синаптичка струја се убризгава кроз мембрански кондензатор неурона пропусне интеграције и ексцитације (ЛИФ), где је интегрисана као напон. Ако се превазиђе гранични напон мембране (преклопни напон претварача), активира се излазни део неурона, стварајући излазни скок. Овај импулс се враћа и шантује мембрански кондензатор неурона на масу, узрокујући његово пражњење. Ово коло се затим допуњује са експандером импулса (није приказан на слици 3а), који обликује излазни импулс ЛИФ неурона према циљној ширини импулса. Мултиплексори су такође уграђени у сваку линију, омогућавајући да се напон примени на горњу и доњу електроду РРАМ уређаја.
Електрична испитивања обухватају анализу и снимање динамичког понашања аналогних кола, као и програмирање и читање РРАМ уређаја. Оба корака захтевају специјалне алате, који су сви повезани са сензорском плочом у исто време. Приступ РРАМ уређајима у неуроморфним колима се врши из екстерних алата преко мултиплексера (МУКС). МУКС одваја 1Т1Р ћелију од остатка кола којима припада, омогућавајући уређају да се чита и/или програмира. За програмирање и читање РРАМ уређаја, Кеитхлеи 4200 СЦС машина се користи у комбинацији са Ардуино микроконтролером: први за прецизно генерисање импулса и очитавање струје, а други за брз приступ појединачним 1Т1Р елементима у меморијском низу. Прва операција је формирање РРАМ уређаја. Ћелије се бирају једна по једна и примењује се позитиван напон између горње и доње електроде. У овом случају, струја је ограничена на десетине микроампера због довода одговарајућег напона гејта на транзистор селектора. РРАМ ћелија тада може да кружи између стања ниске проводљивости (ЛЦС) и стања високе проводљивости (ХЦС) користећи операције РЕСЕТ и СЕТ, респективно. Операција СЕТ се спроводи применом правоугаоног импулса напона у трајању од 1 μс и вршног напона од 2,0-2,5 В на горњу електроду и синхронизованог импулса сличног облика са вршним напоном од 0,9-1,3 В на капија селекторског транзистора. Ове вредности омогућавају модулацију РРАМ проводљивости у интервалима од 20-150 µс. За РЕСЕТ, 1 µс широк, вршни импулс од 3 В се примењује на доњу електроду (битну линију) ћелије када је напон гејта у опсегу од 2,5-3,0 В. Улази и излази аналогних кола су динамички сигнали . За улаз смо спојили два ХП 8110 генератора импулса са Тектроник АФГ3011 генераторима сигнала. Улазни импулс има ширину од 1 µс и ивицу раста/пада од 50 нс. Претпоставља се да је овај тип импулса типичан квар у аналогним колима заснованим на кваровима. Што се тиче излазног сигнала, излазни сигнал је снимљен помоћу Теледине ЛеЦрои 1 ГХз осцилоскопа. Доказано је да брзина аквизиције осцилоскопа није ограничавајући фактор у анализи и аквизицији података кола.
Коришћење динамике аналогне електронике за симулацију понашања неурона и синапси је елегантно и ефикасно решење за побољшање рачунарске ефикасности. Недостатак ове рачунске подлоге је што ће се разликовати од шеме до шеме. Квантификовали смо варијабилност неурона и синаптичких кола (додатна слика 2а, б). Од свих манифестација варијабилности, оне повезане са временским константама и улазним добитком имају највећи утицај на нивоу система. Временска константа ЛИФ неурона и ДПИ синапсе се одређује помоћу РЦ кола, где се вредност Р контролише напоном пристрасности који се примењује на капију транзистора (Влк за неурон и Втау за синапсу), одређујући стопа цурења. Улазно појачање је дефинисано као вршни напон који достижу кондензатори синаптичке и неуронске мембране стимулисани улазним импулсом. Улазно појачање се контролише помоћу другог транзистора који модулише улазну струју. Монте Карло симулација калибрисана на СТ Мицроелецтроницс-овом 130нм процесу је изведена да би се прикупила нека статистика улазног појачања и временске константе. Резултати су представљени на додатној слици 2, где су улазно појачање и временска константа квантификовани као функција преднапона који контролише брзину цурења. Зелени маркери квантификују стандардну девијацију временске константе од средње вредности. И неурони и синаптичка кола су били у стању да изразе широк опсег временских константи у опсегу од 10-5-10-2 с, као што је приказано на додатној шеми слике. Улазно појачање (допунска слика 2е, д) варијабилности неурона и синапсе било је приближно 8% и 3%, респективно. Такав недостатак је добро документован у литератури: извршена су различита мерења на низу ДИНАП чипова да би се проценила неусклађеност између популација неурона ЛИФ63. Измерене су синапсе у мешовитом сигналном чипу БраинСцале и анализиране су њихове недоследности, а предложена је процедура калибрације да би се смањио ефекат варијабилности на нивоу система64.
Функција РРАМ-а у неуроморфним колима је двострука: дефиниција архитектуре (усмеравање улаза ка излазима) и имплементација синаптичких тежина. Ово последње својство се може користити за решавање проблема варијабилности моделованих неуроморфних кола. Развили смо једноставну процедуру калибрације која укључује репрограмирање РРАМ уређаја све док коло које се анализира не испуни одређене захтеве. За дати улаз, излаз се надгледа и РРАМ се репрограмира док се не постигне циљно понашање. Време чекања од 5 с је уведено између операција програмирања да би се решио проблем релаксације РРАМ-а што је резултирало пролазним флуктуацијама проводљивости (додатне информације). Синаптичке тежине се подешавају или калибришу према захтевима неуроморфног кола које се моделује. Процедура калибрације је сажета у додатним алгоритмима [1, 2] који се фокусирају на две фундаменталне карактеристике неуроморфних платформи, линије кашњења и ЦД неосетљив на правац. За коло са линијом кашњења, циљно понашање је да обезбеди излазни импулс са кашњењем Δт. Ако је стварно кашњење кола мање од циљне вредности, синаптичку тежину Г3 треба смањити (Г3 треба ресетовати, а затим поставити на нижу одговарајућу струју Ицц). Супротно томе, ако је стварно кашњење веће од циљне вредности, проводљивост Г3 се мора повећати (Г3 се прво мора ресетовати, а затим подесити на вишу Ицц вредност). Овај процес се понавља све док се кашњење које генерише коло не поклопи са циљном вредношћу и док се не постави толеранција за заустављање процеса калибрације. За ЦД-ове који нису осетљиви на оријентацију, два РРАМ уређаја, Г1 и Г3, су укључена у процес калибрације. Ово коло има два улаза, Вин0 и Вин1, са кашњењем за дт. Коло би требало да реагује само на кашњења испод опсега подударања [0,дтЦД]. Ако нема излазног врха, али је улазни пик близу, оба РРАМ уређаја треба да се појачају како би помогли неурону да достигне праг. Супротно томе, ако коло реагује на кашњење које прелази циљни опсег дтЦД, проводљивост се мора смањити. Понављајте поступак док се не постигне исправно понашање. Струја усклађености може се модулирати помоћу уграђеног аналогног кола у реф. 72.73. Са овим уграђеним колом, такве процедуре се могу изводити периодично да би се калибрисао систем или поново користио за другу примену.
Процењујемо потрошњу енергије нашег приступа неуроморфној обради сигнала на стандардном 32-битном микроконтролеру68. У овој евалуацији претпостављамо рад са истим подешавањем као у овом раду, са једним пМУТ предајником и два пМУТ пријемника. Овај метод користи пропусни филтер, након чега следи корак екстракције омотача (Теегер-Каисер), и на крају се на сигнал примењује операција прага да би се издвојило време лета. Израчунавање ИТД-а и његово претварање у углове детекције су изостављени у процени. Разматрамо имплементацију филтера опсега који користи филтер бесконачног импулсног одзива 4. реда који захтева 18 операција са помичним зарезом. Екстракција коверте користи још три операције са помичним зарезом, а последња операција се користи за постављање прага. Потребно је укупно 22 операције са плутајућим зарезом за претходну обраду сигнала. Емитовани сигнал је кратак низ од 111,9 кХз синусног таласа који се генерише сваких 10 мс, што резултира радном фреквенцијом позиционирања од 100 Хз. Користили смо брзину узорковања од 250 кХз да бисмо били у складу са Најквистом и прозор од 6 мс за свако мерење да бисмо ухватили опсег од 1 метра. Имајте на уму да је 6 милисекунди време лета објекта који је удаљен 1 метар. Ово обезбеђује потрошњу енергије од 180 µВ за А/Д конверзију при 0,5 МСПС. Претходна обрада сигнала је 6,60 МИПС (инструкције у секунди), генеришући 0,75 мВ. Међутим, микроконтролер се може пребацити у режим мале снаге 69 када алгоритам не ради. Овај режим обезбеђује статичку потрошњу енергије од 10,8 μВ и време буђења од 113 μс. С обзиром на фреквенцију такта од 84 МХз, микроконтролер завршава све операције неуроморфног алгоритма у року од 10 мс, а алгоритам израчунава радни циклус од 6,3%, на тај начин користећи режим мале снаге. Добијена дисипација снаге је 244,7 μВ. Имајте на уму да изостављамо ИТД излаз из ТоФ-а и конверзију у угао детекције, чиме се потцењује потрошња енергије микроконтролера. Ово даје додатну вредност за енергетску ефикасност предложеног система. Као додатни услов поређења, процењујемо потрошњу енергије класичних метода обликовања зрака предложених у референци. 31,54 када је уграђен у исти микроконтролер68 на напону напајања од 1,8 В. Пет равномерно распоређених пМУТ мембрана се користи за прикупљање података за формирање зрака. Што се тиче саме обраде, коришћена метода формирања зрака је сумирање кашњења. Једноставно се састоји од примене кашњења на траке које одговара очекиваној разлици у времену доласка између једне траке и референтне траке. Ако су сигнали у фази, збир ових сигнала ће имати високу енергију након временског померања. Ако су ван фазе, деструктивна интерференција ће ограничити енергију њиховог збира. у вези. На сл. 31, бира се брзина узорковања од 2 МХз да се подаци померају по времену за цео број узорака. Скромнији приступ је одржавање грубље брзине узорковања од 250 кХз и коришћење филтера са коначним импулсним одзивом (ФИР) за синтезу фракционих кашњења. Претпоставићемо да је сложеност алгоритма за формирање снопа углавном одређена временским померањем, пошто је сваки канал конволвиран са ФИР филтером са 16 тапова у сваком правцу. Да бисмо израчунали број МИПС потребних за ову операцију, узимамо у обзир прозор од 6 мс по мерењу да бисмо ухватили опсег од 1 метар, 5 канала, 11 праваца формирања зрака (опсег +/- 50° у корацима од 10°). 75 мерења у секунди гурнуло је микроконтролер до максимума од 100 МИПС. Линк. 68, што резултира дисипацијом снаге од 11,26 мВ за укупну дисипацију снаге од 11,71 мВ након додавања доприноса уграђеног АДЦ-а.
Подаци који подржавају резултате ове студије доступни су од одговарајућег аутора, ФМ, на разуман захтев.
Индивери, Г. & Сандамирскаиа, И. Важност простора и времена за обраду сигнала у неуроморфним агенсима: изазов развоја аутономних агенаса мале снаге који су у интеракцији са околином. Индивери, Г. & Сандамирскаиа, И. Важност простора и времена за обраду сигнала у неуроморфним агенсима: изазов развоја аутономних агенаса мале снаге који су у интеракцији са околином.Индивери Г. анд Сандамирскаиа И. Значај простора и времена за обраду сигнала у неуроморфним агенсима: изазов развоја аутономних агенаса мале снаге у интеракцији са окружењем. Индивери, Г. и Сандамирскаја, И.空间和时间对于神经形态代理中信号处理的重要性：开发与环境交互的低功耗、自主代理的挑战. Индивери, Г. и Сандамирскаја, И.Индивери Г. анд Сандамирскаиа И. Значај простора и времена за обраду сигнала у неуроморфним агенсима: изазов развоја аутономних агенаса мале снаге у интеракцији са окружењем.ИЕЕЕ обрада сигнала. Часопис 36, 16–28 (2019).
Тхорпе, СЈ Пеак Арривал Тиме: Еффициент Неурал Нетворк Цодинг Сцхеме. у Ецкмиллер, Р., Хартманн, Г. и Хауске, Г. (ур.). у Ецкмиллер, Р., Хартманн, Г. и Хауске, Г. (ур.).у Ецкмиллер, Р., Хартманн, Г. и Хауске, Г. (ур.).У Ецкмиллер, Р., Хартманн, Г. и Хауске, Г. (ур.). Паралелна обрада у неуронским системима и рачунарима 91–94 (Нортх-Холланд Елсевиер, 1990).
Леви, ВБ & Цалверт, ВГ Цоммуницатион троши 35 пута више енергије од рачунања у људском кортексу, али су оба трошка потребна за предвиђање броја синапси. Леви, ВБ & Цалверт, ВГ Цоммуницатион троши 35 пута више енергије од рачунања у људском кортексу, али су оба трошка потребна за предвиђање броја синапси.Леви, ВБ и Цалверт, ВГ Цоммуницатион троше 35 пута више енергије од рачунања у људском кортексу, али су оба трошка потребна за предвиђање броја синапси. Леви, ВБ & Цалверт, ВГ Цоммуницатион 消耗的能量是人类皮层计算的35 的 Леви, ВБ & Цалверт, ВГ ЦоммуницатионЛеви, ВБ и Цалверт, ВГ Цоммуницатион троше 35 пута више енергије од рачунања у људском кортексу, али оба трошка захтевају предвиђање броја синапси.процес. Национална академија наука. наука. УС 118, хттпс://дои.орг/10.1073/пнас.2008173118 (2021).
Далгати, Т., Вианелло, Е., Де Салво, Б. & Цасас, Ј. Неуроморфно рачунарство инспирисано инсектима. Далгати, Т., Вианелло, Е., Де Салво, Б. & Цасас, Ј. Неуроморфно рачунарство инспирисано инсектима.Далгати, Т., Вианелло, Е., ДеСалво, Б. и Цасас, Ј. Неуроморфно рачунарство инспирисано инсектима.Далгати Т., Вианелло Е., ДеСалво Б. и Цасас Ј. Неуроморфно рачунарство инспирисано инсектима. Цуррент. Опинион. Наука о инсектима. 30, 59–66 (2018).
Рои, К., Јаисвал, А. & Панда, П. Ка машинској интелигенцији заснованој на шиљцима са неуроморфним рачунарством. Рои, К., Јаисвал, А. & Панда, П. Ка машинској интелигенцији заснованој на шиљцима са неуроморфним рачунарством. Рои, К., Јаисвал, А. & Панда, П. Товардс Мацхине Интеллигенце-басед витх Неуроморпхиц Цомпутинг.Рои К, Јаисвал А и Панда П. Вештачка интелигенција заснована на пулсу користећи неуроморфно рачунарство. Природа 575, 607–617 (2019).
Индивери, Г. & Лиу, С.-Ц. Индивери, Г. & Лиу, С.-Ц.Индивери, Г. и Лиу, С.-К. Индивери, Г. & Лиу, С.-Ц. Индивери, Г. & Лиу, С.-Ц.Индивери, Г. и Лиу, С.-К.Меморија и обрада информација у неуроморфним системима. процес. ИЕЕЕ 103, 1379–1397 (2015).
Акопиан Ф. ет ал. Труенортх: Дизајн и комплет алата за синаптички чип од 65 мВ од 1 милион неурона који се може програмирати. ИЕЕЕ трансакције. Компјутерско пројектовање система интегрисаних кола. 34, 1537–1557 (2015).
Сцхеммел, Ј. ет ал. Демо уживо: смањена верзија неуроморфног система БраинСцалеС на скали плоче. 2012 ИЕЕЕ међународни симпозијум о круговима и системима (ИСЦАС), (ИЕЕЕ ур.) 702–702 (2012).
Моради, С., Киао, Н., Стефанини, Ф. & Индивери, Г. Скалабилна вишејезгарна архитектура са хетерогеним меморијским структурама за динамичке неуроморфне асинхроне процесоре (ДИНАП). Моради, С., Киао, Н., Стефанини, Ф. & Индивери, Г. Скалабилна вишејезгарна архитектура са хетерогеним меморијским структурама за динамичке неуроморфне асинхроне процесоре (ДИНАП).Моради С., Киао Н., Стефанини Ф. и Индивири Г. Скалабилна вишејезгарна архитектура са хетерогеним меморијским структурама за динамичке неуроморфне асинхроне процесоре (ДИНАП). Моради, С.、Киао, Н.、Стефанини, Ф. & Индивери, Г. 一种可扩展的多核架构，具有用于动态神经形歁可扩展的多核架构, 具有用于动态神经形歁可扩展的多核架构的异构内存结构。 Моради, С.、Киао, Н.、Стефанини, Ф. & Индивери, Г. Врста прошириве вишејезгрене архитектуре, са јединственом меморијском структуром за динамичку неуронску обраду (ДИНАП).Моради С., Киао Н., Стефанини Ф. и Индивири Г. Скалабилна вишејезгарна архитектура са хетерогеним меморијским структурама за динамичке неуроморфне асинхроне процесоре (ДИНАП).ИЕЕЕ Трансацтионс он Биомедицал сциенце. електрични систем. 12, 106–122 (2018).
Давис, М. ет ал. Лоихи: Неуроморфни вишејезгарни процесор са уграђеним учењем. ИЕЕЕ Мицро 38, 82–99 (2018).
Фурбер, СБ, Галлуппи, Ф., Темпле, С. & Плана, ЛА Пројекат СпиННакер. Фурбер, СБ, Галлуппи, Ф., Темпле, С. & Плана, ЛА Пројекат СпиННакер.Фербер СБ, Галлуппи Ф., Темпле С. и Плана ЛА СпиННакер пројекат.Фербер СБ, Галлуппи Ф., Темпле С. и Плана ЛА СпиННакер пројекат. процес. ИЕЕЕ 102, 652–665 (2014).
Лиу, С.-К. & Делбруцк, Т. Неуроморфни сензорни системи. & Делбруцк, Т. Неуроморфни сензорни системи.и Делбруцк Т. Неуроморфни сензорни системи. & Делбруцк, Т. 神经形态感觉系统。 и Делбрук, Т.и Делбруцк Т. Неуроморфни сензорни систем.Цуррент. Опинион. Неуробиологи. 20, 288–295 (2010).
Цхопе, Т. ет ал. Неуроморфна сензорна интеграција за комбиновану локализацију извора звука и избегавање судара. 2019. на ИЕЕЕ конференцији о биомедицинским круговима и системима (БиоЦАС), (ИЕЕЕ Ед.) 1–4 (2019).
Риси, Н., Аимар, А., Донати, Е., Солинас, С. & Индивери, Г. Неуроморфна архитектура стерео вида заснована на шиљцима. Риси, Н., Аимар, А., Донати, Е., Солинас, С. & Индивери, Г. Неуроморфна архитектура стерео вида заснована на шиљцима.Риси Н, Аимар А, Донати Е, Солинас С и Индивери Г. Неуроморфна стереовизијска архитектура заснована на шиљцима. Риси, Н., Аимар, А., Донати, Е., Солинас, С. & Индивери, Г. 一种基于脉冲的立体视觉神经形态结构。 Риси, Н., Аимар, А., Донати, Е., Солинас, С. & Индивери, Г.Риси Н, Аимар А, Донати Е, Солинас С и Индивери Г. Неуроморфна архитектура заснована на Спике-у за стерео визију.фронт. Неуророботика 14, 93 (2020).
Оссвалд, М., Иенг, С.-Х., Беносман, Р. & Индивери, Г. Модел 3Д перцепције наглом неуронском мрежом за неуроморфне системе стерео визије засноване на догађајима. Оссвалд, М., Иенг, С.-Х., Беносман, Р. & Индивери, Г. Модел 3Д перцепције наглом неуронском мрежом за неуроморфне системе стерео визије засноване на догађајима.Освалд, М., Иенг, С.-Х., Беносман, Р., и Индивери, Г. Модел перцепције 3Д импулсне неуронске мреже за неуроморфне стереовидне системе засноване на догађајима. Оссвалд, М., Иенг, С.-Х., Беносман, Р. & Индивери, Г. 基于事件的神经形态立体视觉系统的3Дперцептион 脉冲神经 Освалд, М., Иенг, С.-Х., Беносман, Р. и Индивери, Г. 3Дперцепција 脉冲神经网络模型。Освалд, М., Иенг, С.-Х., Беносман, Р., и Индивери, Г. Модел неуронске мреже 3Д перцепције за систем неуроморфног стерео вида заснованог на догађајима.наука. Извештај 7, 1–11 (2017).
Далгати, Т. ет ал. Основна детекција покрета инспирисана инсектима укључује отпорну меморију и распрснуте неуронске мреже. Биохибридни систем. 10928, 115–128 (2018).
Д'Ангело, Г. ет ал. Детекција ексцентричног покрета заснована на догађајима коришћењем временског диференцијалног кодирања. фронт. Неурологи. 14, 451 (2020).