Реалните приложения за обработка на данни изискват компактни изчислителни системи с ниска латентност и ниска мощност. С управлявани от събития изчислителни възможности, допълващи се хибридни метал-оксид-полупроводникови мемристивни невроморфни архитектури осигуряват идеална хардуерна основа за такива задачи. За да демонстрираме пълния потенциал на такива системи, ние предлагаме и експериментално демонстрираме цялостно решение за обработка на сензори за приложения за локализиране на обекти в реалния свят. Черпейки вдъхновение от невроанатомията на горската сова, ние разработихме биовдъхновена, управлявана от събития система за локализиране на обекти, която съчетава най-съвременен пиезоелектричен микромеханичен трансдюсер преобразувател с базирана на компютърна графика невроморфна резистивна памет. Ние показваме измервания на произведена система, която включва базиран на паметта резистивен детектор за съвпадение, верига на линията на закъснение и ултразвуков преобразувател с възможност за напълно персонализиране. Ние използваме тези експериментални резултати, за да калибрираме симулации на системно ниво. След това тези симулации се използват за оценка на ъгловата разделителна способност и енергийната ефективност на модела за локализиране на обекта. Резултатите показват, че нашият подход може да бъде с няколко порядъка по-енергийно ефективен от микроконтролерите, изпълняващи същата задача.
Навлизаме в ера на повсеместни компютри, в която броят на устройствата и системите, внедрени, нараства експоненциално, за да ни помагат в ежедневието ни. Очаква се тези системи да работят непрекъснато, като консумират възможно най-малко енергия, докато се учат да интерпретират данните, които събират от множество сензори в реално време и да произвеждат двоичен изход в резултат на задачи за класифициране или разпознаване. Една от най-важните стъпки, необходими за постигането на тази цел, е извличането на полезна и компактна информация от шумни и често непълни сензорни данни. Конвенционалните инженерни подходи обикновено вземат проби от сензорни сигнали с постоянна и висока скорост, генерирайки големи количества данни дори при липса на полезни входове. В допълнение, тези методи използват сложни техники за обработка на цифрови сигнали за предварителна обработка на (често шумни) входни данни. Вместо това биологията предлага алтернативни решения за обработка на шумни сензорни данни, използвайки енергийно ефективни, асинхронни, управлявани от събития подходи (шипове) 2,3. Невроморфното изчисление се вдъхновява от биологичните системи, за да намали изчислителните разходи по отношение на изискванията за енергия и памет в сравнение с традиционните методи за обработка на сигнали4,5,6. Наскоро бяха демонстрирани иновативни мозъчно базирани системи с общо предназначение, прилагащи импулсни невронни мрежи (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Тези процесори осигуряват решения с ниска мощност и ниска латентност за машинно обучение и моделиране на кортикални вериги. За да използват напълно своята енергийна ефективност, тези невроморфни процесори трябва да бъдат директно свързани към управлявани от събития сензори 12, 13. Днес обаче има само няколко сензорни устройства, които директно предоставят управлявани от събития данни. Видни примери са динамични визуални сензори (DVS) за зрителни приложения като проследяване и откриване на движение14,15,16,17 силициевата кохлеа18 и невроморфни слухови сензори (NAS)19 за обработка на слухови сигнали, обонятелни сензори20 и множество примери21,22 за докосване. . сензори за текстура.
В тази статия представяме новоразработена система за слухова обработка, управлявана от събития, приложена за локализиране на обекти. Тук за първи път описваме система от край до край за локализиране на обекти, получена чрез свързване на най-съвременен пиезоелектричен микромашинно ултразвуков преобразувател (pMUT) с изчислителна графика, базирана на невроморфна резистивна памет (RRAM). Компютърните архитектури в паметта, използващи RRAM, са обещаващо решение за намаляване на консумацията на енергия23,24,25,26,27,28,29. Тяхната присъща непроменливост - не изисква активна консумация на енергия за съхраняване или актуализиране на информация - идеално пасва на асинхронния, управляван от събития характер на невроморфните изчисления, което води до почти никаква консумация на енергия, когато системата е неактивна. Пиезоелектричните микромашинни ултразвукови преобразуватели (pMUTs) са евтини, миниатюризирани ултразвукови преобразуватели, базирани на силиций, способни да действат като предаватели и приемници30,31,32,33,34. За да обработим сигналите, получени от вградените сензори, почерпихме вдъхновение от невроанатомията на горската сова35,36,37. Горската сова Tyto alba е известна със своите забележителни способности за нощен лов благодарение на много ефективна система за слухово локализиране. За да изчисли местоположението на плячката, системата за локализиране на бухала кодира времето на полет (ToF), когато звуковите вълни от плячката достигнат всяко от ушите или звуковите рецептори на бухала. Като се има предвид разстоянието между ушите, разликата между двете ToF измервания (Interaural Time Difference, ITD) прави възможно аналитичното изчисляване на азимутната позиция на целта. Въпреки че биологичните системи не са подходящи за решаване на алгебрични уравнения, те могат да решават проблеми с локализацията много ефективно. Нервната система на горската сова използва набор от неврони за детектор на съвпадения (CD)35 (т.е. неврони, способни да откриват времеви корелации между шипове, които се разпространяват надолу към конвергентни възбудителни окончания)38,39, организирани в изчислителни графики за решаване на проблеми с позиционирането.
Предишни изследвания показаха, че комплементарният хардуер на метал-оксид-полупроводник (CMOS) и невроморфен хардуер, базиран на RRAM, вдъхновен от долния коликулус („слуховия кортекс“) на бухала, е ефективен метод за изчисляване на позиция с помощта на ITD13, 40, 41, 42, 43, 44, 45, 46. Въпреки това, потенциалът на пълни невроморфни системи, които свързват слухови знаци с невроморфни изчислителни графики, все още не е демонстриран. Основният проблем е присъщата променливост на аналоговите CMOS схеми, което влияе върху точността на откриване на съвпадение. Наскоро бяха демонстрирани алтернативни числени реализации на оценките на ITD47. В тази статия предлагаме да се използва способността на RRAM да променя стойността на проводимостта по енергонезависим начин, за да се противодейства на променливостта в аналоговите вериги. Ние внедрихме експериментална система, състояща се от една предавателна мембрана pMUT, работеща на честота от 111,9 kHz, две pMUT приемащи мембрани (сензори), симулиращи уши на бухал, и един . Ние експериментално характеризирахме системата за откриване на pMUT и базираната на RRAM ITD изчислителна графика, за да тестваме нашата система за локализация и да оценим нейната ъглова разделителна способност.
Ние сравняваме нашия метод с цифрово внедряване на микроконтролер, изпълняващ същата задача за локализиране, използвайки конвенционални методи за формиране на лъчи или невроморфни методи, както и програмируема полева матрица (FPGA) за ITD оценка, предложена в препратката. 47. Това сравнение подчертава конкурентната енергийна ефективност на предложената аналогова невроморфна система, базирана на RRAM.
Един от най-ярките примери за точна и ефективна система за локализиране на обекти може да бъде намерен в горската сова35,37,48. На здрач и на разсъмване горската сова (Tyto Alba) разчита предимно на пасивно слушане, активно търсейки дребна плячка като полевки или мишки. Тези слухови експерти могат да локализират слухови сигнали от плячка с удивителна точност (около 2°)35, както е показано на фиг. 1а. Горските сови правят заключение за местоположението на източниците на звук в азимутната (хоризонтална) равнина от разликата във времето на полет (ITD) от източника на звук до двете уши. Изчислителният механизъм на ITD е предложен от Jeffress49,50, който разчита на невронна геометрия и изисква два ключови компонента: аксон, нервно влакно на неврон, действащо като линия на забавяне, и масив от неврони за детектори на съвпадения, организирани в изчислителна система. графика, както е показано на фигура 1b. Звукът достига до ухото със закъснение, зависимо от азимута (ITD). След това звукът се преобразува в шипове във всяко ухо. Аксоните на лявото и дясното ухо действат като линии на забавяне и се събират в CD невроните. Теоретично, само един неврон в масив от съвпадащи неврони ще получи входна информация в даден момент (където забавянето се анулира точно) и ще задейства максимално (съседните клетки също ще задействат, но с по-ниска честота). Активирането на определени неврони кодира позицията на целта в пространството без допълнително преобразуване на ITD в ъгли. Тази концепция е обобщена на Фигура 1c: например, ако звукът идва от дясната страна, когато входният сигнал от дясното ухо изминава по-дълъг път от пътя от лявото ухо, компенсирайки броя на ITD, например, когато неврон 2 съвпада. С други думи, всеки CD реагира на определено ITD (известно също като оптимално забавяне) поради аксонално забавяне. Така мозъкът преобразува времевата информация в пространствена. Намерени са анатомични доказателства за този механизъм37,51. Фазово заключените макроядрени неврони съхраняват времева информация за входящите звуци: както подсказва името им, те задействат определени фази на сигнала. Невроните за детектиране на съвпадения на модела на Jeffress могат да бъдат намерени в ламинарното ядро. Те получават информация от макроядрени неврони, чиито аксони действат като линии на забавяне. Количеството забавяне, осигурено от линията на забавяне, може да се обясни с дължината на аксона, както и с друг модел на миелинизация, който променя скоростта на проводимост. Вдъхновени от слуховата система на горската сова, ние разработихме биомиметична система за локализиране на обекти. Двете уши са представени от два pMUT приемника. Източникът на звук е pMUT предавателят, разположен между тях (фиг. 1а), а изчислителната графика се формира от мрежа от RRAM базирани CD вериги (фиг. 1b, зелено), играещи ролята на CD неврони, чиито входове са забавени. през веригата, линиите на забавяне (сини) действат като аксони в биологичния аналог. Предложената сензорна система се различава по работна честота от тази на бухала, чиято слухова система работи в диапазона 1–8 kHz, но в тази работа се използват pMUT сензори, работещи на около 117 kHz. Изборът на ултразвуков преобразувател се разглежда според технически и оптимизационни критерии. Първо, ограничаването на честотната лента на приемане до една честота в идеалния случай подобрява точността на измерване и опростява стъпката на последваща обработка. В допълнение, работата с ултразвук има предимството, че излъчваните импулси не се чуват, следователно не безпокоят хората, тъй като техният слухов диапазон е ~20-20 kHz.
бухалът получава звукови вълни от цел, в този случай движеща се плячка. Времето на полет (ToF) на звуковата вълна е различно за всяко ухо (освен ако плячката не е точно пред бухала). Пунктираната линия показва пътя, по който звуковите вълни достигат до ушите на бухала. Плячката може да бъде точно локализирана в хоризонталната равнина въз основа на разликата в дължината между двата акустични пътя и съответната междуушна времева разлика (ITD) (лявото изображение, вдъхновено от реф. 74, авторско право 2002, Society for Neuroscience). В нашата система предавателят pMUT (тъмносин) генерира звукови вълни, които отскачат от целта. Отразените ултразвукови вълни се получават от два pMUT приемника (светло зелено) и се обработват от невроморфния процесор (вдясно). b Изчислителен модел на ITD (Jeffress), описващ как звуците, навлизащи в ушите на горската сова, първо се кодират като фазово заключени шипове в голямото ядро (NM) и след това с помощта на геометрично подредена мрежа от съвпадащи детекторни неврони в ламеларното ядро. Обработка (Холандия) (вляво). Илюстрация на изчислителна графика на neuroITD, съчетаваща линии на забавяне и неврони за детектори на съвпадения, биосензорната система на сова може да бъде моделирана с помощта на базирани на RRAM невроморфни вериги (вдясно). c Схема на основния механизъм на Jeffress, поради разликата в ToF, двете уши получават звукови стимули по различно време и изпращат аксони от двата края към детектора. Аксоните са част от поредица от неврони за детектор на съвпадения (CD), всеки от които реагира селективно на входове, силно свързани с времето. В резултат на това само компактдискове, чиито входове пристигат с най-малка времева разлика, са максимално възбудени (ITD е точно компенсиран). След това CD ще кодира ъгловата позиция на целта.
Пиезоелектричните микромеханични ултразвукови преобразуватели са мащабируеми ултразвукови преобразуватели, които могат да бъдат интегрирани с усъвършенствана CMOS технология31,32,33,52 и имат по-ниско първоначално напрежение и консумация на енергия от традиционните обемни преобразуватели53. В нашата работа диаметърът на мембраната е 880 µm, а резонансната честота е разпределена в диапазона от 110–117 kHz (фиг. 2а, вижте Методи за подробности). В партида от десет тестови устройства средният качествен фактор беше около 50 (реф. 31). Технологията е достигнала индустриална зрялост и сама по себе си не е биоинспирирана. Комбинирането на информация от различни pMUT филми е добре позната техника и информация за ъгъла може да бъде получена от pMUT, използвайки, например, техники за формиране на лъч 31, 54. Въпреки това, обработката на сигнала, необходима за извличане на информацията за ъгъла, не е подходяща за измервания с ниска мощност. Предложената система комбинира невроморфната схема за предварителна обработка на данни pMUT с базирана на RRAM невроморфна изчислителна графика, вдъхновена от модела на Jeffress (Фигура 2c), осигурявайки алтернативно енергийно ефективно и ограничено от ресурси хардуерно решение. Проведохме експеримент, в който два pMUT сензора бяха поставени на приблизително 10 cm един от друг, за да се използват различните ToF звуци, получени от двете приемащи мембрани. Един pMUT, действащ като предавател, седи между приемниците. Целта беше PVC плоча с ширина 12 cm, разположена на разстояние D пред устройството pMUT (фиг. 2b). Приемникът записва отразения от обекта звук и реагира максимално по време на преминаването на звуковата вълна. Повторете експеримента, като промените позицията на обекта, определена от разстоянието D и ъгъла θ. Вдъхновен от връзка. 55, ние предлагаме невроморфна предварителна обработка на pMUT сурови сигнали за преобразуване на отразени вълни в пикове за въвеждане на невроморфна изчислителна графика. ToF, съответстващ на пиковата амплитуда, се извлича от всеки от двата канала и се кодира като точното време на отделните пикове. На фиг. 2c показва електрическата верига, необходима за свързване на сензора pMUT с базирана на RRAM изчислителна графика: за всеки от двата приемника pMUT, необработеният сигнал е лентово филтриран, за да се изглади, коригира и след това се предава на пропускливия интегратор в режим на преодоляване. динамичният праг (фиг. 2d) създава изходно събитие (пик) и активиращ (LIF) неврон: времето на изходния пик кодира откритото време на полет. Прагът на LIF е калибриран спрямо отговора на pMUT, като по този начин се намалява променливостта на pMUT от устройство на устройство. С този подход, вместо да съхраняваме цялата звукова вълна в паметта и да я обработваме по-късно, ние просто генерираме пик, съответстващ на ToF на звуковата вълна, който формира входа към изчислителната графика на резистивната памет. Шиповете се изпращат директно към линиите на забавяне и се паралелизират с модули за откриване на съвпадение в невроморфни изчислителни графики. Тъй като те се изпращат към портите на транзисторите, не е необходима допълнителна схема за усилване (вижте допълнителна фигура 4 за подробности). За да оценим ъгловата точност на локализацията, осигурена от pMUT и предложения метод за обработка на сигнала, ние измерихме ITD (тоест разликата във времето между пиковите събития, генерирани от два приемника), тъй като разстоянието и ъгълът на обекта варираха. След това анализът на ITD беше преобразуван в ъгли (вижте Методи) и начертан спрямо позицията на обекта: несигурността в измерения ITD се увеличи с разстоянието и ъгъла спрямо обекта (фиг. 2e,f). Основният проблем е съотношението пик към шум (PNR) в pMUT отговора. Колкото по-далеч е обектът, толкова по-нисък е звуковият сигнал, като по този начин се намалява PNR (фиг. 2f, зелена линия). Намаляването на PNR води до увеличаване на несигурността в оценката на ITD, което води до увеличаване на точността на локализация (фиг. 2f, синя линия). За обект на разстояние 50 cm от предавателя, ъгловата точност на системата е приблизително 10°. Това ограничение, наложено от характеристиките на сензора, може да бъде подобрено. Например, налягането, изпратено от емитера, може да се увеличи, като по този начин се увеличи напрежението, управляващо pMUT мембраната. Друго решение за усилване на предавания сигнал е свързването на множество предаватели 56. Тези решения ще увеличат обхвата на откриване за сметка на увеличените енергийни разходи. Допълнителни подобрения могат да бъдат направени от приемащата страна. Нивото на шума на приемника на pMUT може да бъде значително намалено чрез подобряване на връзката между pMUT и усилвателя на първия етап, което в момента се извършва с жични връзки и RJ45 кабели.
Изображение на pMUT кристал с шест 880 µm мембрани, интегрирани на 1,5 mm стъпка. b Диаграма на измервателната настройка. Целта е разположена на азимутна позиция θ и на разстояние D. Предавателят pMUT генерира 117,6 kHz сигнал, който отскача от целта и достига до два pMUT приемника с различно време на полет (ToF). Тази разлика, дефинирана като междуушна времева разлика (ITD), кодира позицията на обект и може да бъде оценена чрез оценка на пиковия отговор на двата приемни сензора. c Схема на стъпките на предварителна обработка за преобразуване на необработения pMUT сигнал в пикови последователности (т.е. вход към невроморфната изчислителна графика). Сензорите pMUT и невроморфните изчислителни графики са произведени и тествани, а невроморфната предварителна обработка се основава на софтуерна симулация. d Отговор на pMUT мембраната при получаване на сигнал и неговата трансформация в пиков домейн. e Експериментална ъглова точност на локализация като функция на ъгъла на обекта (Θ) и разстоянието (D) до целевия обект. Методът на екстракция ITD изисква минимална ъглова разделителна способност от приблизително 4°C. f Ъглова точност (синя линия) и съответното съотношение пик-шум (зелена линия) спрямо разстоянието на обекта за Θ = 0.
Резистивната памет съхранява информация в енергонезависимо проводящо състояние. Основният принцип на метода е, че модификацията на материала на атомно ниво предизвиква промяна в неговата електропроводимост57. Тук използваме базирана на оксид резистивна памет, състояща се от 5nm слой от хафниев диоксид, поставен между горния и долния титан и електродите от титанов нитрид. Проводимостта на RRAM устройствата може да бъде променена чрез прилагане на форма на вълната на ток/напрежение, която създава или прекъсва проводими нишки от свободни кислородни места между електродите. Ние съвместно интегрирахме такива устройства58 в стандартен 130 nm CMOS процес, за да създадем произведена реконфигурируема невроморфна верига, прилагаща детектор за съвпадение и верига на линия на забавяне (Фиг. 3а). Енергонезависимият и аналогов характер на устройството, съчетан със събитийно управлявания характер на невроморфната верига, минимизира консумацията на енергия. Веригата има функция за незабавно включване/изключване: тя работи веднага след включване, позволявайки захранването да бъде изключено напълно, когато веригата е неактивна. Основните градивни елементи на предложената схема са показани на фиг. 3б. Състои се от N паралелни структури с един резистор и един транзистор (1T1R), които кодират синаптични тегла, от които се вземат претеглени токове, инжектирани в общия синапс на интегратор на диференциална двойка (DPI)59 и накрая инжектирани в синапса с интеграция и изтичане. активиран (LIF) неврон 60 (вижте Методи за подробности). Входните удари се прилагат към портата на структурата 1T1R под формата на последователност от импулси на напрежение с продължителност от порядъка на стотици наносекунди. Резистивната памет може да бъде поставена в състояние с висока проводимост (HCS) чрез прилагане на външна положителна референция към Vtop, когато Vbottom е заземен, и да се нулира в състояние с ниска проводимост (LCS) чрез прилагане на положително напрежение към Vbottom, когато Vtop е заземен. Средната стойност на HCS може да се контролира чрез ограничаване на тока на програмиране (съответствие) на SET (ICC) от напрежението порта-източник на серийния транзистор (фиг. 3c). Функциите на RRAM във веригата са две: те насочват и претеглят входните импулси.
Изображение от сканиращ електронен микроскоп (SEM) на синьо HfO2 1T1R RRAM устройство, интегрирано в 130 nm CMOS технология със селекторни транзистори (650 nm широки) в зелено. b Основни градивни елементи на предложената невроморфна схема. Импулсите на входното напрежение (пикове) Vin0 и Vin1 консумират ток Iweight, който е пропорционален на състоянията на проводимост G0 и G1 на структурата 1T1R. Този ток се инжектира в DPI синапсите и възбужда LIF невроните. RRAM G0 и G1 са инсталирани съответно в HCS и LCS. c Функция на кумулативната плътност на проводимостта за група от 16K RRAM устройства като функция на ICC съвпадение на тока, което ефективно контролира нивото на проводимост. d Измервания на веригата в (a), показващи, че G1 (в LCS) ефективно блокира входа от Vin1 (зелен) и наистина мембранното напрежение на изходния неврон реагира само на синия вход от Vin0. RRAM ефективно определя връзките във веригата. e Измерване на веригата в (b), показващо ефекта на стойността на проводимостта G0 върху напрежението на мембраната Vmem след прилагане на импулс на напрежение Vin0. Колкото по-голяма е проводимостта, толкова по-силен е отговорът: по този начин RRAM устройството прилага претегляне на I/O връзката. Измерванията бяха направени на веригата и демонстрираха двойната функция на RRAM, маршрутизиране и претегляне на входните импулси.
Първо, тъй като има две основни състояния на проводимост (HCS и LCS), RRAM могат да блокират или да пропуснат входни импулси, когато са съответно в LCS или HCS състояния. В резултат на това RRAM ефективно определя връзките във веригата. Това е основата за възможността за преконфигуриране на архитектурата. За да демонстрираме това, ще опишем изработена схемна реализация на схемния блок на Фиг. 3b. RRAM, съответстващ на G0, е програмиран в HCS, а вторият RRAM G1 е програмиран в LCS. Входните импулси се прилагат както към Vin0, така и към Vin1. Ефектите от две последователности от входни импулси бяха анализирани в изходните неврони чрез събиране на напрежението на невронната мембрана и изходния сигнал с помощта на осцилоскоп. Експериментът беше успешен, когато само устройството HCS (G0) беше свързано към пулса на неврона, за да стимулира напрежението на мембраната. Това е демонстрирано на Фигура 3d, където синята импулсна поредица причинява мембранното напрежение да се натрупа върху мембранния кондензатор, докато зелената импулсна поредица поддържа напрежението на мембраната постоянно.
Втората важна функция на RRAM е прилагането на тегла на връзката. Използвайки аналоговата настройка на проводимостта на RRAM, I/O връзките могат да бъдат съответно претеглени. Във втория експеримент устройството G0 беше програмирано на различни нива на HCS и входният импулс беше приложен към входа VIn0. Входящият импулс извлича ток (Iweight) от устройството, който е пропорционален на проводимостта и съответния потенциален спад Vtop − Vbot. След това този претеглен ток се инжектира в DPI синапсите и LIF изходните неврони. Мембранното напрежение на изходните неврони се записва с помощта на осцилоскоп и се показва на Фиг. 3d. Пикът на напрежението на невронната мембрана в отговор на единичен входен импулс е пропорционален на проводимостта на резистивната памет, демонстрирайки, че RRAM може да се използва като програмируем елемент на синаптично тегло. Тези два предварителни теста показват, че предложената невроморфна платформа, базирана на RRAM, е в състояние да приложи основните елементи на основния механизъм на Jeffress, а именно линията на забавяне и веригата на детектора за съвпадение. Платформата на веригата е изградена чрез подреждане на последователни блокове един до друг, като блоковете на фигура 3b, и свързване на техните порти към обща входна линия. Ние проектирахме, изработихме и тествахме невроморфна платформа, състояща се от два изходни неврона, получаващи два входа (фиг. 4а). Схемата на веригата е показана на фигура 4b. Горната 2 × 2 RRAM матрица позволява входните импулси да бъдат насочени към два изходни неврона, докато долната 2 × 2 матрица позволява повтарящи се връзки на два неврона (N0, N1). Ние демонстрираме, че тази платформа може да се използва с конфигурация на линия на забавяне и две различни функции на детектор на съвпадение, както е показано от експериментални измервания на Фиг. 4c-e.
Схема на веригата, образувана от два изходни неврона N0 и N1, получаващи два входа 0 и 1. Горните четири устройства на масива определят синаптичните връзки от вход към изход, а долните четири клетки определят повтарящи се връзки между невроните. Цветните RRAM представляват устройствата, конфигурирани в HCS отдясно: устройствата в HCS позволяват връзки и представляват тегла, докато устройствата в LCS блокират входните импулси и деактивират връзките към изходите. b Диаграма на верига (a) с осем RRAM модула, подчертани в синьо. c Линиите на забавяне се формират чрез просто използване на динамиката на DPI синапсите и LIF невроните. Зеленият RRAM е настроен на достатъчно висока проводимост, за да може да предизвика бъг на изхода след забавянето на входа Δt. d Схематична илюстрация на нечувствително към посоката CD откриване на зависими от времето сигнали. Изходен неврон 1, N1, се задейства на входове 0 и 1 с кратко закъснение. e Чувствителна към посоката CD схема, верига, която открива, когато вход 1 се доближава до вход 0 и пристига след вход 0. Изходът на веригата е представен от неврон 1 (N1).
Линията на забавяне (Фигура 4c) просто използва динамичното поведение на DPI синапси и LIF неврони, за да възпроизведе входния пик от Vin1 към Vout1 чрез забавяне на Tdel. Само G3 RRAM, свързан към Vin1 и Vout1, е програмиран в HCS, останалите RRAM са програмирани в LCS. Устройството G3 е програмирано за 92,6 µs, за да се гарантира, че всеки входен импулс повишава напрежението на мембраната на изходния неврон достатъчно, за да достигне прага и да генерира забавен изходен импулс. Закъснението Tdel се определя от синаптичните и невронните времеви константи. Детекторите за съвпадение откриват появата на корелирани във времето, но пространствено разпределени входни сигнали. Нечувствителният към посоката CD разчита на отделни входове, които се събират към общ изходен неврон (Фигура 4d). Двете RRAM, свързващи Vin0 и Vin1 съответно с Vout1, G2 и G4, са програмирани за висока проводимост. Едновременното пристигане на шипове на Vin0 и Vin1 повишава напрежението на N1 невронната мембрана над прага, необходим за генериране на изходния пик. Ако двата входа са твърде далеч един от друг във времето, зарядът на мембранното напрежение, натрупан от първия вход, може да има време да се разпадне, предотвратявайки мембранния потенциал N1 от достигане на праговата стойност. G1 и G2 са програмирани за приблизително 65 µs, което гарантира, че единичен входен удар не повишава напрежението на мембраната достатъчно, за да предизвика изходен удар. Откриването на съвпадения между събития, разпределени в пространството и времето, е основна операция, използвана в широк спектър от сензорни задачи, като избягване на препятствия, базирано на оптичен поток, и локализиране на източника на звук. По този начин изчисляването на чувствителни към посоката и нечувствителни компактдискове е основен градивен елемент за конструиране на системи за визуална и аудио локализация. Както е показано от характеристиките на времевите константи (вижте допълнителна фигура 2), предложената схема прилага подходящ диапазон от времеви скали от четири порядъка. По този начин той може едновременно да отговори на изискванията на визуалните и звуковите системи. Чувствителният към посока CD е верига, която е чувствителна към пространствения ред на пристигане на импулси: от дясно на ляво и обратно. Това е основен градивен елемент в основната мрежа за откриване на движение на визуалната система на Drosophila, използвана за изчисляване на посоките на движение и откриване на сблъсъци62. За да се постигне CD, чувствителен към посока, два входа трябва да бъдат насочени към два различни неврона (N0, N1) и между тях трябва да се установи насочена връзка (фиг. 4e). Когато бъде получен първият вход, NO реагира чрез увеличаване на напрежението през мембраната над праговата стойност и изпращане на вълна. Това изходно събитие от своя страна задейства N1 благодарение на насочената връзка, маркирана в зелено. Ако пристигне входно събитие Vin1 и захранва N1, докато напрежението на мембраната му е все още високо, N1 генерира изходно събитие, което показва, че е намерено съответствие между двата входа. Насочените връзки позволяват на N1 да излъчва изход само ако вход 1 идва след вход 0. G0, G3 и G7 са програмирани съответно на 73,5 µS, 67,3 µS и 40,2 µS, като се гарантира, че един пик на входа Vin0 причинява забавено изходен пик, докато мембранният потенциал на N1 достига прага само когато и двата входни изблика пристигнат синхронно. .
Променливостта е източник на несъвършенство в моделираните невроморфни системи63,64,65. Това води до хетерогенно поведение на невроните и синапсите. Примери за такива недостатъци включват 30% (средно стандартно отклонение) променливост във входното усилване, времевата константа и рефрактерния период, за да назовем само няколко (вижте Методи). Този проблем е още по-изразен, когато множество невронни вериги са свързани заедно, като чувствителен към ориентация CD, състоящ се от два неврона. За да работят правилно, времевите константи на усилване и затихване на двата неврона трябва да са възможно най-сходни. Например, голяма разлика във входното усилване може да накара един неврон да реагира прекалено много на входен импулс, докато другият неврон едва реагира. На фиг. Фигура 5а показва, че произволно избраните неврони реагират по различен начин на един и същ входен импулс. Тази невронна променливост е от значение, например, за функцията на чувствителните към посока компактдискове. В схемата, показана на фиг. 5b, c, входното усилване на неврон 1 е много по-високо от това на неврон 0. По този начин неврон 0 изисква три входни импулса (вместо 1), за да достигне прага, а неврон 1, както се очаква, се нуждае от две входни събития. Прилагането на зависима от времето биомиметична пластичност (STDP) е възможен начин за смекчаване на въздействието на неточни и бавни невронни и синаптични вериги върху производителността на системата43. Тук предлагаме да използваме пластичното поведение на резистивната памет като средство за повлияване на усилването на невронния вход и намаляване на ефектите от променливостта в невроморфните вериги. Както е показано на фиг. 4е, нивата на проводимост, свързани със синаптичната маса на RRAM, ефективно модулират съответния отговор на напрежението на нервната мембрана. Използваме итеративна стратегия за програмиране на RRAM. За даден вход стойностите на проводимостта на синаптичните тегла се препрограмират, докато се получи целевото поведение на веригата (вижте Методи).
a Експериментални измервания на реакцията на девет произволно избрани индивидуални неврона на един и същ входен импулс. Отговорът варира в различните популации, засягайки усилването на входа и времевата константа. b Експериментални измервания на влиянието на невроните върху променливостта на невроните, засягащи чувствителния към посока CD. Двата чувствителни към посока CD изходни неврони реагират по различен начин на входни стимули поради вариабилността от неврон към неврон. Неврон 0 има по-ниско входно усилване от неврон 1, така че са необходими три входни импулса (вместо 1), за да се създаде изходен скок. Както се очаква, неврон 1 достига прага с две входни събития. Ако вход 1 пристигне Δt = 50 µs след задействане на неврон 0, CD остава безшумен, защото Δt е по-голямо от времевата константа на неврон 1 (около 22 µs). c се намалява с Δt = 20 µs, така че вход 1 достига пикове, когато задействането на неврон 1 е все още високо, което води до едновременно откриване на две входни събития.
Двата елемента, използвани в колоната за изчисляване на ITD, са линията на забавяне и нечувствителният към посоката CD. И двете вериги изискват прецизно калибриране, за да осигурят добро позициониране на обекта. Линията на забавяне трябва да достави точно забавена версия на входния пик (фиг. 6а), а CD трябва да се активира само когато входът попадне в обхвата на откриване на целта. За линията на забавяне синаптичните тегла на входните връзки (G3 на Фиг. 4а) бяха препрограмирани, докато се получи целевото забавяне. Задайте толеранс около целевото забавяне, за да спрете програмата: колкото по-малък е толерансът, толкова по-трудно е успешното задаване на линията на забавяне. На фиг. Фигура 6b показва резултатите от процеса на калибриране на линията на забавяне: може да се види, че предложената схема може точно да осигури всички закъснения, изисквани в проектната схема (от 10 до 300 μs). Максималният брой повторения на калибриране влияе върху качеството на процеса на калибриране: 200 повторения могат да намалят грешката до по-малко от 5%. Една итерация на калибриране съответства на операция за настройка/нулиране на RRAM клетка. Процесът на настройка също е от решаващо значение за подобряване на точността на незабавното откриване на събития при затваряне на CD модула. Необходими са десет итерации на калибриране, за да се постигне истински положителен процент (т.е. процент на събития, правилно идентифицирани като релевантни) над 95% (синя линия на фигура 6c). Процесът на настройка обаче не е повлиял на фалшивите положителни събития (т.е. честотата на събитията, които са били идентифицирани погрешно като релевантни). Друг метод, наблюдаван в биологичните системи за преодоляване на времевите ограничения на бързо активиращите се пътища, е излишъкът (т.е. много копия на един и същи обект се използват за изпълнение на дадена функция). Вдъхновени от биологията66, поставихме няколко CD вериги във всеки CD модул между двете линии за забавяне, за да намалим въздействието на фалшивите положителни резултати. Както е показано на фиг. 6c (зелена линия), поставянето на три CD елемента във всеки CD модул може да намали честотата на фалшивите аларми до по-малко от 10–2.
a Ефект на невронната променливост върху вериги на линии на забавяне. b Веригите на линията на закъснение могат да бъдат мащабирани до големи закъснения чрез задаване на времеконстантите на съответните LIF неврони и DPI синапси на големи стойности. Увеличаването на броя на итерациите на процедурата за калибриране на RRAM направи възможно значително подобряване на точността на целевото забавяне: 200 итерации намалиха грешката до по-малко от 5%. Една итерация съответства на операция SET/RESET върху RRAM клетка. Всеки CD модул в модела c Jeffress може да бъде реализиран с помощта на N паралелни CD елемента за по-голяма гъвкавост по отношение на системни повреди. d Повече итерации за калибриране на RRAM увеличават истинския положителен процент (синя линия), докато фалшиво положителният процент не зависи от броя на повторенията (зелена линия). Поставянето на повече CD елементи паралелно избягва фалшивото откриване на съвпадения на CD модули.
Сега оценяваме производителността и консумацията на енергия на интегрираната система за локализиране на обекти от край до край, показана на Фигура 2, като използваме измервания на акустичните свойства на сензора pMUT, CD и веригите на линията на забавяне, които съставляват невроморфната изчислителна графика. Модел на Jeffress (фиг. 1а). Що се отнася до невроморфната изчислителна графика, колкото по-голям е броят на CD модулите, толкова по-добра е ъгловата разделителна способност, но също така толкова по-висока е енергията на системата (фиг. 7а). Компромис може да бъде постигнат чрез сравняване на точността на отделните компоненти (pMUT сензори, неврони и синаптични вериги) с точността на цялата система. Разделителната способност на линията на забавяне е ограничена от времевите константи на симулираните синапси и неврони, които в нашата схема надвишават 10 µs, което съответства на ъглова разделителна способност от 4 ° (вижте Методи). По-усъвършенстваните възли с CMOS технология ще позволят проектиране на невронни и синаптични вериги с по-ниски времеви константи, което води до по-висока точност на елементите на линията на забавяне. Въпреки това, в нашата система, точността е ограничена от грешката pMUT при оценката на ъгловата позиция, т.е. 10° (синя хоризонтална линия на фиг. 7а). Ние фиксирахме броя на CD модулите на 40, което съответства на ъглова разделителна способност от около 4°, т.е. ъгловата точност на изчислителната графика (светлосиня хоризонтална линия на фиг. 7а). На системно ниво това дава разделителна способност от 4° и точност от 10° за обекти, разположени на 50 cm пред сензорната система. Тази стойност е сравнима с невроморфните системи за локализиране на звука, докладвани в реф. 67. Сравнение на предложената система със състоянието на техниката може да бъде намерено в допълнителна таблица 1. Добавянето на допълнителни pMUTs, повишаването на нивото на акустичния сигнал и намаляването на електронния шум са възможни начини за допълнително подобряване на точността на локализиране. ) се оценява на 9,7. nz. 55. Като се има предвид 40 CD единици на изчислителната графика, симулацията на SPICE оценява енергията на операция (т.е. енергията за позициониране на обект) на 21,6 nJ. Невроморфната система се активира само когато пристигне входно събитие, т.е. когато акустична вълна достигне който и да е pMUT приемник и превиши прага на откриване, в противен случай тя остава неактивна. Това избягва ненужната консумация на енергия, когато няма входен сигнал. Като се има предвид честота на операциите за локализиране от 100 Hz и период на активиране от 300 µs на операция (максималния възможен ITD), консумацията на енергия на невроморфната изчислителна графика е 61,7 nW. С невроморфна предварителна обработка, приложена към всеки pMUT приемник, консумацията на енергия на цялата система достига 81,6 nW. За да разберем енергийната ефективност на предложения невроморфен подход в сравнение с конвенционалния хардуер, сравнихме това число с енергията, необходима за изпълнение на същата задача на модерен микроконтролер с ниска мощност, използващ невроморфно или конвенционално умение за формиране на лъч68. Невроморфният подход разглежда етап на аналогово-цифров преобразувател (ADC), последван от лентов филтър и етап на извличане на обвивката (метод на Teeger-Kaiser). Накрая се извършва прагова операция за извличане на ToF. Пропуснахме изчисляването на ITD на базата на ToF и преобразуването в изчислена ъглова позиция, тъй като това се случва веднъж за всяко измерване (вижте Методи). Приемайки честота на семплиране от 250 kHz на двата канала (pMUT приемници), 18 операции на лентов филтър, 3 операции за извличане на обвивка и 1 прагова операция на проба, общата консумация на енергия се оценява на 245 микровата. Това използва режима на ниска мощност69 на микроконтролера, който се включва, когато алгоритмите не се изпълняват, което намалява консумацията на енергия до 10,8 µW. Консумацията на енергия от решението за обработка на сигнала за формиране на лъч, предложено в препратката. 31, с 5 pMUT приемника и 11 лъча, равномерно разпределени в азимутната равнина [-50°, +50°], е 11,71 mW (вижте раздела Методи за подробности). В допълнение, ние отчитаме консумацията на енергия на базиран на FPGA47 енкодер за разлика във времето (TDE), оценен на 1,5 mW като заместител на модела на Jeffress за локализиране на обекти. Въз основа на тези оценки, предложеният невроморфен подход намалява консумацията на енергия с пет порядъка в сравнение с микроконтролер, използващ класически техники за формиране на лъч за операции за локализиране на обекти. Възприемането на невроморфен подход за обработка на сигнали на класически микроконтролер намалява консумацията на енергия с около два порядъка. Ефективността на предложената система може да се обясни с комбинацията от асинхронна аналогова схема с резистивна памет, способна да извършва изчисления в паметта и липсата на аналогово-цифрово преобразуване, необходимо за възприемане на сигнали.
a Ъглова разделителна способност (синьо) и консумация на енергия (зелено) на операцията за локализиране в зависимост от броя на CD модулите. Тъмносинята хоризонтална лента представлява ъгловата точност на PMUT, а светлосинята хоризонтална лента представлява ъгловата точност на невроморфната изчислителна графика. b Консумация на енергия на предложената система и сравнение с двете обсъдени реализации на микроконтролер и цифрова реализация на енкодера за времева разлика (TDE)47 FPGA.
За да минимизираме консумацията на енергия от системата за локализиране на целта, ние замислихме, проектирахме и внедрихме ефективна невроморфна схема, базирана на RRAM, която обработва сигналната информация, генерирана от вградените сензори, за да изчисли позицията на целевия обект в реално време време. . Докато традиционните методи за обработка непрекъснато вземат проби от засечени сигнали и извършват изчисления за извличане на полезна информация, предложеното невроморфно решение извършва изчисления асинхронно, когато пристига полезна информация, като максимизира енергийната ефективност на системата с пет порядъка. В допълнение, ние подчертаваме гъвкавостта на базираните на RRAM невроморфни вериги. Способността на RRAM да променя проводимостта по енергонезависим начин (пластичност) компенсира присъщата променливост на синаптичните и невронни вериги на аналогов DPI с ултра ниска мощност. Това прави тази базирана на RRAM схема гъвкава и мощна. Нашата цел не е да извличаме сложни функции или модели от сигнали, а да локализираме обекти в реално време. Нашата система може също така ефективно да компресира сигнала и евентуално да го изпрати към по-нататъшни стъпки на обработка, за да вземе по-сложни решения, когато е необходимо. В контекста на приложенията за локализация нашата невроморфна стъпка на предварителна обработка може да предостави информация за местоположението на обектите. Тази информация може да се използва например за откриване на движение или разпознаване на жестове. Ние подчертаваме значението на комбинирането на сензори с ултра ниска мощност като pMUT с електроника със свръх ниска мощност. За това невроморфните подходи са ключови, тъй като те ни накараха да разработим нови верижни реализации на биологично вдъхновени изчислителни методи като модела на Джефрес. В контекста на приложения за комбиниране на сензори, нашата система може да се комбинира с няколко различни сензора, базирани на събития, за да се получи по-точна информация. Въпреки че совите са отлични в намирането на плячка в тъмното, те имат отлично зрение и извършват комбинирано слухово и зрително търсене, преди да хванат плячка70. Когато определен слухов неврон се задейства, бухалът получава информацията, от която се нуждае, за да определи в коя посока да започне визуалното си търсене, като по този начин фокусира вниманието си върху малка част от визуалната сцена. Комбинация от визуални сензори (DVS камера) и предложен сензор за слушане (базиран на pMUT) трябва да се проучи за разработването на бъдещи автономни агенти.
Сензорът pMUT е разположен на печатна платка с два приемника на приблизително 10 см един от друг, а предавателят е разположен между приемниците. В тази работа всяка мембрана е окачена биморфна структура, състояща се от два слоя пиезоелектричен алуминиев нитрид (AlN) с дебелина 800 nm, поставени между три слоя молибден (Mo) с дебелина 200 nm и покрити със слой с дебелина 200 nm. горния пасивиращ SiN слой, както е описано в справката. 71. Вътрешният и външният електрод се прилагат към долния и горния слой на молибден, докато средният молибденов електрод е без шарки и се използва като заземяване, което води до мембрана с четири чифта електроди.
Тази архитектура позволява използването на обща мембранна деформация, което води до подобрена чувствителност на предаване и приемане. Такъв pMUT обикновено проявява чувствителност на възбуждане от 700 nm/V като излъчвател, осигурявайки повърхностно налягане от 270 Pa/V. Като приемник, един филм pMUT проявява чувствителност на късо съединение от 15 nA/Pa, което е пряко свързано с пиезоелектричния коефициент на AlN. Техническата променливост на напрежението в слоя AlN води до промяна в резонансната честота, която може да бъде компенсирана чрез прилагане на DC отклонение към pMUT. DC чувствителността е измерена при 0,5 kHz/V. За акустично характеризиране се използва микрофон пред pMUT.
За да измерим ехо импулса, поставихме правоъгълна плоча с площ от около 50 cm2 пред pMUT, за да отразяват излъчваните звукови вълни. Както разстоянието между плочите, така и ъгълът спрямо равнината на pMUT се контролират с помощта на специални държачи. Източник на напрежение Tectronix CPX400DP отклонява три pMUT мембрани, настройвайки резонансната честота на 111,9 kHz31, докато предавателите се управляват от импулсен генератор Tectronix AFG 3102, настроен на резонансна честота (111,9 kHz) и работен цикъл от 0,01. Токовете, прочетени от четирите изходни порта на всеки приемник pMUT, се преобразуват в напрежения, като се използва специална архитектура за диференциален ток и напрежение, а получените сигнали се дигитализират от системата за събиране на данни Spektrum. Границата на откриване се характеризира с получаване на pMUT сигнал при различни условия: преместихме рефлектора на различни разстояния [30, 40, 50, 60, 80, 100] cm и променихме ъгъла на опора на pMUT ([0, 20, 40] o ) Фигура 2b показва временната резолюция на откриване на ITD в зависимост от съответната ъглова позиция в градуси.
Тази статия използва две различни готови схеми RRAM. Първият е масив от 16 384 (16 000) устройства (128 × 128 устройства) в конфигурация 1T1R с един транзистор и един резистор. Вторият чип е невроморфната платформа, показана на фиг. 4а. Клетката RRAM се състои от 5 nm дебел HfO2 филм, вграден в купчина TiN/HfO2/Ti/TiN. RRAM стекът е интегриран в back-of-line (BEOL) на стандартния 130nm CMOS процес. Невроморфните вериги, базирани на RRAM, представляват предизвикателство за проектиране на изцяло аналогови електронни системи, в които устройствата RRAM съществуват съвместно с традиционната CMOS технология. По-специално, състоянието на проводимост на устройството RRAM трябва да се чете и използва като функционална променлива за системата. За тази цел е проектирана, изработена и тествана схема, която чете тока от устройството, когато се получи входен импулс и използва този ток, за да претегли отговора на синапса на диференциален интегратор на двойки (DPI). Тази верига е показана на Фигура 3а, която представлява основните градивни елементи на невроморфната платформа на Фигура 4а. Входен импулс активира вратата на устройството 1T1R, като индуцира ток през RRAM, пропорционален на проводимостта G на устройството (Iweight = G(Vtop – Vx)). Инвертиращият вход на веригата на операционния усилвател (op-amp) има постоянно постоянно напрежение Vtop. Отрицателната обратна връзка на операционния усилвател ще осигури Vx = Vtop чрез осигуряване на равен ток от M1. Текущото Iweight, извлечено от устройството, се инжектира в DPI синапса. По-силен ток ще доведе до по-голяма деполяризация, така че RRAM проводимостта ефективно прилага синаптичните тегла. Този експоненциален синаптичен ток се инжектира през мембранния кондензатор на невроните на пропусклива интеграция и възбуждане (LIF), където се интегрира като напрежение. Ако праговото напрежение на мембраната (превключващото напрежение на инвертора) бъде преодоляно, изходната част на неврона се активира, произвеждайки изходен скок. Този импулс се връща и шунтира мембранния кондензатор на неврона към земята, което го кара да се разреди. След това тази верига се допълва с импулсен разширител (не е показан на Фиг. 3а), който оформя изходния импулс на LIF неврона спрямо ширината на целевия импулс. Мултиплексорите също са вградени във всяка линия, позволявайки да се приложи напрежение към горния и долния електрод на RRAM устройството.
Електрическите тестове включват анализиране и записване на динамичното поведение на аналогови вериги, както и програмиране и четене на RRAM устройства. И двете стъпки изискват специални инструменти, всички от които са свързани към сензорната платка едновременно. Достъпът до RRAM устройства в невроморфни схеми се осъществява от външни инструменти чрез мултиплексор (MUX). MUX отделя клетката 1T1R от останалата част от веригата, към която принадлежи, позволявайки устройството да бъде четено и/или програмирано. За програмиране и четене на RRAM устройства се използва машина Keithley 4200 SCS във връзка с микроконтролер Arduino: първият за точно генериране на импулси и текущо четене, а вторият за бърз достъп до отделни 1T1R елементи в масива на паметта. Първата операция е да се формира RRAM устройството. Клетките се избират една по една и се прилага положително напрежение между горния и долния електрод. В този случай токът е ограничен до порядъка на десетки микроампери поради подаването на съответното напрежение на затвора към селекторния транзистор. След това клетката RRAM може да преминава между състояние с ниска проводимост (LCS) и състояние с висока проводимост (HCS), като използва съответно RESET и SET операции. Операцията SET се извършва чрез прилагане на правоъгълен импулс на напрежение с продължителност 1 μs и пиково напрежение 2,0-2,5 V към горния електрод и синхронизиращ импулс с подобна форма с пиково напрежение 0,9-1,3 V към портата на селекторния транзистор. Тези стойности позволяват модулиране на проводимостта на RRAM на интервали от 20-150 µs. За RESET, 1 µs широк, 3 V пиков импулс се прилага към долния електрод (битова линия) на клетката, когато напрежението на гейта е в диапазона 2,5-3,0 V. Входовете и изходите на аналоговите вериги са динамични сигнали . За въвеждане ние преплитахме два импулсни генератора HP 8110 с генератори на сигнали Tektronix AFG3011. Входният импулс има ширина от 1 µs и фронт на нарастване/спад от 50 ns. Предполага се, че този тип импулс е типичен бъг в аналогови схеми, базирани на бъг. Що се отнася до изходния сигнал, изходният сигнал беше записан с помощта на осцилоскоп Teledyne LeCroy 1 GHz. Доказано е, че скоростта на придобиване на осцилоскоп не е ограничаващ фактор при анализа и събирането на данни от веригата.
Използването на динамиката на аналоговата електроника за симулиране на поведението на неврони и синапси е елегантно и ефикасно решение за подобряване на изчислителната ефективност. Недостатъкът на тази изчислителна основа е, че тя ще варира от схема до схема. Ние количествено определихме променливостта на невроните и синаптичните вериги (допълнителна фигура 2a, b). От всички прояви на променливост тези, свързани с времевите константи и входното усилване, имат най-голямо въздействие на системно ниво. Времевата константа на LIF неврона и DPI синапса се определя от RC верига, където стойността на R се контролира от преднапрежение, приложено към портата на транзистора (Vlk за неврона и Vtau за синапса), определяйки степен на изтичане. Входното усилване се дефинира като пиковото напрежение, достигнато от синаптичните и невронните мембранни кондензатори, стимулирани от входен импулс. Коефициентът на усилване на входа се контролира от друг транзистор на отклонение, който модулира входния ток. Беше извършена симулация на Монте Карло, калибрирана по 130nm процес на ST Microelectronics, за да се съберат някои статистически данни за усилването на входа и времевата константа. Резултатите са представени на допълнителна фигура 2, където входното усилване и времевата константа са количествено определени като функция на напрежението на отклонение, контролиращо скоростта на изтичане. Зелените маркери определят количествено стандартното отклонение на времевата константа от средната стойност. И невроните, и синаптичните вериги успяха да изразят широк диапазон от времеви константи в диапазона от 10-5-10-2 s, както е показано на схемата на допълнителна фигура. Входното усилване (допълнителна фигура 2e, d) на променливостта на невроните и синапсите е съответно приблизително 8% и 3%. Такъв дефицит е добре документиран в литературата: различни измервания бяха извършени върху масива от DYNAP чипове, за да се оцени несъответствието между популациите на LIF63 неврони. Синапсите в чипа със смесени сигнали на BrainScale бяха измерени и техните несъответствия бяха анализирани и беше предложена процедура за калибриране за намаляване на ефекта от променливостта на системно ниво64.
Функцията на RRAM в невроморфните вериги е двойна: дефиниране на архитектурата (маршрутизиране на входове към изходи) и прилагане на синаптични тегла. Последното свойство може да се използва за решаване на проблема с променливостта на моделираните невроморфни вериги. Ние разработихме проста процедура за калибриране, която включва препрограмиране на RRAM устройството, докато анализираната верига отговаря на определени изисквания. За даден вход изходът се наблюдава и RRAM се препрограмира, докато се постигне целевото поведение. Беше въведено време за изчакване от 5 s между операциите по програмиране, за да се реши проблемът с релаксацията на RRAM, което води до преходни флуктуации на проводимостта (допълнителна информация). Синаптичните тегла се коригират или калибрират според изискванията на невроморфната верига, която се моделира. Процедурата за калибриране е обобщена в допълнителни алгоритми [1, 2], които се фокусират върху две основни характеристики на невроморфните платформи, линии на забавяне и CD, нечувствителен към посоката. За верига с линия на забавяне, целевото поведение е да се осигури изходен импулс със забавяне Δt. Ако действителното забавяне на веригата е по-малко от целевата стойност, синаптичното тегло на G3 трябва да се намали (G3 трябва да се нулира и след това да се настрои на по-нисък съответстващ ток Icc). Обратно, ако действителното забавяне е по-голямо от целевата стойност, проводимостта на G3 трябва да се увеличи (G3 трябва първо да се нулира и след това да се настрои на по-висока стойност на Icc). Този процес се повтаря, докато закъснението, генерирано от веригата, съвпадне с целевата стойност и се настрои толеранс за спиране на процеса на калибриране. За компактдискове, които не са чувствителни към ориентация, две RRAM устройства, G1 и G3, участват в процеса на калибриране. Тази схема има два входа, Vin0 и Vin1, забавени с dt. Веригата трябва да реагира само на закъснения под съвпадащия диапазон [0,dtCD]. Ако няма изходен пик, но входният пик е близо, и двете RRAM устройства трябва да бъдат усилени, за да помогнат на неврона да достигне прага. Обратно, ако веригата реагира на забавяне, което надвишава целевия диапазон на dtCD, проводимостта трябва да бъде намалена. Повторете процеса, докато се получи правилното поведение. Токът на съответствие може да бъде модулиран от вградената аналогова верига в реф. 72,73. С тази вградена схема такива процедури могат да се извършват периодично, за да се калибрира системата или да се използва повторно за друго приложение.
Ние оценяваме консумацията на енергия на нашия невроморфен подход за обработка на сигнали на стандартен 32-битов микроконтролер68. В тази оценка ние приемаме работа със същата настройка като в тази статия, с един pMUT предавател и два pMUT приемника. Този метод използва лентов филтър, последван от стъпка за извличане на обвивката (Teeger-Kaiser) и накрая към сигнала се прилага операция за прагово определяне, за да се извлече времето на полет. Изчисляването на ITD и превръщането му в ъгли на откриване са пропуснати при оценката. Ние разглеждаме реализация на лентов филтър, използвайки филтър с безкраен импулсен отговор от 4-ти ред, изискващ 18 операции с плаваща запетая. Извличането на плика използва още три операции с плаваща запетая, а последната операция се използва за задаване на прага. За предварителна обработка на сигнала са необходими общо 22 операции с плаваща запетая. Предаваният сигнал е кратък пакет от 111,9 kHz синусоидална вълна, генерирана на всеки 10 ms, което води до работна честота на позициониране от 100 Hz. Използвахме честота на дискретизация от 250 kHz, за да се съобразим с Nyquist и прозорец от 6 ms за всяко измерване, за да уловим диапазон от 1 метър. Имайте предвид, че 6 милисекунди е времето за полет на обект, който е на 1 метър. Това осигурява консумация на енергия от 180 µW за A/D преобразуване при 0,5 MSPS. Предварителната обработка на сигнала е 6,60 MIPS (инструкции за секунда), генерирайки 0,75 mW. Въпреки това, микроконтролерът може да превключи в режим на ниска мощност 69, когато алгоритъмът не работи. Този режим осигурява статична консумация на енергия от 10,8 μW и време за събуждане от 113 μs. Като се има предвид тактова честота от 84 MHz, микроконтролерът завършва всички операции на невроморфния алгоритъм в рамките на 10 ms и алгоритъмът изчислява работен цикъл от 6,3%, като по този начин използва режим на ниска мощност. Получената разсейвана мощност е 244,7 μW. Обърнете внимание, че пропускаме ITD изхода от ToF и преобразуването в ъгъл на откриване, като по този начин подценяваме консумацията на енергия на микроконтролера. Това осигурява допълнителна стойност за енергийната ефективност на предложената система. Като допълнително условие за сравнение, ние оценяваме консумацията на енергия на класическите методи за формиране на лъч, предложени в референцията. 31,54, когато е вграден в същия микроконтролер68 при 1,8 V захранващо напрежение. Пет равномерно разположени pMUT мембрани се използват за получаване на данни за формиране на лъч. Що се отнася до самата обработка, използваният метод за формиране на лъч е сумиране на забавяне. То просто се състои от прилагане на забавяне към лентите, което съответства на очакваната разлика във времето на пристигане между едната лента и референтната лента. Ако сигналите са във фаза, сумата от тези сигнали ще има висока енергия след изместване във времето. Ако те са извън фаза, разрушителната намеса ще ограничи енергията на тяхната сума. във връзка. На фиг. 31 се избира честота на дискретизация от 2 MHz за изместване на данните с цял брой проби. По-скромен подход е да се поддържа по-груба честота на дискретизация от 250 kHz и да се използва филтър с краен импулсен отговор (FIR) за синтезиране на частични закъснения. Ще приемем, че сложността на алгоритъма за формиране на лъч се определя главно от изместването на времето, тъй като всеки канал е навит с FIR филтър с 16 крана във всяка посока. За да изчислим броя на MIPS, необходими за тази операция, ние разглеждаме прозорец от 6 ms на измерване за улавяне на диапазон от 1 метър, 5 канала, 11 посоки на формиране на лъч (диапазон +/- 50° на стъпки от 10°). 75 измервания в секунда изтласкаха микроконтролера до максимума от 100 MIPS. Връзка. 68, което води до разсейване на мощност от 11,26 mW за общо разсейване на мощност от 11,71 mW след добавяне на приноса на вградения ADC.
Данните в подкрепа на резултатите от това проучване са достъпни от съответния автор, FM, при разумно искане.
Indiveri, G. & Sandamirskaya, Y. Значението на пространството и времето за обработка на сигнали в невроморфни агенти: Предизвикателството за разработване на автономни агенти с ниска мощност, които взаимодействат с околната среда. Indiveri, G. & Sandamirskaya, Y. Значението на пространството и времето за обработка на сигнали в невроморфни агенти: Предизвикателството за разработване на автономни агенти с ниска мощност, които взаимодействат с околната среда.Indiveri G. и Sandamirskaya Y. Значението на пространството и времето за обработка на сигнали в невроморфни агенти: предизвикателството за разработване на автономни агенти с ниска мощност, взаимодействащи с околната среда. Indiveri, G. & Sandamirskaya, Y. 空间和时间对于神经形态代理中信号处理的重要性：开发与环境交互的低功耗、自主代理的挑战。 Индивери, Г. и Сандамирская, Й.Indiveri G. и Sandamirskaya Y. Значението на пространството и времето за обработка на сигнали в невроморфни агенти: предизвикателството за разработване на автономни агенти с ниска мощност, взаимодействащи с околната среда.IEEE обработка на сигнали. Вестник 36, 16–28 (2019).
Thorpe, SJ Пиков час на пристигане: ефективна схема за кодиране на невронна мрежа. в Eckmiller, R., Hartmann, G. & Hauske, G. (eds). в Eckmiller, R., Hartmann, G. & Hauske, G. (eds).в Eckmiller, R., Hartmann, G. и Hauske, G. (eds.).В Eckmiller, R., Hartmann, G. и Hauske, G. (eds.). Паралелна обработка в невронни системи и компютри 91–94 (North-Holland Elsevier, 1990).
Levy, WB & Calvert, VG Комуникацията изразходва 35 пъти повече енергия от изчисленията в човешкия кортекс, но и двете разходи са необходими за предсказване на броя на синапсите. Levy, WB & Calvert, VG Комуникацията изразходва 35 пъти повече енергия от изчисленията в човешкия кортекс, но и двете разходи са необходими за предсказване на броя на синапсите.Levy, WB и Calvert, WG Комуникацията консумира 35 пъти повече енергия от изчисленията в човешкия кортекс, но и двете разходи са необходими за прогнозиране на броя на синапсите. Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35 倍，但这两种成本都需要预测突触数量。 Леви, WB & Calvert, VG КомуникацияLevy, WB и Calvert, WG Комуникацията консумира 35 пъти повече енергия от изчисленията в човешкия кортекс, но и двете разходи изискват предсказване на броя на синапсите.процес. Национална академия на науките. науката. САЩ 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Невроморфно изчисление, вдъхновено от насекоми. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Невроморфно изчисление, вдъхновено от насекоми.Dalgati, T., Vianello, E., DeSalvo, B. и Casas, J. Невроморфно изчисление, вдъхновено от насекоми.Dalgati T., Vianello E., DeSalvo B. и Casas J. Невроморфно изчисление, вдъхновено от насекоми. Текущ. Мнение. Наука за насекомите. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Към машинен интелект, базиран на шипове, с невроморфно изчисление. Roy, K., Jaiswal, A. & Panda, P. Към машинен интелект, базиран на шипове, с невроморфно изчисление. Рой, К., Джайсвал, А. и Панда, П. Към машинен интелект, базиран на шипове, с невроморфно изчисление.Roy K, Jaiswal A и Panda P. Импулсно базиран изкуствен интелект, използващ невроморфно изчисление. Nature 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. и Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. и Liu, S.-K.Памет и обработка на информация в невроморфни системи. процес. IEEE 103, 1379–1397 (2015).
Акопян Ф. и др. Truenorth: Дизайн и набор от инструменти за 65 mW 1 милион неврон програмируем синаптичен чип. IEEE транзакции. Компютърно проектиране на системи с интегрални схеми. 34, 1537–1557 (2015).
Schemmel, J. et al. Демо на живо: намалена версия на невроморфната система BrainScaleS в мащаб на плоча. 2012 Международен симпозиум на IEEE за вериги и системи (ISCAS), (изд. IEEE) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Мащабируема многоядрена архитектура с хетерогенни структури на паметта за динамични невроморфни асинхронни процесори (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Мащабируема многоядрена архитектура с хетерогенни структури на паметта за динамични невроморфни асинхронни процесори (DYNAP).Moradi S., Qiao N., Stefanini F. и Indiviri G. Мащабируема многоядрена архитектура с хетерогенни структури на паметта за динамични невроморфни асинхронни процесори (DYNAP). Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. 一种可扩展的多核架构，具有用于动态神经形态异步处理器(DYNAP) 的异构内存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Един вид разширяема многоядрена архитектура с уникална структура на паметта за динамична невронна обработка (DYNAP).Moradi S., Qiao N., Stefanini F. и Indiviri G. Мащабируема многоядрена архитектура с хетерогенни структури на паметта за динамични невроморфни асинхронни процесори (DYNAP).Транзакции на IEEE относно биомедицинските науки. електрическа система. 12, 106–122 (2018).
Davis, M. et al. Loihi: невроморфен многоядрен процесор с вградено обучение. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA Проектът SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA Проектът SpiNNaker.Ferber SB, Galluppi F., Temple S. и Plana LA SpiNNaker project.Ferber SB, Galluppi F., Temple S. и Plana LA SpiNNaker project. процес. IEEE 102, 652–665 (2014 г.).
Liu, S.-K. & Delbruck, T. Невроморфни сензорни системи. & Delbruck, T. Невроморфни сензорни системи.и Делбрюк Т. Невроморфни сензорни системи. & Delbruck, T. 神经形态感觉系统。 и Делбрюк, Т.и Делбрюк Т. Невроморфна сензорна система.Текущ. Мнение. Невробиология. 20, 288–295 (2010).
Chope, T. et al. Невроморфна сензорна интеграция за комбинирано локализиране на звуков източник и избягване на сблъсък. През 2019 г. на Конференцията на IEEE за биомедицински вериги и системи (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Базирана на шипове невроморфна архитектура на стерео зрение. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Базирана на шипове невроморфна архитектура на стерео зрение.Risi N, Aymar A, Donati E, Solinas S и Indiveri G. Базирана на шипове невроморфна стереовизионна архитектура. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Риси, Н., Аймар, А., Донати, Е., Солинас, С. и Индивери, Г.Risi N, Aimar A, Donati E, Solinas S и Indiveri G. Базирана на шипове невроморфна архитектура за стерео зрение.отпред. Невророботика 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Шипов модел на невронна мрежа на 3D възприятие за базирани на събития невроморфни системи за стерео зрение. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Шипов модел на невронна мрежа на 3D възприятие за базирани на събития невроморфни системи за стерео зрение.Oswald, M., Ieng, S.-H., Benosman, R. и Indiveri, G. Модел на възприемане на 3D импулсна невронна мрежа за базирани на събития невроморфни стереовизионни системи. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 基于事件的神经形态立体视觉系统的3D възприемане 脉冲神经网络模型. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3D възприятие 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R. и Indiveri, G. Модел на невронна мрежа за триизмерно възприемане с шипове за Neuromorphic Stereo Vision System, базирана на събития.науката. Доклад 7, 1–11 (2017).
Dalgaty, T. et al. Базово откриване на движение, вдъхновено от насекоми, включва резистивна памет и разкъсани невронни мрежи. Бионична биохибридна система. 10928, 115–128 (2018).
D'Angelo, G. et al. Детекция на ексцентрично движение, базирана на събития, използваща времево диференциално кодиране. отпред. Неврология. 14, 451 (2020).
Време на публикуване: 17 ноември 2022 г