Реальні програми обробки даних вимагають компактних обчислювальних систем із малою затримкою та малою потужністю. Завдяки обчислювальним можливостям, керованим подіями, комплементарні гібридні мемристивні нейроморфні архітектури метал-оксид-напівпровідник забезпечують ідеальну апаратну основу для таких завдань. Щоб продемонструвати весь потенціал таких систем, ми пропонуємо та експериментально демонструємо комплексне рішення обробки датчиків для додатків локалізації реальних об’єктів. Черпаючи натхнення в нейроанатомії сипухи, ми розробили біоінспіровану, керовану подіями систему локалізації об’єктів, яка поєднує сучасний п’єзоелектричний мікромеханічний перетворювач перетворювача з нейроморфною резистивною пам’яттю на основі обчислювальних графів. Ми показуємо вимірювання виготовленої системи, яка включає в себе резистивний детектор збігів на основі пам’яті, схему лінії затримки та повністю настроюваний ультразвуковий перетворювач. Ми використовуємо ці експериментальні результати для калібрування моделювання на рівні системи. Ці симуляції потім використовуються для оцінки кутової роздільної здатності та енергетичної ефективності моделі локалізації об’єкта. Результати показують, що наш підхід може бути на кілька порядків енергоефективнішим, ніж мікроконтролери, які виконують те саме завдання.
Ми вступаємо в епоху повсюдного обчислення, коли кількість пристроїв і систем, що розгортаються, зростає експоненціально, щоб допомогти нам у повсякденному житті. Очікується, що ці системи працюватимуть безперервно, споживаючи якомога менше електроенергії, навчаючись інтерпретувати дані, які вони збирають із кількох датчиків у режимі реального часу, і створювати двійковий вихід у результаті завдань класифікації чи розпізнавання. Одним із найважливіших кроків, необхідних для досягнення цієї мети, є вилучення корисної та компактної інформації з галасливих і часто неповних сенсорних даних. Звичайні інженерні підходи зазвичай відбирають сигнали датчиків із постійною та високою швидкістю, створюючи великі обсяги даних навіть за відсутності корисних вхідних даних. Крім того, ці методи використовують складні методи цифрової обробки сигналів для попередньої обробки вхідних даних (часто з шумом). Натомість біологія пропонує альтернативні рішення для обробки шумних сенсорних даних з використанням енергоефективних, асинхронних, керованих подіями підходів (спайки)2,3. Нейроморфні обчислення черпають натхнення з біологічних систем, щоб зменшити обчислювальні витрати з точки зору вимог до енергії та пам’яті порівняно з традиційними методами обробки сигналів4,5,6. Нещодавно були продемонстровані інноваційні системи загального призначення на основі мозку, які реалізують імпульсні нейронні мережі (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Ці процесори забезпечують низьку потужність і низьку затримку для машинного навчання та моделювання ланцюгів кори мозку. Щоб повністю використовувати свою енергоефективність, ці нейроморфні процесори повинні бути безпосередньо підключені до датчиків, керованих подіями12,13. Однак сьогодні існує лише кілька сенсорних пристроїв, які безпосередньо надають керовані подіями дані. Яскравими прикладами є динамічні візуальні датчики (DVS) для застосування в області зору, такі як відстеження та виявлення руху14,15,16,17, кремнієва вушна раковина18 та нейроморфні слухові датчики (NAS)19 для обробки слухових сигналів, нюхові датчики20 та численні приклади21,22 дотику. . датчики текстури.
У цій статті ми представляємо нещодавно розроблену керовану подіями систему звукової обробки, застосовану до локалізації об’єктів. Тут ми вперше описуємо наскрізну систему для локалізації об’єктів, отриману шляхом з’єднання сучасного п’єзоелектричного мікромашинного ультразвукового перетворювача (pMUT) з обчислювальним графіком на основі нейроморфної резистивної пам’яті (RRAM). Обчислювальні архітектури в пам’яті, які використовують RRAM, є перспективним рішенням для зменшення енергоспоживання23,24,25,26,27,28,29. Їх властива енергонезалежність — не вимагає активного споживання енергії для зберігання або оновлення інформації — ідеально підходить для асинхронної, керованої подіями природи нейроморфних обчислень, що призводить до майже повного споживання енергії, коли система неактивна. П’єзоелектричні мікромашинні ультразвукові перетворювачі (pMUT) — це недорогі мініатюрні ультразвукові перетворювачі на основі кремнію, здатні діяти як передавачі та приймачі30,31,32,33,34. Для обробки сигналів, отриманих вбудованими датчиками, ми черпали натхнення з нейроанатомії сипухи35,36,37. Сипуха Tyto alba відома своїми чудовими здібностями до нічного полювання завдяки дуже ефективній системі слухової локалізації. Щоб обчислити місцезнаходження здобичі, система локалізації сипухи кодує час польоту (ToF), коли звукові хвилі від здобичі досягають кожного вуха або звукових рецепторів сови. Враховуючи відстань між вухами, різниця між двома вимірюваннями ToF (Interaural Time Difference, ITD) дає змогу аналітично обчислити азимутальне положення цілі. Хоча біологічні системи погано підходять для вирішення алгебраїчних рівнянь, вони можуть дуже ефективно вирішувати проблеми локалізації. Нервова система сипухи використовує набір нейронів детектора збігів (CD)35 (тобто нейронів, здатних виявляти часові кореляції між спайками, які поширюються вниз до конвергентних збуджувальних закінчень)38,39, організованих у обчислювальні графіки для вирішення проблем позиціонування.
Попередні дослідження показали, що комплементарне апаратне забезпечення на основі оксиду металу та напівпровідника (CMOS) і нейроморфне обладнання на основі RRAM, натхненне нижнім горбком («слуховою корою») сипухи, є ефективним методом для обчислення положення за допомогою ITD13, 40, 41, 42, 43 , 44, 45, 46. Однак потенціал повних нейроморфних систем, які пов’язують слухові сигнали з нейроморфними обчислювальними графіками, ще не продемонстровано. Основною проблемою є властива мінливість аналогових схем CMOS, яка впливає на точність виявлення збігу. Нещодавно були продемонстровані альтернативні чисельні реалізації оцінок ITD47. У цій статті ми пропонуємо використовувати здатність RRAM змінювати значення провідності енергонезалежним способом, щоб протидіяти мінливості аналогових схем. Ми реалізували експериментальну систему, що складається з однієї передавальної мембрани pMUT, що працює на частоті 111,9 кГц, двох приймальних мембран (сенсорів) pMUT, що імітують вуха сипухи, і одного . Ми експериментально охарактеризували систему виявлення pMUT і обчислювальний графік ITD на основі RRAM, щоб перевірити нашу систему локалізації та оцінити її кутову роздільну здатність.
Ми порівнюємо наш метод із цифровою реалізацією на мікроконтролері, що виконує те саме завдання локалізації, використовуючи звичайні методи формування променя або нейроморфні методи, а також програмовану вентильну матрицю (FPGA) для оцінки ITD, запропоновану в довідці. 47. Це порівняння підкреслює конкурентну енергоефективність запропонованої аналогової нейроморфної системи на основі RRAM.
Один із найяскравіших прикладів точної та ефективної системи локалізації об’єктів можна знайти в сипухах35,37,48. У сутінках і на світанку сипуха (Tyto Alba) переважно покладається на пасивне прислуховування, активно шукаючи дрібну здобич, наприклад полівок або мишей. Ці слухові експерти можуть локалізувати звукові сигнали від жертви з дивовижною точністю (близько 2°)35, як показано на рис. 1а. Сипухи роблять висновок про розташування джерел звуку в азимутальній (горизонтальній) площині з різниці вхідного часу польоту (ITD) від джерела звуку до двох вух. Обчислювальний механізм ITD був запропонований Джеффрессом49,50, який спирається на нейронну геометрію та потребує двох ключових компонентів: аксона, нервового волокна нейрона, що діє як лінія затримки, та масиву нейронів-детекторів збігів, організованих у обчислювальну систему. графік, як показано на малюнку 1b. Звук досягає вуха із затримкою, що залежить від азимута (ITD). Потім звук перетворюється на загострення в кожному вусі. Аксони лівого і правого вух діють як лінії затримки і сходяться на нейронах CD. Теоретично, лише один нейрон у масиві відповідних нейронів отримуватиме вхідні дані за раз (де затримка точно скасовується) і спрацьовуватиме максимально (сусідні клітини також спрацьовуватимуть, але з нижчою частотою). Активація певних нейронів кодує положення цілі в просторі без подальшого перетворення ITD в кути. Цю концепцію підсумовано на малюнку 1c: наприклад, якщо звук надходить із правого боку, коли вхідний сигнал із правого вуха проходить довший шлях, ніж шлях із лівого вуха, компенсуючи, наприклад, кількість ITD, коли нейрон 2 відповідає. Іншими словами, кожен CD реагує на певну ITD (також відому як оптимальна затримка) через затримку аксонів. Таким чином, мозок перетворює часову інформацію в просторову. Було знайдено анатомічні докази цього механізму37,51. Макроядерні нейрони з фазовим блокуванням зберігають тимчасову інформацію про вхідні звуки: як випливає з їх назви, вони запускають певні фази сигналу. Нейрони-детектори збігів моделі Джеффреса можна знайти в ламінарному ядрі. Вони отримують інформацію від макроядерних нейронів, аксони яких діють як лінії затримки. Величина затримки, яку забезпечує лінія затримки, можна пояснити довжиною аксона, а також іншою формою мієлінізації, яка змінює швидкість провідності. Надихаючись слуховою системою сипухи, ми розробили біоміметичну систему для локалізації об’єктів. Два вуха представлені двома приймачами pMUT. Джерелом звуку є передавач pMUT, розташований між ними (рис. 1а), а обчислювальний графік утворений сіткою CD-схем на основі RRAM (рис. 1b, зелений), що грає роль CD-нейронів, вхідні дані яких затримуються. через схему лінії затримки (сині) діють як аксони в біологічному аналогі. Запропонована сенсорна система відрізняється робочою частотою від такої у сови, чия слухова система працює в діапазоні 1–8 кГц, але в цій роботі використовуються датчики pMUT, що працюють на частоті приблизно 117 кГц. Вибір ультразвукового перетворювача розглядається відповідно до технічних та оптимізаційних критеріїв. По-перше, обмеження пропускної здатності прийому до однієї частоти ідеально покращує точність вимірювання та спрощує етап постобробки. Крім того, робота в ультразвуку має перевагу в тому, що випромінювані імпульси не чутні, тому не заважають людям, оскільки їх чутний діапазон ~20-20 кГц.
сипуха отримує звукові хвилі від цілі, в даному випадку від рухомої жертви. Час польоту (ToF) звукової хвилі різний для кожного вуха (якщо жертва не знаходиться прямо перед совою). Пунктир показує шлях, яким звукові хвилі досягають вух сипухи. Здобич можна точно локалізувати в горизонтальній площині на основі різниці довжини між двома акустичними шляхами та відповідної міжвушної різниці в часі (ITD) (ліве зображення натхненне посиланням 74, авторське право 2002, Товариство нейронаук). У нашій системі передавач pMUT (темно-синій) генерує звукові хвилі, які відбиваються від цілі. Відбиті ультразвукові хвилі приймаються двома приймачами pMUT (світло-зелений) і обробляються нейроморфним процесором (праворуч). b Обчислювальна модель ITD (Джеффреса), яка описує, як звуки, що потрапляють у вуха сипухи, спочатку кодуються як синхронізовані по фазі хвилі у великому ядрі (NM), а потім за допомогою геометрично організованої сітки відповідних нейронів-детекторів у пластинчастому ядрі. Обробка (Нідерланди) (ліворуч). Ілюстрація обчислювального графіка neuroITD, що поєднує лінії затримки та нейрони детектора збігів, біосенсорну систему сови можна змоделювати за допомогою нейроморфних схем на основі RRAM (праворуч). c Схема основного механізму Джеффреса, через різницю в ToF, два вуха отримують звукові стимули в різний час і посилають аксони з обох кінців до детектора. Аксони є частиною ряду нейронів детектора збігів (CD), кожен з яких вибірково реагує на чітко корельовані в часі вхідні дані. У результаті тільки компакт-диски, вхідні дані яких надходять з найменшою різницею в часі, максимально збуджуються (ITD точно компенсується). Потім CD кодуватиме кутове положення цілі.
П’єзоелектричні мікромеханічні ультразвукові перетворювачі — це масштабовані ультразвукові перетворювачі, які можна інтегрувати з передовою технологією CMOS31,32,33,52 і мають нижчу початкову напругу та енергоспоживання, ніж традиційні об’ємні перетворювачі53. У нашій роботі діаметр мембрани становить 880 мкм, а резонансна частота розподілена в діапазоні 110–117 кГц (рис. 2а, детальніше див. Методи). У партії з десяти тестових пристроїв середній коефіцієнт якості становив близько 50 (посилання 31). Технологія досягла промислової зрілості і сама по собі не є біоінспірованою. Об’єднання інформації з різних плівок pMUT є добре відомою технікою, і інформацію про кути можна отримати з pMUT, використовуючи, наприклад, методи формування променя31,54. Однак обробка сигналу, необхідна для отримання інформації про кут, не підходить для вимірювань малої потужності. Запропонована система поєднує нейроморфну схему попередньої обробки даних pMUT із нейроморфним обчислювальним графом на основі RRAM, натхненним моделлю Джеффреса (рис. 2c), забезпечуючи альтернативне енергоефективне апаратне рішення з обмеженими ресурсами. Ми провели експеримент, у якому два датчики pMUT були розміщені приблизно на відстані 10 см один від одного, щоб використовувати різні звуки ToF, отримані двома приймальними мембранами. Один pMUT, який діє як передавач, розташований між приймачами. Мішенню була ПВХ пластина шириною 12 см, розташована на відстані D перед приладом pMUT (рис. 2б). Приймач фіксує відбитий від об'єкта звук і максимально реагує під час проходження звукової хвилі. Повторіть дослід, змінивши положення об’єкта, визначене відстанню D і кутом θ. Натхненний посиланням. 55, ми пропонуємо нейроморфну попередню обробку необроблених сигналів pMUT для перетворення відбитих хвиль у піки для введення нейроморфного обчислювального графіка. ToF, що відповідає амплітуді піку, витягується з кожного з двох каналів і кодується як точний час окремих піків. На рис. 2c показує схему, необхідну для інтерфейсу датчика pMUT з обчислювальним графіком на основі RRAM: для кожного з двох приймачів pMUT необроблений сигнал фільтрується через смуговий фільтр для згладжування, виправлення, а потім передається до інтегратора з витоком у режимі подолання. динамічний поріг (рис. 2d) створює вихідну подію (спайк) і спрацьовування (LIF) нейрона: вихідний сплеск часу кодує виявлений час польоту. Поріг LIF калібрується відповідно до відповіді pMUT, таким чином зменшуючи варіабельність pMUT від пристрою до пристрою. За допомогою цього підходу замість того, щоб зберігати всю звукову хвилю в пам’яті та обробляти її пізніше, ми просто генеруємо пік, що відповідає ToF звукової хвилі, який формує вхідні дані для обчислювального графіка резистивної пам’яті. Спайки надсилаються безпосередньо на лінії затримки та розпаралелюються з модулями виявлення збігів у нейроморфних обчислювальних графах. Оскільки вони надсилаються до затворів транзисторів, додаткова схема підсилення не потрібна (дивіться Додатковий рис. 4 для деталей). Щоб оцінити кутову точність локалізації, яку забезпечує pMUT і запропонований метод обробки сигналу, ми виміряли ITD (тобто різницю в часі між піковими подіями, згенерованими двома приймачами) у міру зміни відстані та кута об’єкта. Аналіз ITD потім було перетворено в кути (див. Методи) і нанесено на графік відносно положення об’єкта: невизначеність виміряного ITD зростала з відстанню та кутом до об’єкта (рис. 2e,f). Основною проблемою є співвідношення пік-шум (PNR) у відповіді pMUT. Чим далі об’єкт, тим нижчий акустичний сигнал, тим самим зменшуючи PNR (рис. 2f, зелена лінія). Зменшення PNR призводить до збільшення невизначеності в оцінці ITD, що призводить до збільшення точності локалізації (рис. 2f, синя лінія). Для об'єкта на відстані 50 см від передавача кутова точність системи становить приблизно 10°. Це обмеження, накладене характеристиками датчика, можна покращити. Наприклад, тиск, що посилається емітером, може бути збільшений, тим самим збільшуючи напругу, що керує мембраною pMUT. Іншим рішенням для посилення переданого сигналу є підключення декількох передавачів 56. Ці рішення збільшать дальність виявлення за рахунок збільшення витрат на енергію. Додаткові покращення можуть бути зроблені на приймальній стороні. Рівень шуму приймача pMUT можна значно зменшити шляхом покращення з’єднання між pMUT і підсилювачем першого каскаду, яке зараз здійснюється за допомогою дротяних з’єднань і кабелів RJ45.
a Зображення кристала pMUT із шістьма мембранами 880 мкм, інтегрованими з кроком 1,5 мм. b Схема вимірювальної установки. Ціль розташована в позиції азимута θ і на відстані D. Передавач pMUT генерує сигнал 117,6 кГц, який відбивається від цілі та досягає двох приймачів pMUT з різним часом прольоту (ToF). Ця різниця, визначена як міжслухова різниця в часі (ITD), кодує положення об’єкта та може бути оцінена шляхом оцінки максимального відгуку двох датчиків приймача. c Схема етапів попередньої обробки для перетворення необробленого сигналу pMUT у спайк-послідовності (тобто введення в нейроморфний обчислювальний графік). Датчики pMUT і нейроморфні обчислювальні графіки були виготовлені та протестовані, а нейроморфна попередня обробка базується на програмному моделюванні. d Відповідь мембрани pMUT на отримання сигналу та його перетворення в спайковий домен. e Експериментальна кутова точність локалізації як функція кута об’єкта (Θ) і відстані (D) до цільового об’єкта. Метод екстракції ITD вимагає мінімальної кутової роздільної здатності приблизно 4°C. f Кутова точність (синя лінія) і відповідне співвідношення пік-шум (зелена лінія) від відстані до об’єкта для Θ = 0.
Резистивна пам'ять зберігає інформацію в енергонезалежному провідному стані. Основний принцип методу полягає в тому, що модифікація матеріалу на атомарному рівні викликає зміну його електропровідності57. Тут ми використовуємо резистивну пам’ять на основі оксиду, що складається з 5-нм шару діоксиду гафнію, розміщеного між верхнім і нижнім електродами з титану та нітриду титану. Провідність пристроїв RRAM можна змінити шляхом застосування форми хвилі струму/напруги, яка створює або розриває провідні нитки кисневих вакансій між електродами. Ми спільно інтегрували такі пристрої58 у стандартний процес 130 нм CMOS для створення виготовленої реконфігурованої нейроморфної схеми, яка реалізує детектор збігів і схему лінії затримки (рис. 3a). Енергонезалежна аналогова природа пристрою в поєднанні з подієвою природою нейроморфної схеми мінімізує енергоспоживання. Схема має функцію миттєвого включення/вимкнення: вона спрацьовує відразу після ввімкнення, дозволяючи повністю вимкнути живлення, коли схема не використовується. Основні блоки пропонованої схеми показані на рис. 3б. Він складається з N паралельних однорезисторних однотранзисторних (1T1R) структур, які кодують синаптичні ваги, з яких беруться зважені струми, вводяться в загальний синапс диференціального парного інтегратора (DPI)59 і, нарешті, вводяться в синапс з інтеграцією та витік. активований (LIF) нейрон 60 (докладніше див. Методи). Вхідні імпульси подаються на затвор структури 1T1R у вигляді послідовності імпульсів напруги тривалістю порядку сотень наносекунд. Резистивну пам’ять можна перевести в стан високої провідності (HCS), застосувавши зовнішній позитивний опорний сигнал до Vtop, коли Vbottom заземлено, і скинути її в стан низької провідності (LCS), застосувавши позитивну напругу до Vbottom, коли Vtop заземлено. Середнє значення HCS можна контролювати, обмежуючи струм програмування (відповідність) SET (ICC) напругою затвор-витік послідовного транзистора (рис. 3c). Функції RRAM у схемі подвійні: вони направляють і зважують вхідні імпульси.
Зображення скануючого електронного мікроскопа (SEM) синього пристрою HfO2 1T1R RRAM, інтегрованого в технологію CMOS 130 нм із селекторними транзисторами (шириною 650 нм) зеленого кольору. b Основні будівельні блоки запропонованої нейроморфної схеми. Імпульси вхідної напруги (піки) Vin0 і Vin1 споживають струм Iweight, який пропорційний станам провідності G0 і G1 структури 1T1R. Цей струм вводиться в синапси DPI і збуджує нейрони LIF. RRAM G0 і G1 встановлені в HCS і LCS відповідно. c Функція сукупної щільності провідності для групи пристроїв 16K RRAM як функція узгодження струму ICC, яка ефективно контролює рівень провідності. d Вимірювання схеми в (a) показують, що G1 (у LCS) ефективно блокує вхідний сигнал від Vin1 (зелений), і справді напруга вихідної мембрани нейрона реагує лише на синій вхідний сигнал від Vin0. RRAM ефективно визначає з'єднання в схемі. e Вимірювання схеми в (b), що показує вплив значення провідності G0 на мембранну напругу Vmem після застосування імпульсу напруги Vin0. Чим більше провідність, тим сильніший відгук: таким чином, пристрій RRAM реалізує зважування з’єднання введення/виведення. Вимірювання, проведені на схемі, демонструють подвійну функцію RRAM, маршрутизації та зважування вхідних імпульсів.
По-перше, оскільки існує два основних стани провідності (HCS і LCS), RRAM можуть блокувати або пропускати вхідні імпульси, коли вони перебувають у станах LCS або HCS відповідно. У результаті RRAM ефективно визначає з’єднання в схемі. Це є основою для можливості реконфігурації архітектури. Щоб продемонструвати це, ми опишемо виготовлену схему реалізації схемного блоку на рис. 3b. RRAM, що відповідає G0, програмується в HCS, а другий RRAM G1 програмується в LCS. Вхідні імпульси подаються як на Vin0, так і на Vin1. Ефекти двох послідовностей вхідних імпульсів були проаналізовані у вихідних нейронах шляхом збору напруги нейронної мембрани та вихідного сигналу за допомогою осцилографа. Експеримент був успішним, коли лише пристрій HCS (G0) було підключено до імпульсу нейрона для стимуляції натягу мембрани. Це показано на малюнку 3d, де блакитна серія імпульсів спричиняє накопичення напруги мембрани на мембранному конденсаторі, тоді як зелена серія імпульсів підтримує постійну напругу мембрани.
Другою важливою функцією RRAM є реалізація ваг з'єднання. Використовуючи аналогове регулювання провідності RRAM, з’єднання вводу/виводу можна відповідним чином зважити. У другому експерименті пристрій G0 було запрограмовано на різні рівні HCS, а вхідний імпульс подавався на вхід VIn0. Вхідний імпульс споживає струм (Iweight) із пристрою, який пропорційний провідності та відповідному падінню потенціалу Vtop − Vbot. Потім цей зважений струм вводять у синапси DPI та вихідні нейрони LIF. Мембранна напруга вихідних нейронів була зареєстрована за допомогою осцилографа та відображена на рис. 3d. Пік напруги нейронної мембрани у відповідь на один вхідний імпульс пропорційний провідності резистивної пам’яті, демонструючи, що RRAM можна використовувати як програмований елемент синаптичної ваги. Ці два попередні випробування показують, що запропонована нейроморфна платформа на основі RRAM здатна реалізувати основні елементи основного механізму Джеффреса, а саме лінію затримки та схему детектора збігів. Платформа ланцюга будується шляхом укладання послідовних блоків пліч-о-пліч, наприклад блоків на малюнку 3b, і з’єднання їхніх воріт із загальною вхідною лінією. Ми розробили, виготовили та протестували нейроморфну платформу, що складається з двох вихідних нейронів, які отримують два входи (рис. 4а). Принципова схема показана на малюнку 4b. Верхня матриця 2 × 2 RRAM дозволяє направляти вхідні імпульси до двох вихідних нейронів, тоді як нижня матриця 2 × 2 дозволяє повторювати з’єднання двох нейронів (N0, N1). Ми демонструємо, що цю платформу можна використовувати з конфігурацією лінії затримки та двома різними функціями детектора збігів, як показано експериментальними вимірюваннями на рис. 4c-e.
Принципова схема, утворена двома вихідними нейронами N0 і N1, які отримують два входи 0 і 1. Верхні чотири пристрої масиву визначають синаптичні зв’язки від входу до виходу, а нижні чотири клітинки визначають повторювані зв’язки між нейронами. Кольорові RRAM представляють пристрої, налаштовані в HCS праворуч: пристрої в HCS дозволяють підключення та представляють ваги, тоді як пристрої в LCS блокують вхідні імпульси та відключають підключення до виходів. b Схема схеми (a) з вісьмома модулями RRAM, виділеними синім. c Лінії затримки утворюються шляхом простого використання динаміки синапсів DPI та нейронів LIF. Зелений RRAM налаштований на достатньо високу провідність, щоб мати можливість викликати глюк на виході після затримки вхідного сигналу Δt. d Схематичне зображення незалежного від напрямку детектування CD сигналів, що залежать від часу. Вихідний нейрон 1, N1, спрацьовує на входах 0 і 1 з короткою затримкою. e Схема CD, чутлива до напрямку, схема, яка виявляє, коли вхід 1 наближається до входу 0 і надходить після входу 0. Вихід схеми представлено нейроном 1 (N1).
Лінія затримки (рис. 4c) просто використовує динамічну поведінку синапсів DPI та нейронів LIF для відтворення вхідного сплеску від Vin1 до Vout1 шляхом затримки Tdel. Лише G3 RRAM, підключений до Vin1 і Vout1, програмується в HCS, решта RRAM програмуються в LCS. Пристрій G3 було запрограмовано на 92,6 мкс, щоб гарантувати, що кожен вхідний імпульс збільшує напругу мембрани вихідного нейрона настільки, щоб досягти порогу та генерувати затриманий вихідний імпульс. Затримка Tdel визначається синаптичними та нейронними константами часу. Детектори збігів виявляють появу корельованих у часі, але розподілених у просторі вхідних сигналів. CD, нечутливий до напрямку, покладається на окремі входи, що сходяться до загального вихідного нейрона (рис. 4d). Два RRAM, що з’єднують Vin0 і Vin1 з Vout1, G2 і G4 відповідно, запрограмовані на високу провідність. Одночасне надходження спайків на Vin0 і Vin1 підвищує напругу нейронної мембрани N1 вище порогу, необхідного для генерації вихідного сплеску. Якщо два входи знаходяться надто далеко один від одного в часі, заряд напруги на мембрані, накопичений першим входом, може встигнути згаснути, запобігаючи досягненню мембранним потенціалом N1 порогового значення. G1 і G2 запрограмовані приблизно на 65 мкс, що гарантує, що один вхідний стрибок не збільшить напругу на мембрані настільки, щоб викликати стрибок на виході. Виявлення збігів між подіями, розподіленими в просторі та часі, є фундаментальною операцією, яка використовується в широкому діапазоні завдань зондування, таких як уникнення перешкод на основі оптичного потоку та локалізація джерела звуку. Таким чином, обчислення чутливих до напрямку та нечутливих компакт-дисків є фундаментальним будівельним блоком для побудови візуальних та аудіосистем локалізації. Як показано характеристиками постійних часу (див. Додатковий рис. 2), запропонована схема реалізує відповідний діапазон з чотирьох порядків шкали часу. Таким чином, він може одночасно відповідати вимогам візуальних і звукових систем. Спрямовано чутливий КД - це схема, чутлива до просторового порядку надходження імпульсів: справа наліво і навпаки. Це фундаментальний будівельний блок у базовій мережі виявлення руху зорової системи дрозофіли, яка використовується для обчислення напрямків руху та виявлення зіткнень62. Щоб досягти CD, чутливого до напрямку, два входи повинні бути спрямовані на два різні нейрони (N0, N1) і між ними має бути встановлено спрямований зв’язок (рис. 4e). Коли надходить перший вхідний сигнал, NO реагує, збільшуючи напругу на своїй мембрані вище порогового значення та посилаючи стрибок. Ця вихідна подія, у свою чергу, запускає N1 завдяки спрямованому з’єднанню, виділеному зеленим. Якщо надходить вхідна подія Vin1 і живить N1, поки його мембранна напруга все ще висока, N1 генерує вихідну подію, яка вказує на те, що знайдено збіг між двома входами. Спрямовані з’єднання дозволяють N1 випромінювати вихід, лише якщо вхід 1 йде після входу 0. G0, G3 і G7 запрограмовані на 73,5 мкс, 67,3 мкс і 40,2 мкс відповідно, гарантуючи, що один сплеск на вході Vin0 викликає затримку вихідний сплеск, тоді як мембранний потенціал N1 досягає порогу лише тоді, коли обидва вхідні сплески надходять синхронно. .
Варіативність є джерелом недосконалості змодельованих нейроморфних систем63,64,65. Це призводить до неоднорідної поведінки нейронів і синапсів. Приклади таких недоліків включають 30% (середнє стандартне відхилення) варіабельність вхідного посилення, постійної часу та рефрактерного періоду, щоб назвати лише деякі (див. Методи). Ця проблема стає ще більш вираженою, коли кілька нейронних ланцюгів з’єднані разом, наприклад CD, чутливий до орієнтації, що складається з двох нейронів. Для належної роботи константи часу посилення та затухання двох нейронів мають бути якомога подібнішими. Наприклад, велика різниця в посиленні вхідного сигналу може спричинити надмірну реакцію одного нейрона на вхідний імпульс, тоді як інший майже не реагує. На рис. На малюнку 5а показано, що випадково вибрані нейрони по-різному реагують на той самий вхідний імпульс. Ця нейронна мінливість має відношення, наприклад, до функції CD-дисків, чутливих до напрямку. На схемі, зображеній на рис. 5b, c, вхідний коефіцієнт підсилення нейрона 1 набагато вищий, ніж у нейрона 0. Таким чином, нейрону 0 потрібні три вхідні імпульси (замість 1), щоб досягти порогу, а нейрону 1, як і очікувалося, потрібні дві вхідні події. Впровадження залежної від часу біоміметичної пластичності (STDP) є можливим способом пом’якшити вплив неточних і млявих нейронних і синаптичних ланцюгів на продуктивність системи43. Тут ми пропонуємо використовувати пластичну поведінку резистивної пам’яті як засіб впливу на посилення нейронного введення та зменшення ефектів мінливості в нейроморфних схемах. Як показано на рис. 4e, рівні провідності, пов'язані з синаптичною масою RRAM, ефективно модулювали відповідну реакцію напруги нейронної мембрани. Ми використовуємо ітераційну стратегію програмування RRAM. Для заданого вхідного сигналу значення провідності синаптичних ваг перепрограмуються, доки не буде отримано цільову поведінку схеми (див. Методи).
a Експериментальні вимірювання відповіді дев’яти випадково вибраних окремих нейронів на той самий вхідний імпульс. Реакція залежить від популяції, впливаючи на посилення вхідного сигналу та постійну часу. b Експериментальні вимірювання впливу нейронів на мінливість нейронів, що впливають на CD, чутливий до напрямку. Два чутливі до напрямку вихідні нейрони CD по-різному реагують на вхідні подразники через мінливість між нейронами. Нейрон 0 має нижчий вхідний коефіцієнт посилення, ніж нейрон 1, тому потрібні три вхідні імпульси (замість 1), щоб створити вихідний сплеск. Як і очікувалося, нейрон 1 досягає порогу з двома вхідними подіями. Якщо вхід 1 надходить через Δt = 50 мкс після спрацьовування нейрона 0, CD залишається мовчазним, оскільки Δt більше постійної часу нейрона 1 (приблизно 22 мкс). c зменшується на Δt = 20 мкс, так що вхід 1 досягає піку, коли активація нейрона 1 все ще висока, що призводить до одночасного виявлення двох вхідних подій.
Два елементи, які використовуються в стовпці розрахунку ITD, це лінія затримки та CD, незалежний від напрямку. Обидві схеми вимагають точного калібрування, щоб забезпечити гарне позиціонування об’єкта. Лінія затримки повинна надавати точно затриману версію вхідного піку (рис. 6а), а CD має бути активований лише тоді, коли вхідний сигнал потрапляє в діапазон виявлення цілі. Для лінії затримки синаптичні ваги вхідних з'єднань (G3 на рис. 4а) були перепрограмовані до отримання цільової затримки. Встановіть допуск навколо цільової затримки, щоб зупинити програму: чим менший допуск, тим важче успішно встановити лінію затримки. На рис. На малюнку 6b показано результати процесу калібрування лінії затримки: видно, що запропонована схема може точно забезпечити всі затримки, необхідні в розрахунковій схемі (від 10 до 300 мкс). Максимальна кількість ітерацій калібрування впливає на якість процесу калібрування: 200 ітерацій можуть знизити похибку до менше 5%. Одна ітерація калібрування відповідає операції встановлення/скидання комірки RRAM. Процес налаштування також має вирішальне значення для підвищення точності миттєвого виявлення події закриття модуля CD. Знадобилося десять ітерацій калібрування, щоб досягти справжньої позитивної частоти (тобто частоти подій, правильно визначених як відповідні) понад 95% (синя лінія на малюнку 6c). Однак процес налаштування не вплинув на хибнопозитивні події (тобто на частоту подій, які були помилково визначені як релевантні). Інший метод, спостережуваний у біологічних системах для подолання часових обмежень шляхів швидкої активації, — надмірність (тобто багато копій одного об’єкта використовуються для виконання певної функції). Натхненні біологією66, ми розмістили кілька схем CD в кожному модулі CD між двома лініями затримки, щоб зменшити вплив помилкових спрацьовувань. Як показано на рис. 6c (зелена лінія), розміщення трьох елементів CD в кожному модулі CD може зменшити частоту помилкових тривог до менше 10–2.
a Вплив мінливості нейронів на схеми ліній затримки. b Схеми ліній затримки можна масштабувати до великих затримок шляхом встановлення великих значень для констант часу відповідних нейронів LIF і синапсів DPI. Збільшення кількості ітерацій процедури калібрування RRAM дозволило значно підвищити точність цільової затримки: 200 ітерацій знизили похибку до менше 5%. Одна ітерація відповідає операції SET/RESET на комірці RRAM. Кожен модуль CD у моделі c Jeffress може бути реалізований за допомогою N паралельних елементів CD для більшої гнучкості щодо збоїв системи. d Більша кількість ітерацій калібрування RRAM збільшує частоту справжніх позитивних результатів (синя лінія), тоді як частота помилкових позитивних результатів не залежить від кількості ітерацій (зелена лінія). Паралельне розміщення більшої кількості елементів CD дозволяє уникнути помилкового виявлення збігів модулів CD.
Тепер ми оцінюємо продуктивність і енергоспоживання наскрізної інтегрованої системи локалізації об’єктів, показаної на малюнку 2, використовуючи вимірювання акустичних властивостей датчика pMUT, CD і схем лінії затримки, які складають нейроморфний обчислювальний граф. Модель Джеффреса (рис. 1а). Що стосується нейроморфного обчислювального графа, чим більше число модулів CD, тим краща кутова роздільна здатність, але також вища енергія системи (рис. 7а). Компромісу можна досягти, порівнюючи точність окремих компонентів (датчиків pMUT, нейронів і синаптичних ланцюгів) з точністю всієї системи. Роздільна здатність лінії затримки обмежена константами часу змодельованих синапсів і нейронів, які в нашій схемі перевищують 10 мкс, що відповідає кутовій роздільній здатності 4° (див. Методи). Більш просунуті вузли з технологією CMOS дозволять проектувати нейронні та синаптичні схеми з меншими постійними часу, що призведе до більш високої точності елементів лінії затримки. Однак у нашій системі точність обмежена похибкою pMUT в оцінці кутового положення, тобто 10° (синя горизонтальна лінія на рис. 7а). Ми зафіксували кількість модулів CD на рівні 40, що відповідає кутовій роздільній здатності близько 4°, тобто кутовій точності обчислювального графіка (світло-блакитна горизонтальна лінія на рис. 7а). На системному рівні це дає роздільну здатність 4° і точність 10° для об’єктів, розташованих на відстані 50 см від сенсорної системи. Це значення можна порівняти з нейроморфними системами локалізації звуку, про які повідомляється в посил. 67. Порівняння запропонованої системи з сучасним рівнем техніки можна знайти в Додатковій таблиці 1. Додавання додаткових pMUT, підвищення рівня акустичного сигналу та зменшення електронного шуму є можливими способами подальшого підвищення точності локалізації. ) оцінюється в 9,7. nz. 55. Враховуючи 40 одиниць CD на обчислювальному графіку, симуляція SPICE оцінила енергію на операцію (тобто енергію позиціонування об’єкта) у 21,6 нДж. Нейроморфна система активується лише тоді, коли надходить вхідна подія, тобто коли акустична хвиля досягає будь-якого приймача pMUT і перевищує поріг виявлення, інакше вона залишається неактивною. Це дозволяє уникнути непотрібного споживання енергії за відсутності вхідного сигналу. Враховуючи частоту операцій локалізації 100 Гц і період активації 300 мкс на операцію (максимально можливий ITD), енергоспоживання нейроморфного обчислювального графа становить 61,7 нВт. З нейроморфною попередньою обробкою, застосованою до кожного приймача pMUT, енергоспоживання всієї системи досягає 81,6 нВт. Щоб зрозуміти енергоефективність запропонованого нейроморфного підходу порівняно зі звичайним апаратним забезпеченням, ми порівняли це число з енергією, необхідною для виконання того самого завдання на сучасному мікроконтролері малої потужності з використанням нейроморфного або звичайного формування променя68. Нейроморфний підхід передбачає етап аналого-цифрового перетворювача (АЦП), за яким ідуть смуговий фільтр і етап виділення огинаючої (метод Тегера-Кайзера). Нарешті виконується порогова операція для вилучення ToF. Ми опустили розрахунок ITD на основі ToF і перетворення в розрахункове кутове положення, оскільки це відбувається один раз для кожного вимірювання (див. Методи). Припускаючи частоту дискретизації 250 кГц на обох каналах (приймачі pMUT), 18 операцій смугового фільтра, 3 операції вилучення огинаючої та 1 порогову операцію на вибірку, загальне споживання енергії оцінюється в 245 мікроват. Для цього використовується режим низького споживання мікроконтролера69, який вмикається, коли алгоритми не виконуються, що знижує споживання енергії до 10,8 мкВт. Енергоспоживання рішення для обробки сигналу формування променя, запропонованого в посиланні. 31, з 5 приймачами pMUT і 11 променями, рівномірно розподіленими в азимутальній площині [-50°, +50°], становить 11,71 мВт (докладніше див. у розділі «Методи»). Крім того, ми повідомляємо про енергоспоживання кодера різниці в часі (TDE) на основі FPGA47, оцінене в 1,5 мВт як заміну моделі Джеффреса для локалізації об’єктів. Виходячи з цих оцінок, запропонований нейроморфний підхід зменшує енергоспоживання на п’ять порядків порівняно з мікроконтролером, який використовує класичні методи формування променя для операцій локалізації об’єктів. Застосування нейроморфного підходу до обробки сигналів на класичному мікроконтролері зменшує енергоспоживання приблизно на два порядки. Ефективність запропонованої системи можна пояснити поєднанням асинхронної аналогової схеми з резистивною пам’яттю, здатної виконувати обчислення в пам’яті, та відсутністю аналого-цифрового перетворення, необхідного для сприйняття сигналів.
a Кутова роздільна здатність (синій) і енергоспоживання (зелений) операції локалізації залежно від кількості модулів CD. Темно-синя горизонтальна смуга представляє кутову точність PMUT, а світло-блакитна горизонтальна смуга представляє кутову точність нейроморфного обчислювального графіка. b Енергоспоживання запропонованої системи та порівняння з двома обговорюваними реалізаціями мікроконтролера та цифровою реалізацією кодера різниці в часі (TDE)47 FPGA.
Щоб мінімізувати енергоспоживання системи локалізації цілі, ми задумали, спроектували та впровадили ефективну, керовану подіями нейроморфну схему на основі RRAM, яка обробляє інформацію про сигнал, створену вбудованими датчиками, для обчислення положення цільового об’єкта в реальному часі. час. . У той час як традиційні методи обробки безперервно відбирають виявлені сигнали та виконують обчислення для отримання корисної інформації, запропоноване нейроморфне рішення виконує обчислення асинхронно в міру надходження корисної інформації, максимізуючи енергоефективність системи на п’ять порядків величини. Крім того, ми підкреслюємо гнучкість нейроморфних схем на основі RRAM. Здатність RRAM змінювати провідність енергонезалежним способом (пластичність) компенсує притаманну мінливість синаптичних і нейронних ланцюгів аналогового DPI з наднизькою потужністю. Це робить цю схему на основі RRAM універсальною та потужною. Наша мета полягає не в тому, щоб витягувати складні функції чи шаблони із сигналів, а в локалізації об’єктів у реальному часі. Наша система також може ефективно стискати сигнал і, зрештою, надсилати його на подальші етапи обробки для прийняття більш складних рішень, коли це необхідно. У контексті додатків локалізації наш етап нейроморфної попередньої обробки може надати інформацію про розташування об’єктів. Цю інформацію можна використовувати, наприклад, для виявлення руху або розпізнавання жестів. Ми підкреслюємо важливість поєднання датчиків наднизької потужності, таких як pMUT, з електронікою наднизької потужності. Для цього нейроморфні підходи були ключовими, оскільки вони привели нас до розробки нових схемних реалізацій біологічно натхненних обчислювальних методів, таких як модель Джеффреса. У контексті додатків об’єднання датчиків нашу систему можна об’єднати з кількома різними датчиками на основі подій, щоб отримати точнішу інформацію. Хоча сови чудово знаходять здобич у темряві, вони мають відмінний зір і виконують комбінований слуховий і зоровий пошук, перш ніж зловити здобич70. Коли спрацьовує певний слуховий нейрон, сова отримує інформацію, необхідну їй для визначення, в якому напрямку почати візуальний пошук, таким чином зосереджуючи свою увагу на невеликій частині візуальної сцени. Комбінація візуальних датчиків (камера DVS) і запропонованого датчика прослуховування (на основі pMUT) повинна бути досліджена для розробки майбутніх автономних агентів.
Датчик pMUT розташований на друкованій платі з двома приймачами приблизно на відстані 10 см один від одного, а передавач розташований між приймачами. У цій роботі кожна мембрана є підвішеною біморфною структурою, що складається з двох шарів п’єзоелектричного нітриду алюмінію (AlN) товщиною 800 нм, затиснутих між трьома шарами молібдену (Mo) товщиною 200 нм і покритих шаром товщиною 200 нм. верхній пасивуючий шар SiN, як описано в посиланні. 71. Внутрішній і зовнішній електроди накладаються на нижній і верхній шари молібдену, тоді як середній молібденовий електрод не має малюнка і використовується як заземлення, в результаті чого утворюється мембрана з чотирма парами електродів.
Ця архітектура дозволяє використовувати загальну деформацію мембрани, що призводить до покращення чутливості передачі та прийому. Такий pMUT зазвичай демонструє чутливість збудження 700 нм/В як емітер, забезпечуючи поверхневий тиск 270 Па/В. Як приймач, одна плівка pMUT має чутливість до короткого замикання 15 нА/Па, що безпосередньо пов’язано з п’єзоелектричним коефіцієнтом AlN. Технічна мінливість напруги в шарі AlN призводить до зміни резонансної частоти, яку можна компенсувати шляхом застосування постійного зсуву до pMUT. Чутливість до постійного струму вимірювалася при 0,5 кГц/В. Для акустичної характеристики перед pMUT використовується мікрофон.
Щоб виміряти ехо-імпульс, ми розмістили прямокутну пластину площею близько 50 см2 перед pMUT для відображення випромінюваних звукових хвиль. Як відстань між пластинами, так і кут відносно площини pMUT контролюються за допомогою спеціальних тримачів. Джерело напруги Tectronix CPX400DP зміщує три мембрани pMUT, налаштовуючи резонансну частоту на 111,9 кГц31, тоді як передавачі керуються генератором імпульсів Tectronix AFG 3102, налаштованим на резонансну частоту (111,9 кГц) і робочий цикл 0,01. Струми, зчитані з чотирьох вихідних портів кожного приймача pMUT, перетворюються на напругу за допомогою спеціальної архітектури диференціального струму та напруги, а отримані сигнали оцифровуються системою збору даних Spektrum. Межа виявлення характеризувалася отриманням сигналу pMUT за різних умов: ми переміщали рефлектор на різні відстані [30, 40, 50, 60, 80, 100] см та змінювали кут опори pMUT ([0, 20, 40] o 2b показано часову роздільну здатність виявлення ITD залежно від відповідного кутового положення в градусах.
У цій статті використовуються дві різні готові схеми RRAM. Перший — це масив із 16 384 (16 000) пристроїв (128 × 128 пристроїв) у конфігурації 1T1R з одним транзистором і одним резистором. Другий чіп — це нейроморфна платформа, показана на рис. 4а. Осередок RRAM складається з плівки HfO2 товщиною 5 нм, вбудованої в пакет TiN/HfO2/Ti/TiN. Стек RRAM інтегрований у базову лінію (BEOL) стандартного процесу CMOS 130 нм. Нейроморфні схеми на основі RRAM представляють складну проблему для проектування повністю аналогових електронних систем, у яких пристрої RRAM співіснують із традиційною технологією CMOS. Зокрема, стан провідності пристрою RRAM необхідно зчитувати та використовувати як функціональну змінну для системи. З цією метою була розроблена, виготовлена та протестована схема, яка зчитує струм із пристрою, коли надходить вхідний імпульс, і використовує цей струм для зважування реакції синапсу диференціального парного інтегратора (DPI). Ця схема показана на малюнку 3a, який представляє основні будівельні блоки нейроморфної платформи на малюнку 4a. Вхідний імпульс активує затвор пристрою 1T1R, індукуючи струм через RRAM, пропорційний провідності пристрою G (Iweight = G(Vtop – Vx)). Інвертуючий вхід схеми операційного підсилювача (ОП) має постійну напругу зміщення постійного струму Vtop. Негативний зворотний зв'язок операційного підсилювача забезпечить Vx = Vtop, забезпечуючи рівний струм від M1. Поточний Iweight, отриманий із пристрою, вводиться в синапс DPI. Сильніший струм призведе до більшої деполяризації, тому провідність RRAM ефективно реалізує синаптичні ваги. Цей експоненціальний синаптичний струм вводиться через мембранний конденсатор нейронів із витоком інтеграції та збудження (LIF), де він інтегрується як напруга. Якщо порогова напруга мембрани (напруга перемикання інвертора) подолано, вихідна частина нейрона активується, створюючи сплеск вихідного сигналу. Цей імпульс повертається і шунтує мембранний конденсатор нейрона на землю, викликаючи його розряд. Потім ця схема доповнюється розширювачем імпульсу (не показано на рис. 3a), який формує вихідний імпульс нейрона LIF відповідно до цільової ширини імпульсу. Мультиплексори також вбудовані в кожну лінію, що дозволяє подавати напругу на верхній і нижній електроди пристрою RRAM.
Електричні випробування включають аналіз і запис динамічної поведінки аналогових схем, а також програмування та зчитування пристроїв RRAM. Обидва етапи вимагають спеціальних інструментів, усі вони підключаються до сенсорної плати одночасно. Доступ до пристроїв RRAM в нейроморфних схемах здійснюється із зовнішніх засобів через мультиплексор (MUX). MUX відокремлює комірку 1T1R від решти схеми, до якої вона належить, дозволяючи зчитувати та/або програмувати пристрій. Для програмування та читання пристроїв RRAM використовується машина Keithley 4200 SCS у поєднанні з мікроконтролером Arduino: перший для точної генерації імпульсів і зчитування струму, а другий для швидкого доступу до окремих елементів 1T1R в масиві пам’яті. Першою операцією є формування пристрою RRAM. Комірки вибираються по одній, і між верхнім і нижнім електродами подається позитивна напруга. У цьому випадку струм обмежений порядком десятків мікроампер через подачу відповідної напруги затвора на селекторний транзистор. Комірка RRAM потім може перемикатися між станом низької провідності (LCS) і станом високої провідності (HCS), використовуючи операції RESET і SET відповідно. Операція SET здійснюється шляхом подачі прямокутного імпульсу напруги тривалістю 1 мкс і піковою напругою 2,0-2,5 В на верхній електрод, а також синхронізаційного імпульсу аналогічної форми з піковою напругою 0,9-1,3 В на верхній електрод. затвор селекторного транзистора. Ці значення дозволяють модулювати провідність RRAM з інтервалами 20-150 мкс. Для RESET до нижнього електрода (розрядної лінії) комірки подається імпульс тривалістю 1 мкс із піковою напругою 3 В, коли напруга затвора знаходиться в діапазоні 2,5–3,0 В. Входи та виходи аналогових схем є динамічними сигналами. . Для введення ми чергували два генератори імпульсів HP 8110 із генераторами сигналів Tektronix AFG3011. Вхідний імпульс має тривалість 1 мкс і фронт наростання/спаду 50 нс. Вважається, що цей тип імпульсу є типовим збоєм у аналогових схемах на основі збою. Що стосується вихідного сигналу, то вихідний сигнал був записаний за допомогою осцилографа Teledyne LeCroy 1 ГГц. Доведено, що швидкість збору даних осцилографа не є обмежуючим фактором при аналізі та отриманні даних схеми.
Використання динаміки аналогової електроніки для моделювання поведінки нейронів і синапсів є елегантним і ефективним рішенням для підвищення ефективності обчислень. Недоліком цієї обчислювальної основи є те, що вона буде відрізнятися від схеми до схеми. Ми кількісно оцінили мінливість нейронів і синаптичних ланцюгів (додаткова рис. 2a, b). З усіх проявів мінливості найбільший вплив на системному рівні мають ті, що пов’язані з постійними часом і посиленням вхідного сигналу. Постійна часу нейрона LIF і синапсу DPI визначається RC-схемою, де значення R контролюється напругою зміщення, що подається на затвор транзистора (Vlk для нейрона та Vtau для синапсу), що визначає швидкість витоку. Підсилення вхідного сигналу визначається як пік напруги, досягнутого синаптичними та нейронними мембранними конденсаторами, стимульованими вхідним імпульсом. Вхідне посилення контролюється іншим транзистором зміщення, який модулює вхідний струм. Моделювання методом Монте-Карло, відкаліброване за 130-нанометровим процесом ST Microelectronics, було виконано для збору статистики посилення вхідного сигналу та постійної часу. Результати представлені на додатковому малюнку 2, де вхідний коефіцієнт підсилення та постійна часу визначені кількісно як функція напруги зсуву, що контролює швидкість витоку. Зелені маркери кількісно визначають стандартне відхилення постійної часу від середнього. І нейрони, і синаптичні ланцюги були здатні виражати широкий діапазон постійних часу в діапазоні 10-5-10-2 с, як показано на схемі додаткового малюнка. Вхідне посилення (додаткова рис. 2e, d) варіабельності нейронів і синапсів становило приблизно 8% і 3% відповідно. Такий недолік добре задокументований в літературі: різні вимірювання проводилися на масиві чіпів DYNAP для оцінки невідповідності між популяціями нейронів LIF63. Було виміряно синапси в чіпі змішаних сигналів BrainScale та проаналізовано їх невідповідності, а також запропоновано процедуру калібрування для зменшення впливу мінливості на рівні системи64.
Функція RRAM у нейроморфних схемах подвійна: визначення архітектури (маршрутизація входів до виходів) і реалізація синаптичних ваг. Остання властивість може бути використана для вирішення проблеми мінливості модельованих нейроморфних схем. Ми розробили просту процедуру калібрування, яка передбачає перепрограмування пристрою RRAM, доки аналізована схема не відповідатиме певним вимогам. Для заданого вхідного сигналу вихідний сигнал контролюється, а RRAM перепрограмується, доки не буде досягнуто цільової поведінки. Між операціями програмування було введено час очікування 5 с, щоб вирішити проблему релаксації RRAM, що призводить до перехідних коливань провідності (додаткова інформація). Синаптичні ваги регулюються або калібруються відповідно до вимог нейроморфної схеми, що моделюється. Процедура калібрування узагальнена в додаткових алгоритмах [1, 2], які зосереджуються на двох фундаментальних характеристиках нейроморфних платформ, лініях затримки та CD, нечутливому до напрямку. Для схеми з лінією затримки цільовою поведінкою є забезпечення вихідного імпульсу із затримкою Δt. Якщо фактична затримка ланцюга менша за цільове значення, синаптичну вагу G3 слід зменшити (G3 слід скинути, а потім встановити нижчий відповідний струм Icc). І навпаки, якщо фактична затримка більша за цільове значення, провідність G3 необхідно збільшити (G3 потрібно спочатку скинути, а потім встановити вище значення Icc). Цей процес повторюється, доки затримка, створена схемою, не збігається з цільовим значенням і не буде встановлено допуск для зупинки процесу калібрування. Для компакт-дисків, незалежних від орієнтації, у процесі калібрування беруть участь два пристрої RRAM, G1 і G3. Ця схема має два входи, Vin0 і Vin1, із затримкою dt. Схема має реагувати лише на затримки нижче відповідного діапазону [0,dtCD]. Якщо вихідного піку немає, але вхідний пік близький, обидва пристрої RRAM слід підвищити, щоб допомогти нейрону досягти порогу. І навпаки, якщо схема реагує на затримку, яка перевищує цільовий діапазон dtCD, провідність необхідно зменшити. Повторюйте процес, поки не буде досягнута правильна поведінка. Податливий струм можна модулювати за допомогою вбудованої аналогової схеми в ref. 72,73. За допомогою цієї вбудованої схеми такі процедури можна періодично виконувати для калібрування системи або повторного використання для іншої програми.
Ми оцінюємо енергоспоживання нашого нейроморфного підходу до обробки сигналів на стандартному 32-розрядному мікроконтролері68. У цій оцінці ми припускаємо роботу з тією ж установкою, що й у цьому документі, з одним передавачем pMUT і двома приймачами pMUT. У цьому методі використовується смуговий фільтр, за яким слідує етап виділення огинаючої (Тігера-Кайзера), і, нарешті, до сигналу застосовується порогова операція для виділення часу польоту. Розрахунок ITD та його перетворення на кути виявлення в оцінці опущено. Ми розглядаємо реалізацію смугового фільтра з використанням фільтра нескінченної імпульсної характеристики 4-го порядку, що вимагає 18 операцій з плаваючою комою. Вилучення конверта використовує ще три операції з плаваючою комою, а остання операція використовується для встановлення порогового значення. Загалом для попередньої обробки сигналу потрібно виконати 22 операції з плаваючою комою. Переданий сигнал є коротким сплеском синусоїдальної форми 111,9 кГц, який генерується кожні 10 мс, що призводить до робочої частоти позиціонування 100 Гц. Ми використовували частоту дискретизації 250 кГц, щоб відповідати вимогам Найквіста, і вікно 6 мс для кожного вимірювання, щоб охопити діапазон в 1 метр. Зверніть увагу, що 6 мілісекунд - це час польоту об'єкта, який знаходиться на відстані 1 метра. Це забезпечує споживання електроенергії 180 мкВт для аналого-цифрового перетворення зі швидкістю 0,5 MSPS. Попередня обробка сигналу становить 6,60 MIPS (інструкцій на секунду), що генерує 0,75 мВт. Однак мікроконтролер може перейти в режим низького енергоспоживання 69, коли алгоритм не працює. Цей режим забезпечує статичне енергоспоживання 10,8 мкВт і час пробудження 113 мкс. При тактовій частоті 84 МГц мікроконтролер виконує всі операції нейроморфного алгоритму протягом 10 мс, а алгоритм обчислює шпаруватість 6,3%, таким чином використовуючи режим низької потужності. Результуюча розсіювана потужність становить 244,7 мкВт. Зверніть увагу, що ми опускаємо вихід ITD з ToF і перетворення в кут виявлення, таким чином недооцінюючи енергоспоживання мікроконтролера. Це забезпечує додаткову цінність для енергоефективності запропонованої системи. Як додаткову умову порівняння ми оцінюємо енергоспоживання класичних методів формування променя, запропонованих у посиланні. 31.54, коли вбудовано в той самий мікроконтролер68 при напрузі живлення 1,8 В. П’ять рівномірно розташованих мембран pMUT використовуються для отримання даних для формування променя. Що стосується самої обробки, використовуваний метод формування променя є підсумовуванням затримки. Він просто складається із застосування затримки до смуг, яка відповідає очікуваній різниці в часі прибуття між однією смугою та контрольною смугою. Якщо сигнали знаходяться у фазі, сума цих сигналів матиме високу енергію після зсуву в часі. Якщо вони не по фазі, руйнівна інтерференція обмежить енергію їх суми. у відносинах. На рис. 31, частота дискретизації 2 МГц вибирається для зсуву даних у часі на ціле число вибірок. Більш скромний підхід полягає у підтримці більш грубої частоти дискретизації 250 кГц і використанні фільтра кінцевої імпульсної характеристики (FIR) для синтезу дробових затримок. Будемо вважати, що складність алгоритму формування променя в основному визначається часовим зсувом, оскільки кожен канал згортається за допомогою FIR-фільтра з 16 відводами в кожному напрямку. Щоб обчислити кількість MIPS, необхідних для цієї операції, ми розглядаємо вікно 6 мс на вимірювання для захоплення діапазону 1 метр, 5 каналів, 11 напрямків формування променя (діапазон +/- 50° з кроком 10°). 75 вимірювань на секунду підштовхнули мікроконтролер до максимального значення 100 MIPS. Посилання. 68, що призводить до розсіювання потужності 11,26 мВт для загальної розсіювання потужності 11,71 мВт після додавання внеску вбудованого АЦП.
Дані, що підтверджують результати цього дослідження, доступні у відповідного автора, FM, за розумним запитом.
Indiveri, G. & Sandamirskaya, Y. Важливість простору та часу для обробки сигналів у нейроморфних агентах: проблема розробки малопотужних, автономних агентів, які взаємодіють із середовищем. Indiveri, G. & Sandamirskaya, Y. Важливість простору та часу для обробки сигналів у нейроморфних агентах: проблема розробки малопотужних, автономних агентів, які взаємодіють із середовищем.Індівері Г. та Сандамірська Ю. Важливість простору та часу для обробки сигналів у нейроморфних агентах: проблема розробки малопотужних автономних агентів, які взаємодіють із середовищем. Indiveri, G. & Sandamirskaya, Y.空间和时间对于神经形态代理中信号处理的重要性：开发与环境交互的低功耗、自主代理的挑战。 Indiveri, G. & Sandamirskaya, Y.Індівері Г. та Сандамірська Ю. Важливість простору та часу для обробки сигналів у нейроморфних агентах: проблема розробки малопотужних автономних агентів, які взаємодіють із середовищем.Обробка сигналів IEEE. Журнал 36, 16–28 (2019).
Торп, С. Дж. Піковий час прибуття: ефективна схема кодування нейронної мережі. у Eckmiller, R., Hartmann, G. & Hauske, G. (eds). у Eckmiller, R., Hartmann, G. & Hauske, G. (eds).у Eckmiller, R., Hartmann, G. and Hauske, G. (eds.).У Eckmiller, R., Hartmann, G., and Hauske, G. (eds.). Паралельна обробка в нейронних системах і комп’ютерах 91–94 (North-Holland Elsevier, 1990).
Леві, В. Б. і Калверт, В. Г. Комунікація споживає в 35 разів більше енергії, ніж обчислення в корі головного мозку людини, але для прогнозування кількості синапсів потрібні обидві витрати. Леві, В. Б. і Калверт, В. Г. Комунікація споживає в 35 разів більше енергії, ніж обчислення в корі головного мозку людини, але для прогнозування кількості синапсів потрібні обидві витрати.Леві, В. Б. і Калверт, В. Г. Комунікація споживає в 35 разів більше енергії, ніж обчислення в корі головного мозку людини, але для прогнозування кількості синапсів потрібні обидві витрати. Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35 倍，但这两种成本都需要预测突触数量。 Леві, В. Б. і Калверт, В. Г. КомунікаціїЛеві, В. Б. і Калверт, В. Г. Комунікація споживає в 35 разів більше енергії, ніж обчислення в корі головного мозку людини, але обидві витрати вимагають прогнозування кількості синапсів.процес. Національна академія наук. наука. США 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing.Dalgati, T., Vianello, E., DeSalvo, B. and Casas, J. Insect-inspired neuromorphic computing.Dalgati T., Vianello E., DeSalvo B. and Casas J. Insect-inspired neuromorphic computing. поточний. Думка. Наука про комах. 30, 59–66 (2018).
Рой, К., Джайсвал, А. і Панда, П. На шляху до машинного інтелекту на основі шипів із нейроморфними обчисленнями. Рой, К., Джайсвал, А. і Панда, П. На шляху до машинного інтелекту на основі шипів із нейроморфними обчисленнями. Рой, К., Джайсвал, А. і Панда, П. На шляху до машинного інтелекту на основі спайків із нейроморфними обчисленнями.Рой К., Джайсвал А. та Панда П. Штучний інтелект на основі імпульсів із використанням нейроморфних обчислень. Nature 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. та Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. та Liu, S.-K.Пам'ять та обробка інформації в нейроморфних системах. процес. IEEE 103, 1379–1397 (2015).
Акопян Ф. та ін. Truenorth: Дизайн і набір інструментів для програмованого синаптичного чіпа нейронів потужністю 65 мВт і 1 мільйон нейронів. транзакції IEEE. Комп'ютерне проектування інтегральних схемних систем. 34, 1537–1557 (2015).
Schemmel, J. та ін. Демонстрація в реальному часі: зменшена версія нейроморфної системи BrainScaleS у масштабі пластини. 2012 Міжнародний симпозіум IEEE зі схем і систем (ISCAS), (ред. IEEE) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Масштабована багатоядерна архітектура з гетерогенними структурами пам’яті для динамічних нейроморфних асинхронних процесорів (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Масштабована багатоядерна архітектура з гетерогенними структурами пам’яті для динамічних нейроморфних асинхронних процесорів (DYNAP).Moradi S., Qiao N., Stefanini F. та Indiviri G. Масштабована багатоядерна архітектура з гетерогенними структурами пам’яті для динамічних нейроморфних асинхронних процесорів (DYNAP). Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. 一种可扩展的多核架构，具有用于动态神经形态异步处理器(DYNAP)的异构内存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Різновид розширюваної багатоядерної архітектури з унікальною структурою пам’яті для динамічної нейронної обробки (DYNAP).Moradi S., Qiao N., Stefanini F. та Indiviri G. Масштабована багатоядерна архітектура з гетерогенними структурами пам’яті для динамічних нейроморфних асинхронних процесорів (DYNAP).Транзакції IEEE з біомедичної науки. електрична система. 12, 106–122 (2018).
Davis, M. та ін. Loihi: нейроморфний багатоядерний процесор із вбудованим навчанням. IEEE Micro 38, 82–99 (2018).
Фербер, С.Б., Галлуппі, Ф., Темпл, С. і Плана, Луїзіана Проект SpiNNaker. Фербер, С.Б., Галлуппі, Ф., Темпл, С. і Плана, Луїзіана Проект SpiNNaker.Ferber SB, Galluppi F., Temple S. and Plana LA SpiNNaker project.Ferber SB, Galluppi F., Temple S. and Plana LA SpiNNaker project. процес. IEEE 102, 652–665 (2014).
Лю, С.-К. & Delbruck, T. Нейроморфні сенсорні системи. & Delbruck, T. Нейроморфні сенсорні системи.і Дельбрюк Т. Нейроморфні сенсорні системи. & Delbruck, T. 神经形态感觉系统。 і Дельбрюк Т.і Дельбрюк Т. Нейроморфна сенсорна система.поточний. Думка. Нейробіологія. 20, 288–295 (2010).
Chope, T. та ін. Нейроморфна сенсорна інтеграція для комбінованої локалізації джерела звуку та уникнення зіткнень. У 2019 році на конференції IEEE з біомедичних схем і систем (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Нейроморфна архітектура стереозору на основі шипів. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Нейроморфна архітектура стереозору на основі шипів.Risi N, Aymar A, Donati E, Solinas S, and Indiveri G. A spike-based neuromorphic stereovision architecture. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Рісі, Н., Аймар, А., Донаті, Е., Солінас, С. та Індівері, Г.Risi N, Aimar A, Donati E, Solinas S, and Indiveri G. Spike-based neuromorphic architecture for stereo vision.спереду. Нейророботика 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Модель нейронної мережі 3D-сприйняття для нейроморфних систем стереозору на основі подій. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Модель нейронної мережі 3D-сприйняття для нейроморфних систем стереозору на основі подій.Oswald, M., Ieng, S.-H., Benosman, R., та Indiveri, G. Модель сприйняття тривимірної імпульсної нейронної мережі для нейроморфних систем стереозору на основі подій. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 基于事件的神经形态立体视觉系统的3Dperception 脉冲神经网络模型. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型。Освальд, М., Ієнг, С.-Х., Беносман, Р., та Індівері, Г. Модель нейронної мережі 3D-сприйняття з шипами для нейроморфної системи стереозору на основі подій.наука. Звіт 7, 1–11 (2017).
Dalgaty, T. та ін. Базове виявлення руху на основі комах включає резистивну пам’ять і нейронні мережі, що вибухають. Біонічна біогібридна система. 10928, 115–128 (2018).
D'Angelo, G. та ін. Виявлення ексцентричного руху на основі подій із використанням часового диференціального кодування. спереду. неврологія. 14, 451 (2020).
Час публікації: 17 листопада 2022 р