Новости

Реальные приложения обработки данных требуют компактных вычислительных систем с малой задержкой и низким энергопотреблением. Благодаря возможностям управляемых событиями вычислений дополнительные гибридные мемристивные нейроморфные архитектуры металл-оксид-полупроводник обеспечивают идеальную аппаратную основу для таких задач. Чтобы продемонстрировать весь потенциал таких систем, мы предлагаем и экспериментально демонстрируем комплексное решение по обработке данных датчиков для реальных приложений по локализации объектов. Черпая вдохновение из нейроанатомии сипухи, мы разработали биоинспирированную, управляемую событиями систему локализации объектов, которая сочетает в себе современный пьезоэлектрический микромеханический преобразователь и нейроморфную резистивную память на основе вычислительных графов. Мы показываем измерения готовой системы, которая включает в себя резистивный детектор совпадений на основе памяти, схему линии задержки и полностью настраиваемый ультразвуковой преобразователь. Мы используем эти экспериментальные результаты для калибровки моделирования на уровне системы. Эти симуляции затем используются для оценки углового разрешения и энергоэффективности модели локализации объекта. Результаты показывают, что наш подход может быть на несколько порядков более энергоэффективным, чем микроконтроллеры, выполняющие ту же задачу.
Мы вступаем в эпоху повсеместных вычислений, когда количество используемых устройств и систем растет в геометрической прогрессии, помогая нам в нашей повседневной жизни. Ожидается, что эти системы будут работать непрерывно, потребляя как можно меньше энергии, одновременно обучаясь интерпретировать данные, которые они собирают с нескольких датчиков, в режиме реального времени и выдавать двоичные выходные данные в результате задач классификации или распознавания. Одним из наиболее важных шагов, необходимых для достижения этой цели, является извлечение полезной и компактной информации из шумных и часто неполных сенсорных данных. Традиционные инженерные подходы обычно собирают сигналы датчиков с постоянной и высокой скоростью, генерируя большие объемы данных даже при отсутствии полезных входных данных. Кроме того, эти методы используют сложные методы цифровой обработки сигналов для предварительной обработки (часто зашумленных) входных данных. Вместо этого биология предлагает альтернативные решения для обработки зашумленных сенсорных данных с использованием энергоэффективных, асинхронных, управляемых событиями подходов (спайков)2,3. Нейроморфные вычисления черпают вдохновение из биологических систем для снижения вычислительных затрат с точки зрения требований к энергии и памяти по сравнению с традиционными методами обработки сигналов4,5,6. Недавно были продемонстрированы инновационные системы общего назначения на основе мозга, реализующие импульсные нейронные сети (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Эти процессоры обеспечивают решения с низким энергопотреблением и низкой задержкой для машинного обучения и моделирования корковых цепей. Чтобы в полной мере использовать свою энергоэффективность, эти нейроморфные процессоры должны быть напрямую подключены к сенсорам, управляемым событиями12,13. Однако сегодня существует лишь несколько сенсорных устройств, которые напрямую предоставляют данные, управляемые событиями. Яркими примерами являются динамические визуальные датчики (DVS) для приложений зрения, таких как отслеживание и обнаружение движения14,15,16,17, кремниевая улитка18 и нейроморфные слуховые датчики (NAS)19 для обработки слуховых сигналов, обонятельные датчики20 и многочисленные примеры21,22 осязания. . датчики текстуры.
В этой статье мы представляем недавно разработанную систему обработки слуховых сигналов, управляемую событиями, применяемую для локализации объектов. Здесь мы впервые описываем комплексную систему локализации объектов, полученную путем соединения современного пьезоэлектрического микромеханического ультразвукового преобразователя (pMUT) с вычислительным графом на основе нейроморфной резистивной памяти (RRAM). Архитектуры вычислений в памяти с использованием RRAM являются многообещающим решением для снижения энергопотребления23,24,25,26,27,28,29. Присущая им энергонезависимость — не требующая активного энергопотребления для хранения или обновления информации — идеально сочетается с асинхронной, управляемой событиями природой нейроморфных вычислений, что приводит к практически полному отсутствию энергопотребления, когда система простаивает. Пьезоэлектрические микромашинные ультразвуковые преобразователи (pMUT) — это недорогие миниатюрные ультразвуковые преобразователи на основе кремния, способные действовать как передатчики и приемники30,31,32,33,34. Для обработки сигналов, полученных встроенными датчиками, мы черпали вдохновение из нейроанатомии сипухи35,36,37. Сипуха Tyto alba известна своими замечательными способностями к ночной охоте благодаря очень эффективной системе слуховой локализации. Чтобы вычислить местоположение добычи, система локализации сипухи кодирует время полета (ToF), когда звуковые волны от добычи достигают каждого из ушей совы или звуковых рецепторов. Учитывая расстояние между ушами, разница между двумя измерениями ToF (межушная разница во времени, ITD) позволяет аналитически рассчитать азимутальное положение цели. Хотя биологические системы плохо подходят для решения алгебраических уравнений, они могут очень эффективно решать проблемы локализации. Нервная система сипухи использует набор нейронов детектора совпадений (CD)35 (т.е. нейронов, способных обнаруживать временные корреляции между спайками, которые распространяются вниз к конвергентным возбуждающим окончаниям)38,39, организованных в вычислительные графы для решения проблем позиционирования.
Предыдущие исследования показали, что комплементарные аппаратные средства металл-оксид-полупроводник (КМОП) и нейроморфные аппаратные средства на основе RRAM, вдохновленные нижними холмиками («слуховой корой») сипухи, являются эффективным методом расчета положения с использованием ITD13, 40, 41, 42, 43, 44, 45, 46. Однако потенциал полноценных нейроморфных систем, которые связывают слуховые сигналы с нейроморфными вычислительными графики еще предстоит продемонстрировать. Основная проблема заключается в присущей аналоговым КМОП-схемам изменчивости, которая влияет на точность обнаружения совпадений. Недавно были продемонстрированы альтернативные численные реализации оценок ITD47. В этой статье мы предлагаем использовать способность RRAM энергонезависимо изменять значение проводимости для противодействия изменчивости в аналоговых схемах. Нами была реализована экспериментальная система, состоящая из одной передающей мембраны pMUT, работающей на частоте 111,9 кГц, двух приемных мембран (сенсоров) pMUT, имитирующих уши сипухи, и одной . Мы экспериментально охарактеризовали систему обнаружения pMUT и вычислительный граф ITD на основе RRAM, чтобы протестировать нашу систему локализации и оценить ее угловое разрешение.
Мы сравниваем наш метод с цифровой реализацией на микроконтроллере, выполняющей ту же задачу локализации, используя традиционные методы формирования луча или нейроморфные методы, а также программируемую вентильную матрицу (FPGA) для оценки ITD, предложенную в ссылке. 47. Это сравнение подчеркивает конкурентоспособность предлагаемой аналоговой нейроморфной системы на основе RRAM.
Один из наиболее ярких примеров точной и эффективной системы локализации объектов можно найти у сипухи35,37,48. В сумерках и на рассвете сипуха (Tyto Alba) в основном полагается на пассивное слушание, активно выискивая мелкую добычу, например, полевок или мышей. Эти специалисты по слуху могут локализовать слуховые сигналы добычи с поразительной точностью (около 2°)35, как показано на рис. 1а. Совы-сипухи определяют расположение источников звука в азимутальной (горизонтальной) плоскости по разнице во времени полета (ITD) от источника звука до двух ушей. Вычислительный механизм ITD был предложен Джеффрессом49,50, который опирается на нейронную геометрию и требует двух ключевых компонентов: аксона, нервного волокна нейрона, действующего как линия задержки, и массива нейронов-детекторов совпадений, организованных в вычислительную систему. график, как показано на рисунке 1b. Звук достигает уха с задержкой, зависящей от азимута (ITD). Затем звук преобразуется в шипы в каждом ухе. Аксоны левого и правого уха действуют как линии задержки и сходятся на нейронах CD. Теоретически только один нейрон в массиве совпадающих нейронов будет получать входные данные одновременно (при этом задержка точно уравновешивается) и будет срабатывать максимально (соседние клетки также будут срабатывать, но с более низкой частотой). Активация определенных нейронов кодирует положение цели в пространстве без дальнейшего преобразования ITD в углы. Эта концепция обобщена на рисунке 1c: например, если звук исходит с правой стороны, когда входной сигнал от правого уха проходит более длинный путь, чем путь от левого уха, компенсируя количество ITD, например, когда нейрон 2 совпадает. Другими словами, каждый CD реагирует на определенную ITD (также известную как оптимальная задержка) из-за задержки аксонов. Таким образом, мозг преобразует временную информацию в пространственную. Были найдены анатомические доказательства этого механизма37,51. Нейроны макронуклеуса с фазовой синхронизацией хранят временную информацию о входящих звуках: как следует из названия, они срабатывают в определенных фазах сигнала. Нейроны-детекторы совпадений модели Джеффресса можно найти в ламинарном ядре. Они получают информацию от макронуклеарных нейронов, аксоны которых действуют как линии задержки. Величину задержки, обеспечиваемую линией задержки, можно объяснить длиной аксона, а также другим паттерном миелинизации, который изменяет скорость проводимости. Вдохновленные слуховой системой сипухи, мы разработали биомиметическую систему для локализации объектов. Два уха представлены двумя приёмниками pMUT. Источником звука является расположенный между ними передатчик pMUT (рис. 1а), а вычислительный граф формируется сеткой цепей CD на базе RRAM (рис. 1б, зеленый), играющих роль нейронов CD, входы которых задерживаются. В этой цепи линии задержки (синие) действуют как аксоны в биологическом аналоге. Предлагаемая сенсорная система отличается по рабочей частоте от совы, слуховая система которой работает в диапазоне 1–8 кГц, но в данной работе используются датчики pMUT, работающие на частоте около 117 кГц. Выбор ультразвукового преобразователя рассматривается по техническим и оптимизационным критериям. Во-первых, ограничение полосы пропускания приема одной частотой в идеале повышает точность измерений и упрощает этап постобработки. Кроме того, работа в ультразвуке имеет то преимущество, что излучаемые импульсы не слышны и поэтому не беспокоят людей, поскольку их слуховой диапазон составляет ~20-20 кГц.
сипуха воспринимает звуковые волны от цели, в данном случае движущейся добычи. Время полета (ToF) звуковой волны разное для каждого уха (если только добыча не находится прямо перед совой). Пунктирная линия показывает путь, по которому звуковые волны достигают ушей сипуги. Добычу можно точно локализовать в горизонтальной плоскости на основе разницы в длине между двумя акустическими путями и соответствующей межушной разницы во времени (ITD) (левое изображение вдохновлено ссылкой 74, авторские права 2002, Общество нейробиологии). В нашей системе передатчик pMUT (темно-синий) генерирует звуковые волны, которые отражаются от цели. Отраженные ультразвуковые волны принимаются двумя приемниками pMUT (светло-зеленый) и обрабатываются нейроморфным процессором (справа). b Вычислительная модель ITD (Джеффресс), описывающая, как звуки, попадающие в уши сипухи, сначала кодируются как спайки с фазовой синхронизацией в большом ядре (NM), а затем с использованием геометрически упорядоченной сетки согласованных нейронов-детекторов в ламеллярном ядре. Переработка (Нидерланды) (слева). Иллюстрация вычислительного графа NeuroITD, объединяющего линии задержки и нейроны детектора совпадений. Биосенсорную систему совы можно смоделировать с использованием нейроморфных схем на основе RRAM (справа). c Схема основного механизма Джеффресса: из-за разницы в ToF два уха получают звуковые стимулы в разное время и отправляют аксоны с обоих концов к детектору. Аксоны являются частью серии нейронов детектора совпадений (CD), каждый из которых избирательно реагирует на сильно коррелированные во времени входные сигналы. В результате максимально возбуждаются только компакт-диски, входы которых поступают с наименьшей разницей во времени (ITD точно компенсируется). Затем компакт-диск закодирует угловое положение цели.
Пьезоэлектрические микромеханические ультразвуковые преобразователи представляют собой масштабируемые ультразвуковые преобразователи, которые могут быть интегрированы с передовой КМОП-технологией31,32,33,52 и имеют более низкое начальное напряжение и энергопотребление, чем традиционные объемные преобразователи53. В нашей работе диаметр мембраны составляет 880 мкм, а резонансная частота распределена в диапазоне 110–117 кГц (рис. 2а, подробнее см. «Методы»). В партии из десяти тестовых устройств средняя добротность составила около 50 (ссылка 31). Технология достигла промышленной зрелости и сама по себе не является биоинспирированной. Объединение информации из разных пленок pMUT является хорошо известным методом, а информацию об угле можно получить из pMUT, используя, например, методы формирования луча31,54. Однако обработка сигнала, необходимая для извлечения информации об угле, не подходит для измерений малой мощности. Предлагаемая система сочетает в себе схему предварительной обработки нейроморфных данных pMUT с графом нейроморфных вычислений на основе RRAM, вдохновленным моделью Джеффресса (рис. 2c), обеспечивая альтернативное энергоэффективное и ограниченное в ресурсах аппаратное решение. Мы провели эксперимент, в котором два датчика pMUT были расположены на расстоянии примерно 10 см друг от друга, чтобы использовать различные звуки ToF, принимаемые двумя принимающими мембранами. Один pMUT, действующий как передатчик, находится между приемниками. Мишенью служила пластина ПВХ шириной 12 см, расположенная на расстоянии D перед устройством pMUT (рис. 2б). Приемник записывает звук, отраженный от объекта, и максимально реагирует во время прохождения звуковой волны. Повторите эксперимент, изменив положение объекта, определяемое расстоянием D и углом θ. Вдохновился ссылкой. 55 мы предлагаем нейроморфную предварительную обработку необработанных сигналов pMUT для преобразования отраженных волн в пики для ввода нейроморфного вычислительного графа. ToF, соответствующий пиковой амплитуде, извлекается из каждого из двух каналов и кодируется как точная синхронизация отдельных пиков. На рис. 2c показана схема, необходимая для сопряжения датчика pMUT с вычислительным графом на основе RRAM: для каждого из двух приемников pMUT необработанный сигнал подвергается полосовой фильтрации для сглаживания, исправления, а затем передается в интегратор с утечкой в ​​режиме преодоления. динамический порог (рис. 2d) создает выходное событие (спайк) и активирующий (LIF) нейрон: время выходного спайка кодирует обнаруженное время полета. Порог LIF калибруется по реакции pMUT, тем самым уменьшая вариабельность pMUT от устройства к устройству. При таком подходе вместо того, чтобы хранить всю звуковую волну в памяти и обрабатывать ее позже, мы просто генерируем пик, соответствующий ToF звуковой волны, который формирует входные данные для вычислительного графа резистивной памяти. Пики отправляются непосредственно в линии задержки и распараллеливаются с модулями обнаружения совпадений в графах нейроморфных вычислений. Поскольку они подаются на затворы транзисторов, дополнительная схема усиления не требуется (подробнее см. Дополнительный рисунок 4). Чтобы оценить угловую точность локализации, обеспечиваемую pMUT и предложенным методом обработки сигнала, мы измерили ITD (то есть разницу во времени между пиковыми событиями, генерируемыми двумя приемниками) при изменении расстояния и угла объекта. Затем анализ ITD был преобразован в углы (см. «Методы») и нанесен на график зависимости от положения объекта: неопределенность измеренного ITD увеличивалась с увеличением расстояния и угла до объекта (рис. 2e,f). Основной проблемой является соотношение пика к шуму (PNR) в ответе pMUT. Чем дальше объект, тем ниже акустический сигнал, тем самым снижается PNR (рис. 2е, зеленая линия). Уменьшение PNR приводит к увеличению неопределенности оценки ITD, что приводит к увеличению точности локализации (рис. 2f, синяя линия). Для объекта, находящегося на расстоянии 50 см от передатчика, угловая точность системы составляет примерно 10°. Это ограничение, налагаемое характеристиками датчика, можно улучшить. Например, давление, создаваемое эмиттером, можно увеличить, тем самым увеличивая напряжение, возбуждающее мембрану pMUT. Другим решением по усилению передаваемого сигнала является подключение нескольких передатчиков 56. Эти решения увеличат дальность обнаружения за счет увеличения затрат на электроэнергию. Дополнительные улучшения могут быть сделаны на принимающей стороне. Минимальный уровень шума приемника pMUT можно значительно снизить за счет улучшения соединения между pMUT и усилителем первой ступени, которое в настоящее время осуществляется с помощью проводных соединений и кабелей RJ45.
Изображение кристалла pMUT с шестью мембранами размером 880 мкм, встроенными с шагом 1,5 мм. б Схема измерительной установки. Цель расположена в положении по азимуту θ и на расстоянии D. Передатчик pMUT генерирует сигнал частотой 117,6 кГц, который отражается от цели и достигает двух приемников pMUT с разным временем пролета (ToF). Эта разница, определяемая как межушная разница во времени (ITD), кодирует положение объекта и может быть оценена путем оценки пикового отклика двух датчиков приемника. c Схема этапов предварительной обработки для преобразования необработанного сигнала pMUT в последовательности спайков (т. е. ввод в граф нейроморфных вычислений). Датчики pMUT и нейроморфные вычислительные графики были изготовлены и протестированы, а предварительная нейроморфная обработка основана на программном моделировании. г Реакция мембраны pMUT на получение сигнала и его трансформацию в спайковый домен. e Экспериментальная угловая точность локализации в зависимости от угла объекта (Θ) и расстояния (D) до целевого объекта. Метод экстракции ITD требует минимального углового разрешения примерно 4°C. f Угловая точность (синяя линия) и соответствующее отношение пика к шуму (зеленая линия) в зависимости от расстояния до объекта для Θ = 0.
Резистивная память хранит информацию в энергонезависимом проводящем состоянии. Основной принцип метода заключается в том, что модификация материала на атомном уровне вызывает изменение его электропроводности57. Здесь мы используем резистивную память на основе оксида, состоящую из 5-нанометрового слоя диоксида гафния, зажатого между верхним и нижним электродами из титана и нитрида титана. Проводимость устройств RRAM можно изменить, применяя сигнал тока/напряжения, который создает или разрывает проводящие нити кислородных вакансий между электродами. Мы объединили такие устройства58 в стандартную 130-нм КМОП-технологию для создания изготовленной реконфигурируемой нейроморфной схемы, реализующей детектор совпадений и схему линии задержки (рис. 3а). Энергонезависимый и аналоговый характер устройства в сочетании с управляемой событиями природой нейроморфной схемы сводит к минимуму энергопотребление. Схема имеет функцию мгновенного включения/выключения: она срабатывает сразу после включения, позволяя полностью отключить питание, когда схема простаивает. Основные составляющие предложенной схемы показаны на рис. 3б. Он состоит из N параллельных однорезисторных однотранзисторных структур (1T1R), которые кодируют синаптические веса, из которых берутся взвешенные токи, вводятся в общий синапс интегратора дифференциальных пар (DPI)59 и, наконец, вводятся в синапс с помощью интегрирования и утечка. активированный (LIF) нейрон 60 (подробнее см. в разделе «Методы»). Входные скачки подаются на затвор структуры 1T1R в виде последовательности импульсов напряжения длительностью порядка сотен наносекунд. Резистивную память можно перевести в состояние с высокой проводимостью (HCS), подав внешнюю положительную ссылку на Vtop, когда Vbottom заземлен, и сбросить в состояние с низкой проводимостью (LCS), подав положительное напряжение на Vbottom, когда Vtop заземлен. Среднее значение HCS можно контролировать, ограничивая ток программирования (податливость) SET (ICC) напряжением затвор-исток последовательного транзистора (рис. 3в). Функции RRAM в схеме двоякие: направляют и взвешивают входные импульсы.
Изображение сканирующего электронного микроскопа (СЭМ) синего устройства RRAM HfO2 1T1R, интегрированного по КМОП-технологии 130 нм с селекторными транзисторами (шириной 650 нм) зеленого цвета. б Основные строительные блоки предлагаемой нейроморфной схемы. Импульсы входного напряжения (пики) Vin0 и Vin1 потребляют ток Iвес, пропорциональный состояниям проводимости G0 и G1 структуры 1T1R. Этот ток подается в синапсы DPI и возбуждает нейроны LIF. RRAM G0 и G1 установлены в HCS и LCS соответственно. c Функция совокупной плотности проводимости для группы устройств 16K RRAM как функция согласования тока ICC, которая эффективно контролирует уровень проводимости. d Измерения схемы на (а) показывают, что G1 (в LCS) эффективно блокирует входной сигнал от Vin1 (зеленый), и действительно, мембранное напряжение выходного нейрона реагирует только на синий входной сигнал от Vin0. RRAM эффективно определяет соединения в схеме. e Измерение цепи (b), показывающее влияние значения проводимости G0 на напряжение мембраны Vmem после подачи импульса напряжения Vin0. Чем больше проводимость, тем сильнее отклик: таким образом, устройство RRAM реализует взвешивание соединений ввода-вывода. Измерения, проведенные на схеме, демонстрируют двойную функцию RRAM: маршрутизацию и взвешивание входных импульсов.
Во-первых, поскольку существует два основных состояния проводимости (HCS и LCS), RRAM могут блокировать или пропускать входные импульсы, когда они находятся в состояниях LCS или HCS соответственно. В результате RRAM эффективно определяет соединения в схеме. Это основа возможности переконфигурировать архитектуру. Чтобы продемонстрировать это, опишем изготовленную схемную реализацию блока, показанного на рис. 3б. RRAM, соответствующий G0, программируется в HCS, а второй RRAM G1 программируется в LCS. Входные импульсы подаются как на Vin0, так и на Vin1. Эффекты двух последовательностей входных импульсов анализировались в выходных нейронах путем сбора напряжения на мембране нейрона и выходного сигнала с помощью осциллографа. Эксперимент оказался успешным, когда к импульсу нейрона было подключено только устройство HCS (G0) для стимуляции напряжения мембраны. Это показано на рисунке 3d, где последовательность синих импульсов вызывает повышение напряжения мембраны на мембранном конденсаторе, в то время как последовательность зеленых импульсов поддерживает постоянное напряжение мембраны.
Вторая важная функция RRAM — реализация весов соединений. Используя регулировку аналоговой проводимости RRAM, соединения ввода-вывода могут быть соответствующим образом взвешены. Во втором эксперименте устройство G0 было запрограммировано на разные уровни HCS и входной импульс подавался на вход VIn0. Входной импульс потребляет ток (Iweight) от устройства, который пропорционален проводимости и соответствующему падению потенциала Vtop − Vbot. Затем этот взвешенный ток подается в синапсы DPI и выходные нейроны LIF. Мембранное напряжение выходных нейронов регистрировалось с помощью осциллографа и отображалось на рис. 3г. Пик напряжения мембраны нейрона в ответ на одиночный входной импульс пропорционален проводимости резистивной памяти, что демонстрирует, что RRAM можно использовать в качестве программируемого элемента синаптического веса. Эти два предварительных теста показывают, что предлагаемая нейроморфная платформа на основе RRAM способна реализовать основные элементы базового механизма Джеффресса, а именно линию задержки и схему детектора совпадений. Платформа схемы создается путем укладки рядом друг с другом последовательных блоков, таких как блоки на рисунке 3b, и соединения их вентилей с общей входной линией. Мы спроектировали, изготовили и протестировали нейроморфную платформу, состоящую из двух выходных нейронов, получающих два входных сигнала (рис. 4а). Принципиальная схема показана на рисунке 4б. Верхняя матрица RRAM 2×2 позволяет направлять входные импульсы на два выходных нейрона, а нижняя матрица 2×2 позволяет осуществлять рекуррентные соединения двух нейронов (N0, N1). Мы демонстрируем, что эту платформу можно использовать с конфигурацией линии задержки и двумя различными функциями детектора совпадений, как показано экспериментальными измерениями на рис. 4c-e.
Принципиальная схема образована двумя выходными нейронами N0 и N1, получающими два входных сигнала 0 и 1. Четыре верхних устройства массива определяют синаптические соединения от входа к выходу, а четыре нижние ячейки определяют рекуррентные связи между нейронами. Цветные RRAM представляют устройства, сконфигурированные в HCS справа: устройства в HCS разрешают соединения и представляют веса, а устройства в LCS блокируют входные импульсы и отключают соединения с выходами. б Схема схемы (а) с восемью модулями RRAM, выделенными синим цветом. c Линии задержки формируются путем простого использования динамики синапсов DPI и нейронов LIF. Для зеленого RRAM установлена ​​достаточно высокая проводимость, чтобы можно было вызвать сбой на выходе после входной задержки Δt. d Схематическая иллюстрация нечувствительного к направлению обнаружения CD сигналов, зависящих от времени. Выходной нейрон 1, N1, срабатывает на входах 0 и 1 с небольшой задержкой. e Схема CD, чувствительная к направлению, схема, которая определяет, когда вход 1 приближается к входу 0 и поступает после входа 0. Выход схемы представлен нейроном 1 (N1).
Линия задержки (рис. 4c) просто использует динамическое поведение синапсов DPI и нейронов LIF для воспроизведения входного импульса от Vin1 к Vout1 путем задержки Tdel. Только G3 RRAM, подключенная к Vin1 и Vout1, программируется в HCS, остальные RRAM программируются в LCS. Устройство G3 было запрограммировано на 92,6 мкс, чтобы гарантировать, что каждый входной импульс увеличивает мембранное напряжение выходного нейрона настолько, чтобы достичь порога и генерировать задержанный выходной импульс. Задержка Tdel определяется синаптической и нейронной константами времени. Детекторы совпадений обнаруживают появление коррелированных во времени, но пространственно распределенных входных сигналов. Нечувствительный к направлению CD основан на том, что отдельные входы сходятся к общему выходному нейрону (рис. 4d). Две RRAM, соединяющие Vin0 и Vin1 с Vout1, G2 и G4 соответственно, запрограммированы на высокую проводимость. Одновременное поступление спайков на Vin0 и Vin1 увеличивает напряжение мембраны нейрона N1 выше порога, необходимого для генерации выходного спайка. Если два входа находятся слишком далеко друг от друга во времени, заряд мембранного напряжения, накопленный первым входом, может успеть затухнуть, не давая мембранному потенциалу N1 достичь порогового значения. G1 и G2 запрограммированы примерно на 65 мкс, что гарантирует, что одиночный всплеск входного сигнала не увеличит напряжение мембраны настолько, чтобы вызвать всплеск выходного сигнала. Обнаружение совпадений между событиями, распределенными в пространстве и времени, является фундаментальной операцией, используемой в широком спектре задач зондирования, таких как предотвращение препятствий на основе оптического потока и локализация источника звука. Таким образом, вычисление чувствительных к направлению и нечувствительных компакт-дисков является фундаментальным строительным блоком для построения систем визуальной и звуковой локализации. Как показывают характеристики постоянных времени (см. дополнительный рисунок 2), предлагаемая схема реализует подходящий диапазон временных масштабов четырех порядков. Таким образом, он может одновременно отвечать требованиям визуальных и звуковых систем. Направленно-чувствительный КД — схема, чувствительная к пространственному порядку прихода импульсов: справа налево и наоборот. Это фундаментальный строительный блок базовой сети обнаружения движения зрительной системы дрозофилы, используемый для расчета направлений движения и обнаружения столкновений62. Для достижения направленно-чувствительного CD два входа должны быть направлены к двум разным нейронам (N0, N1) и между ними должна быть установлена ​​направленная связь (рис. 4д). Когда получен первый входной сигнал, NO реагирует увеличением напряжения на своей мембране выше порогового значения и посылает всплеск напряжения. Это выходное событие, в свою очередь, запускает N1 благодаря направленному соединению, выделенному зеленым. Если поступает входное событие Vin1 и подает питание на N1, в то время как напряжение на его мембране все еще высокое, N1 генерирует выходное событие, указывающее, что между двумя входами обнаружено совпадение. Направленные соединения позволяют N1 выдавать выходной сигнал только в том случае, если вход 1 идет после входа 0. G0, G3 и G7 запрограммированы на 73,5 мкс, 67,3 мкс и 40,2 мкс соответственно, гарантируя, что одиночный выброс на входе Vin0 вызовет задержку. выходной всплеск, в то время как мембранный потенциал N1 ​​достигает порога только тогда, когда оба входных импульса поступают синхронно. .
Изменчивость является источником несовершенства моделируемых нейроморфных систем63,64,65. Это приводит к неоднородному поведению нейронов и синапсов. Примеры таких недостатков включают 30%-ную (среднее стандартное отклонение) изменчивость входного усиления, постоянной времени и рефрактерного периода, и это лишь некоторые из них (см. «Методы»). Эта проблема становится еще более выраженной, когда несколько нейронных цепей соединены вместе, например, чувствительный к ориентации компакт-диск, состоящий из двух нейронов. Для правильной работы константы времени усиления и затухания двух нейронов должны быть как можно более похожими. Например, большая разница во входном усилении может привести к тому, что один нейрон будет слишком остро реагировать на входной импульс, в то время как другой нейрон будет едва реагировать. На рис. Рисунок 5а показывает, что случайно выбранные нейроны по-разному реагируют на один и тот же входной импульс. Эта нейронная изменчивость связана, например, с функцией чувствительных к направлению CD. В схеме, представленной на рис. 5б, в, входной прирост нейрона 1 значительно выше, чем у нейрона 0. Таким образом, нейрону 0 для достижения порога требуется три входных импульса (вместо 1), а нейрону 1, как и ожидалось, необходимо два входных события. Внедрение биомиметической пластичности, зависящей от времени пика (STDP), является возможным способом смягчить влияние неточных и вялых нейронных и синаптических цепей на производительность системы43. Здесь мы предлагаем использовать пластическое поведение резистивной памяти как средство воздействия на усиление нейронного ввода и уменьшения эффектов изменчивости в нейроморфных цепях. Как показано на рис. 4e, уровни проводимости, связанные с синаптической массой RRAM, эффективно модулируют соответствующую реакцию напряжения нервной мембраны. Мы используем итеративную стратегию программирования RRAM. Для данного входа значения проводимости синаптических весов перепрограммируются до тех пор, пока не будет получено целевое поведение схемы (см. Методы).
Экспериментальные измерения реакции девяти случайно выбранных отдельных нейронов на один и тот же входной импульс. Реакция варьируется в зависимости от популяции, влияя на входной коэффициент усиления и постоянную времени. б Экспериментальные измерения влияния нейронов на вариабельность нейронов, влияющих на направленно-чувствительный CD. Два чувствительных к направлению выходных нейрона CD по-разному реагируют на входные стимулы из-за межнейронной изменчивости. Нейрон 0 имеет меньший входной коэффициент усиления, чем нейрон 1, поэтому для создания выходного всплеска требуется три входных импульса (вместо 1). Как и ожидалось, нейрон 1 достигает порога с двумя входными событиями. Если вход 1 поступает через Δt = 50 мкс после срабатывания нейрона 0, CD остается молчащим, поскольку Δt больше, чем постоянная времени нейрона 1 (около 22 мкс). c уменьшается на Δt = 20 мкс, так что входной сигнал 1 достигает максимума, когда активность нейрона 1 все еще высока, что приводит к одновременному обнаружению двух входных событий.
В столбце расчета ITD используются два элемента: линия задержки и нечувствительный к направлению CD. Обе схемы требуют точной калибровки для обеспечения хороших характеристик позиционирования объекта. Линия задержки должна обеспечивать точно задержанную версию входного пика (рис. 6а), а CD должен активироваться только тогда, когда входной сигнал попадает в диапазон обнаружения цели. Для линии задержки синаптические веса входных связей (G3 на рис. 4а) перепрограммировались до достижения целевой задержки. Установите допуск вокруг целевой задержки, чтобы остановить программу: чем меньше допуск, тем сложнее успешно установить линию задержки. На рис. На рис. 6б показаны результаты процесса калибровки линии задержки: видно, что предложенная схема позволяет в точности обеспечить все задержки, необходимые в расчетной схеме (от 10 до 300 мкс). Максимальное количество итераций калибровки влияет на качество процесса калибровки: 200 итераций позволяют снизить ошибку до менее 5%. Одна итерация калибровки соответствует операции установки/сброса ячейки RRAM. Процесс настройки также имеет решающее значение для повышения точности мгновенного обнаружения событий закрытия модуля CD. Потребовалось десять итераций калибровки, чтобы достичь истинной положительной частоты (т. е. частоты событий, правильно определенных как релевантные) выше 95% (синяя линия на рисунке 6c). Однако процесс настройки не повлиял на ложноположительные события (то есть на частоту событий, которые были ошибочно определены как релевантные). Другой метод, наблюдаемый в биологических системах для преодоления временных ограничений быстро активирующихся путей, — это избыточность (то есть, для выполнения заданной функции используется множество копий одного и того же объекта). Вдохновленные биологией66, мы разместили несколько схем CD в каждом модуле CD между двумя линиями задержки, чтобы уменьшить влияние ложных срабатываний. Как показано на рис. 6c (зеленая линия), размещение трех элементов CD в каждом модуле CD может снизить частоту ложных срабатываний до менее чем 10–2.
Влияние изменчивости нейронов на цепи линии задержки. b Схемы линий задержки можно масштабировать до больших задержек, устанавливая константы времени соответствующих нейронов LIF и синапсов DPI на большие значения. Увеличение количества итераций процедуры калибровки RRAM позволило существенно повысить точность целевой задержки: 200 итераций снизили ошибку до менее 5%. Одна итерация соответствует операции SET/RESET в ячейке RRAM. Каждый модуль CD в модели c Jeffress может быть реализован с использованием N параллельных элементов CD для большей гибкости в отношении сбоев системы. d Увеличение количества итераций калибровки RRAM увеличивает частоту истинных положительных результатов (синяя линия), в то время как частота ложных положительных результатов не зависит от количества итераций (зеленая линия). Параллельное размещение большего количества элементов CD позволяет избежать ложного обнаружения совпадений модулей CD.
Теперь мы оцениваем производительность и энергопотребление комплексной интегрированной системы локализации объектов, показанной на рисунке 2, используя измерения акустических свойств датчика pMUT, CD и цепей линии задержки, которые составляют граф нейроморфных вычислений. Модель Джеффресса (рис. 1а). Что касается графа нейроморфных вычислений, то чем больше количество модулей CD, тем лучше угловое разрешение, но и выше энергия системы (рис. 7а). Компромисс может быть достигнут путем сравнения точности отдельных компонентов (датчиков pMUT, нейронов и синаптических цепей) с точностью всей системы. Разрешение линии задержки ограничено постоянными времени моделируемых синапсов и нейронов, которые в нашей схеме превышают 10 мкс, что соответствует угловому разрешению 4° (см. Методика). Более совершенные узлы с технологией КМОП позволят проектировать нейронные и синаптические схемы с меньшими постоянными времени, что приведет к более высокой точности элементов линии задержки. Однако в нашей системе точность ограничена ошибкой pMUT в оценке углового положения, т.е. 10° (синяя горизонтальная линия на рис. 7а). Мы зафиксировали количество модулей CD равным 40, что соответствует угловому разрешению около 4°, т.е. угловой точности расчетного графика (голубая горизонтальная линия на рис. 7а). На системном уровне это дает разрешение 4° и точность 10° для объектов, расположенных на расстоянии 50 см перед сенсорной системой. Это значение сопоставимо с нейроморфными системами локализации звука, описанными в ссылке. 67. Сравнение предлагаемой системы с современным уровнем техники можно найти в дополнительной таблице 1. Добавление дополнительных pMUT, увеличение уровня акустического сигнала и снижение электронного шума являются возможными способами дальнейшего повышения точности локализации. ) оценивается в 9,7. нз. 55. Учитывая 40 единиц CD на вычислительном графике, моделирование SPICE оценило энергию на одну операцию (т.е. энергию позиционирования объекта) в 21,6 нДж. Нейроморфная система активируется только при поступлении входного события, т.е. когда акустическая волна достигает любого приемника pMUT и превышает порог обнаружения, в противном случае она остается неактивной. Это позволяет избежать ненужного энергопотребления при отсутствии входного сигнала. Учитывая частоту операций локализации 100 Гц и период активации 300 мкс на операцию (максимально возможный ITD), потребляемая мощность графа нейроморфных вычислений составляет 61,7 нВт. При применении нейроморфной предварительной обработки к каждому приемнику pMUT потребляемая мощность всей системы достигает 81,6 нВт. Чтобы понять энергоэффективность предлагаемого нейроморфного подхода по сравнению с традиционным оборудованием, мы сравнили это число с энергией, необходимой для выполнения той же задачи на современном маломощном микроконтроллере с использованием либо нейроморфного, либо традиционного формирования луча68 Skill. Нейроморфный подход предполагает этап аналого-цифрового преобразователя (АЦП), за которым следуют полосовой фильтр и этап извлечения огибающей (метод Тигера-Кайзера). Наконец, выполняется пороговая операция для извлечения ToF. Мы опустили расчет ITD на основе ToF и преобразование в расчетное угловое положение, поскольку это происходит один раз для каждого измерения (см. «Методы»). Принимая частоту дискретизации 250 кГц на обоих каналах (приемники pMUT), 18 операций полосового фильтра, 3 операции извлечения огибающей и 1 пороговую операцию на выборку, общая потребляемая мощность оценивается в 245 микроватт. При этом используется режим пониженного энергопотребления микроконтроллера69, который включается, когда алгоритмы не выполняются, что снижает энергопотребление до 10,8 мкВт. Потребляемая мощность решения по обработке сигналов формирования луча, предложенного в ссылке. 31, с 5 приемниками pMUT и 11 лучами, равномерно распределенными в азимутальной плоскости [-50°, +50°], составляет 11,71 мВт (подробности см. в разделе «Методы»). Кроме того, мы сообщаем о потребляемой мощности кодера разницы времени (TDE) на базе FPGA47, который оценивается в 1,5 мВт в качестве замены модели Джеффресса для локализации объектов. На основе этих оценок предложенный нейроморфный подход снижает энергопотребление на пять порядков по сравнению с микроконтроллером, использующим классические методы формирования луча для операций локализации объектов. Применение нейроморфного подхода к обработке сигналов на классическом микроконтроллере снижает энергопотребление примерно на два порядка. Эффективность предлагаемой системы можно объяснить сочетанием асинхронной аналоговой схемы с резистивной памятью, способной выполнять вычисления в памяти, и отсутствием аналого-цифрового преобразования, необходимого для восприятия сигналов.
Угловое разрешение (синий) и энергопотребление (зеленый) операции локализации в зависимости от количества модулей CD. Темно-синяя горизонтальная полоса представляет угловую точность PMUT, а голубая горизонтальная полоса представляет угловую точность нейроморфного вычислительного графа. b Энергопотребление предлагаемой системы и сравнение с двумя обсуждаемыми реализациями микроконтроллера и цифровой реализацией кодировщика разницы во времени (TDE)47 FPGA.
Чтобы минимизировать энергопотребление системы локализации цели, мы задумали, спроектировали и реализовали эффективную, управляемую событиями нейроморфную схему на базе RRAM, которая обрабатывает сигнальную информацию, генерируемую встроенными датчиками, для расчета положения целевого объекта в реальном времени. время. . В то время как традиционные методы обработки непрерывно отбирают обнаруженные сигналы и выполняют вычисления для извлечения полезной информации, предлагаемое нейроморфное решение выполняет вычисления асинхронно по мере поступления полезной информации, максимизируя энергоэффективность системы на пять порядков. Кроме того, мы подчеркиваем гибкость нейроморфных схем на основе RRAM. Способность RRAM энергонезависимо изменять проводимость (пластичность) компенсирует присущую синаптическим и нейронным цепям сверхмаломощного аналогового DPI. Это делает эту схему на основе RRAM универсальной и мощной. Наша цель — не извлекать сложные функции или закономерности из сигналов, а локализовать объекты в реальном времени. Наша система также может эффективно сжимать сигнал и в конечном итоге отправлять его на дальнейшие этапы обработки для принятия более сложных решений, когда это необходимо. В контексте приложений локализации наш этап нейроморфной предварительной обработки может предоставить информацию о местоположении объектов. Эту информацию можно использовать, например, для обнаружения движения или распознавания жестов. Мы подчеркиваем важность сочетания датчиков сверхмалого энергопотребления, таких как pMUT, с электроникой сверхмалого энергопотребления. Ключевую роль в этом сыграли нейроморфные подходы, поскольку они привели нас к разработке новых схемных реализаций биологических вычислительных методов, таких как модель Джеффресса. В контексте приложений объединения датчиков нашу систему можно комбинировать с несколькими различными датчиками, основанными на событиях, для получения более точной информации. Хотя совы превосходно находят добычу в темноте, у них отличное зрение, и прежде чем поймать добычу, они выполняют комбинированный слуховой и визуальный поиск70. Когда срабатывает тот или иной слуховой нейрон, сова получает информацию, необходимую ей, чтобы определить, в каком направлении начать зрительный поиск, таким образом концентрируя свое внимание на небольшой части визуальной сцены. Для разработки будущих автономных агентов следует изучить комбинацию визуальных датчиков (камера DVS) и предлагаемого датчика прослушивания (на основе pMUT).
Датчик pMUT расположен на печатной плате с двумя приемниками на расстоянии примерно 10 см друг от друга, а передатчик расположен между приемниками. В данной работе каждая мембрана представляет собой взвешенную биморфную структуру, состоящую из двух слоев пьезоэлектрического нитрида алюминия (AlN) толщиной 800 нм, зажатых между тремя слоями молибдена (Mo) толщиной 200 нм и покрытых слоем толщиной 200 нм. верхний пассивирующий слой SiN, как описано в ссылке. 71. Внутренний и внешний электроды нанесены на нижний и верхний слои молибдена, а средний молибденовый электрод не имеет рисунка и используется в качестве заземления, в результате чего получается мембрана с четырьмя парами электродов.
Такая архитектура позволяет использовать общую деформацию мембраны, что приводит к улучшению чувствительности передачи и приема. Такой pMUT обычно демонстрирует чувствительность возбуждения 700 нм/В в качестве эмиттера, обеспечивая поверхностное давление 270 Па/В. В качестве приемника одна пленка pMUT обладает чувствительностью к короткому замыканию 15 нА/Па, что напрямую связано с пьезоэлектрическим коэффициентом AlN. Техническая изменчивость напряжения в слое AlN приводит к изменению резонансной частоты, которое можно компенсировать применением смещения постоянного тока к pMUT. Чувствительность к постоянному току измерялась при частоте 0,5 кГц/В. Для акустической характеристики перед pMUT используется микрофон.
Для измерения эхо-импульса мы поместили перед пМУТ прямоугольную пластину площадью около 50 см2 для отражения излучаемых звуковых волн. Как расстояние между пластинами, так и угол относительно плоскости pMUT контролируются с помощью специальных держателей. Источник напряжения Tectronix CPX400DP смещает три мембраны pMUT, настраивая резонансную частоту на 111,9 кГц31, в то время как передатчики приводятся в действие генератором импульсов Tectronix AFG 3102, настроенным на резонансную частоту (111,9 кГц) и рабочим циклом 0,01. Токи, считываемые с четырех выходных портов каждого приемника pMUT, преобразуются в напряжения с использованием специальной архитектуры дифференциального тока и напряжения, а полученные сигналы оцифровываются системой сбора данных Spektrum. Предел обнаружения характеризовался получением сигнала pMUT в разных условиях: мы перемещали отражатель на разные расстояния [30, 40, 50, 60, 80, 100] см и меняли угол опоры pMUT ([0, 20, 40] o ) На рисунке 2б показано временное разрешение обнаружения ITD в зависимости от соответствующего углового положения в градусах.
В этой статье используются две разные готовые схемы RRAM. Первый представляет собой массив из 16 384 (16 000) устройств (128×128 устройств) в конфигурации 1T1R с одним транзистором и одним резистором. Второй чип — нейроморфная платформа, показанная на рис. 4а. Ячейка RRAM состоит из пленки HfO2 толщиной 5 нм, встроенной в стопку TiN/HfO2/Ti/TiN. Стек RRAM интегрирован в основную часть (BEOL) стандартного 130-нм процесса CMOS. Нейроморфные схемы на основе RRAM представляют собой сложную задачу проектирования полностью аналоговых электронных систем, в которых устройства RRAM сосуществуют с традиционной технологией CMOS. В частности, состояние проводимости устройства RRAM должно быть считано и использовано в качестве функциональной переменной системы. С этой целью была спроектирована, изготовлена ​​и протестирована схема, которая считывает ток с устройства при получении входного импульса и использует этот ток для взвешивания ответа синапса интегратора дифференциальных пар (DPI). Эта схема показана на рисунке 3а, который представляет собой основные строительные блоки нейроморфной платформы на рисунке 4а. Входной импульс активирует затвор устройства 1T1R, индуцируя ток через RRAM, пропорциональный проводимости устройства G (Iweight = G(Vtop – Vx)). Инвертирующий вход схемы операционного усилителя (ОУ) имеет постоянное напряжение смещения постоянного тока Vtop. Отрицательная обратная связь операционного усилителя обеспечит Vx = Vtop, обеспечивая равный ток от M1. Текущий Iweight, полученный от устройства, вводится в синапс DPI. Более сильный ток приведет к большей деполяризации, поэтому проводимость RRAM эффективно реализует синаптические веса. Этот экспоненциальный синаптический ток подается через мембранный конденсатор нейронов утечки интеграции и возбуждения (LIF), где он интегрируется в виде напряжения. Если пороговое напряжение мембраны (напряжение переключения инвертора) преодолевается, выходная часть нейрона активируется, создавая выходной всплеск. Этот импульс возвращается и шунтирует мембранный конденсатор нейрона на землю, вызывая его разряд. Затем эта схема дополняется расширителем импульсов (не показан на рис. 3а), который формирует выходной импульс LIF-нейрона до целевой ширины импульса. В каждую линию также встроены мультиплексоры, позволяющие подавать напряжение на верхний и нижний электроды устройства RRAM.
Электрические испытания включают анализ и запись динамического поведения аналоговых цепей, а также программирование и чтение устройств RRAM. Оба этапа требуют специальных инструментов, которые одновременно подключаются к сенсорной плате. Доступ к устройствам RRAM в нейроморфных схемах осуществляется из внешних средств через мультиплексор (MUX). MUX отделяет ячейку 1T1R от остальной схемы, которой она принадлежит, позволяя считывать и/или программировать устройство. Для программирования и чтения устройств RRAM используется машина Keithley 4200 SCS совместно с микроконтроллером Arduino: первый для точной генерации импульсов и считывания тока, а второй для быстрого доступа к отдельным элементам 1T1R в массиве памяти. Первой операцией является формирование устройства RRAM. Ячейки выбираются одна за другой, и между верхним и нижним электродами подается положительное напряжение. В этом случае ток ограничивается порядком десятков микроампер за счет подачи соответствующего напряжения затвора на селекторный транзистор. Затем ячейка RRAM может переключаться между состоянием низкой проводимости (LCS) и состоянием высокой проводимости (HCS), используя операции RESET и SET соответственно. Операцию СЭТ осуществляют путем подачи на верхний электрод прямоугольного импульса напряжения длительностью 1 мкс и пиковым напряжением 2,0-2,5 В, а на верхний электрод - синхроимпульса аналогичной формы с пиковым напряжением 0,9-1,3 В. затвор селекторного транзистора. Эти значения позволяют модулировать проводимость RRAM с интервалом 20–150 мкс. Для RESET импульс шириной 1 мкс и пиковым напряжением 3 В подается на нижний электрод (битовую линию) ячейки, когда напряжение затвора находится в диапазоне 2,5–3,0 В. Входы и выходы аналоговых схем представляют собой динамические сигналы. . Для ввода мы чередовали два генератора импульсов HP 8110 с генераторами сигналов Tektronix AFG3011. Входной импульс имеет ширину 1 мкс и фронт нарастания/спада 50 нс. Предполагается, что этот тип импульса является типичным сбоем в аналоговых схемах, основанных на сбоях. Что касается выходного сигнала, то выходной сигнал записывался с помощью осциллографа Teledyne LeCroy 1 ГГц. Доказано, что скорость сбора данных осциллографа не является ограничивающим фактором при анализе и сборе данных схемы.
Использование динамики аналоговой электроники для моделирования поведения нейронов и синапсов — элегантное и эффективное решение для повышения эффективности вычислений. Недостатком этой вычислительной основы является то, что она будет варьироваться от схемы к схеме. Мы количественно оценили изменчивость нейронов и синаптических цепей (дополнительные рисунки 2a,b). Из всех проявлений изменчивости наибольшее влияние на системном уровне оказывают те, которые связаны с постоянными времени и усилением входных данных. Постоянная времени нейрона LIF и синапса DPI определяется RC-цепью, где значение R контролируется напряжением смещения, приложенным к затвору транзистора (Vlk для нейрона и Vtau для синапса), определяющим скорость утечки. Входное усиление определяется как пиковое напряжение, достигаемое синаптическими и нейрональными мембранными конденсаторами, стимулируемыми входным импульсом. Входное усиление контролируется другим транзистором смещения, который модулирует входной ток. Для сбора некоторых статистических данных по входному коэффициенту усиления и постоянной времени было выполнено моделирование методом Монте-Карло, откалиброванное по 130-нм техпроцессу ST Microelectronics. Результаты представлены на дополнительном рисунке 2, где входной коэффициент усиления и постоянная времени количественно определены как функция напряжения смещения, контролирующего скорость утечки. Зеленые маркеры количественно определяют стандартное отклонение постоянной времени от среднего значения. И нейроны, и синаптические цепи были способны выражать широкий диапазон постоянных времени в диапазоне 10-5-10-2 с, как показано на дополнительной схеме рис. Входное усиление (дополнительный рисунок 2e,d) изменчивости нейронов и синапсов составило примерно 8% и 3% соответственно. Подобный недостаток хорошо описан в литературе: на массиве чипов DYNAP проводились различные измерения для оценки несоответствия между популяциями нейронов LIF63. Синапсы в чипе смешанных сигналов BrainScale были измерены и проанализированы их несоответствия, а также была предложена процедура калибровки для уменьшения эффекта изменчивости на системном уровне64.
Функция RRAM в нейроморфных схемах двоякая: определение архитектуры (маршрутизация входов к выходам) и реализация синаптических весов. Последнее свойство можно использовать для решения проблемы вариабельности моделируемых нейроморфных цепей. Мы разработали простую процедуру калибровки, которая включает перепрограммирование устройства RRAM до тех пор, пока анализируемая схема не будет соответствовать определенным требованиям. Для данного входа контролируется выход, и RRAM перепрограммируется до тех пор, пока не будет достигнуто целевое поведение. Между операциями программирования было введено время ожидания 5 с, чтобы решить проблему релаксации RRAM, приводящую к временным флуктуациям проводимости (дополнительная информация). Синаптические веса корректируются или калибруются в соответствии с требованиями моделируемой нейроморфной схемы. Процедура калибровки обобщена в дополнительных алгоритмах [1, 2], которые фокусируются на двух фундаментальных особенностях нейроморфных платформ: линиях задержки и нечувствительном к направлению CD. Для схемы с линией задержки целевое поведение состоит в том, чтобы обеспечить выходной импульс с задержкой Δt. Если фактическая задержка цепи меньше целевого значения, синаптический вес G3 следует уменьшить (G3 следует сбросить, а затем установить на более низкий ток согласования Icc). И наоборот, если фактическая задержка превышает целевое значение, проводимость G3 необходимо увеличить (сначала G3 необходимо сбросить, а затем установить на более высокое значение Icc). Этот процесс повторяется до тех пор, пока задержка, генерируемая схемой, не будет соответствовать целевому значению и не будет установлен допуск, позволяющий остановить процесс калибровки. Для компакт-дисков, нечувствительных к ориентации, в процессе калибровки участвуют два устройства RRAM, G1 и G3. Эта схема имеет два входа, Vin0 и Vin1, с задержкой на dt. Схема должна реагировать только на задержки ниже диапазона согласования [0,dtCD]. Если пика на выходе нет, но пик на входе близок, оба устройства RRAM должны быть усилены, чтобы помочь нейрону достичь порога. И наоборот, если схема реагирует на задержку, превышающую целевой диапазон dtCD, проводимость необходимо уменьшить. Повторяйте процесс до тех пор, пока не будет получено правильное поведение. Ток соответствия можно модулировать с помощью встроенной аналоговой схемы, см. арт. 72,73. С помощью этой встроенной схемы такие процедуры можно периодически выполнять для калибровки системы или повторного использования ее для другого применения.
Мы оцениваем энергопотребление нашего подхода к нейроморфной обработке сигналов на стандартном 32-битном микроконтроллере68. В этой оценке мы предполагаем работу с той же настройкой, что и в этой статье, с одним передатчиком pMUT и двумя приемниками pMUT. В этом методе используется полосовой фильтр, за которым следует этап извлечения огибающей (Тигер-Кайзер), и, наконец, к сигналу применяется операция определения порога для извлечения времени пролета. Расчет ITD и его преобразование в углы обнаружения в оценке опущены. Мы рассматриваем реализацию полосового фильтра с использованием фильтра с бесконечной импульсной характеристикой 4-го порядка, требующего 18 операций с плавающей запятой. Для извлечения конверта используются еще три операции с плавающей запятой, и последняя операция используется для установки порога. Для предварительной обработки сигнала требуется всего 22 операции с плавающей запятой. Передаваемый сигнал представляет собой короткий пакет синусоидальной формы частотой 111,9 кГц, генерируемый каждые 10 мс, в результате чего рабочая частота позиционирования составляет 100 Гц. Мы использовали частоту дискретизации 250 кГц для соответствия требованиям Найквиста и окно длительностью 6 мс для каждого измерения для захвата диапазона 1 метр. Обратите внимание, что 6 миллисекунд — это время полета объекта, находящегося на расстоянии 1 метра. Это обеспечивает потребляемую мощность 180 мкВт для аналого-цифрового преобразования со скоростью 0,5 MSPS. Предварительная обработка сигнала составляет 6,60 MIPS (операций в секунду), генерируя 0,75 мВт. Однако микроконтроллер может переключиться в режим 69 пониженного энергопотребления, когда алгоритм не работает. Этот режим обеспечивает статическое энергопотребление 10,8 мкВт и время пробуждения 113 мкс. При тактовой частоте 84 МГц микроконтроллер выполняет все операции нейроморфного алгоритма за 10 мс, при этом алгоритм рассчитывает коэффициент заполнения 6,3%, используя таким образом режим пониженного энергопотребления. Итоговая рассеиваемая мощность составляет 244,7 мкВт. Обратите внимание, что мы опускаем выходной сигнал ITD из ToF и преобразование в угол обнаружения, тем самым недооценивая энергопотребление микроконтроллера. Это обеспечивает дополнительную ценность для энергоэффективности предлагаемой системы. В качестве дополнительного условия сравнения мы оцениваем энергопотребление классических методов формирования диаграммы направленности, предложенных в ссылке. 31,54 при встраивании в тот же микроконтроллер68 при напряжении питания 1,8В. Пять равномерно расположенных мембран pMUT используются для сбора данных для формирования луча. Что касается самой обработки, используемый метод формирования луча представляет собой суммирование задержек. Он просто заключается в применении к полосам задержки, которая соответствует ожидаемой разнице во времени прибытия между одной полосой и эталонной полосой. Если сигналы находятся в фазе, сумма этих сигналов после временного сдвига будет иметь высокую энергию. Если они не совпадают по фазе, деструктивная интерференция будет ограничивать энергию их суммы. в отношениях. На рис. 31, частота дискретизации 2 МГц выбирается для сдвига данных по времени на целое число выборок. Более скромный подход состоит в том, чтобы поддерживать более грубую частоту дискретизации 250 кГц и использовать фильтр с конечной импульсной характеристикой (FIR) для синтеза дробных задержек. Будем считать, что сложность алгоритма формирования луча в основном определяется временным сдвигом, поскольку каждый канал свернут с помощью КИХ-фильтра с 16 отводами в каждом направлении. Чтобы рассчитать количество MIPS, необходимое для этой операции, мы учитываем окно в 6 мс на одно измерение для захвата диапазона 1 метр, 5 каналов, 11 направлений формирования луча (диапазон +/- 50° с шагом 10°). 75 измерений в секунду позволили микроконтроллеру достичь максимальной скорости 100 MIPS. Связь. 68, что приводит к рассеиваемой мощности 11,26 мВт при общей рассеиваемой мощности 11,71 мВт после добавления вклада встроенного АЦП.
Данные, подтверждающие результаты этого исследования, можно получить у соответствующего автора, FM, по обоснованному запросу.
Индивери Г. и Сандамирская Ю. Важность пространства и времени для обработки сигналов нейроморфными агентами: проблема разработки маломощных автономных агентов, взаимодействующих с окружающей средой. Индивери Г. и Сандамирская Ю. Важность пространства и времени для обработки сигналов нейроморфными агентами: проблема разработки маломощных автономных агентов, взаимодействующих с окружающей средой.Индивери Г. и Сандамирская Ю. Важность пространства и времени для обработки сигналов нейроморфными агентами: проблема разработки маломощных автономных агентов, взаимодействующих с окружающей средой. Индивери Г. и Сандамирская Ю.空间和时间对于神经形态代理中信号处理的重要性: 开发与环境交互的低功耗、自主代理的挑战。 Индивери Г. и Сандамирская Ю.Индивери Г. и Сандамирская Ю. Важность пространства и времени для обработки сигналов нейроморфными агентами: проблема разработки маломощных автономных агентов, взаимодействующих с окружающей средой.Обработка сигналов IEEE. Журнал 36, 16–28 (2019).
Торп, С. Дж. Время прибытия пика: эффективная схема кодирования нейронной сети. у Экмиллера Р., Хартманна Г. и Хауске Г. (ред.). у Экмиллера Р., Хартманна Г. и Хауске Г. (ред.).у Экмиллера Р., Хартманна Г. и Хауске Г. (ред.).В книге Экмиллер Р., Хартманн Г. и Хауске Г. (ред.). Параллельная обработка в нейронных системах и компьютерах 91–94 (North-Holland Elsevier, 1990).
Леви, В.Б. и Калверт, В.Г. Коммуникация потребляет в 35 раз больше энергии, чем вычисления в коре головного мозга человека, но для прогнозирования числа синапсов необходимы обе затраты. Леви, В.Б. и Калверт, В.Г. Коммуникация потребляет в 35 раз больше энергии, чем вычисления в коре головного мозга человека, но для прогнозирования числа синапсов необходимы обе затраты.Леви, У.Б. и Калверт, У.Г. Коммуникация потребляет в 35 раз больше энергии, чем вычисления в коре головного мозга человека, но обе затраты необходимы для прогнозирования количества синапсов. Леви, В.Б. и Калверт, В.Г. Коммуникация. Леви, ВБ и Калверт, VG CommunicationЛеви, У.Б. и Калверт, У.Г. Коммуникация потребляет в 35 раз больше энергии, чем вычисления в коре головного мозга человека, но обе эти затраты требуют прогнозирования количества синапсов.процесс. Национальная академия наук. наука. США 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Далгати Т., Вианелло Э., Де Сальво Б. и Касас Дж. Нейроморфные вычисления, вдохновленные насекомыми. Далгати Т., Вианелло Э., Де Сальво Б. и Касас Дж. Нейроморфные вычисления, вдохновленные насекомыми.Далгати Т., Вианелло Э., ДеСальво Б. и Касас Дж. Нейроморфные вычисления, вдохновленные насекомыми.Далгати Т., Вианелло Э., ДеСальво Б. и Касас Дж. Нейроморфные вычисления, вдохновленные насекомыми. Текущий. Мнение. Наука о насекомых. 30, 59–66 (2018).
Рой К., Джайсвал А. и Панда П. На пути к машинному интеллекту на основе шипов с нейроморфными вычислениями. Рой К., Джайсвал А. и Панда П. На пути к машинному интеллекту на основе шипов с нейроморфными вычислениями. Рой К., Джайсвал А. и Панда П. К машинному интеллекту на основе шипов с нейроморфными вычислениями.Рой К., Джайсвал А. и Панда П. Импульсный искусственный интеллект с использованием нейроморфных вычислений. Природа 575, 607–617 (2019).
Индивери, Г. и Лю, С.-К. Индивери, Г. и Лю, С.-К.Индивери Г. и Лю С.-К. Индивери, Г. и Лю, С.-К. Индивери, Г. и Лю, С.-К.Индивери Г. и Лю С.-К.Память и обработка информации в нейроморфных системах. процесс. IEEE 103, 1379–1397 (2015).
Акопян Ф. и др. Truenorth: Разработка и набор инструментов для программируемого синаптического чипа мощностью 65 мВт с 1 миллионом нейронов. IEEE-транзакции. Компьютерное проектирование интегральных систем. 34, 1537–1557 (2015).
Шеммель Дж. и др. Живая демонстрация: уменьшенная версия нейроморфной системы BrainScaleS в масштабе пластины. Международный симпозиум IEEE по схемам и системам (ISCAS), 2012 г., (изд. IEEE) 702–702 (2012).
Моради С., Цяо Н., Стефанини Ф. и Индивери Г. Масштабируемая многоядерная архитектура с гетерогенными структурами памяти для динамических нейроморфных асинхронных процессоров (DYNAP). Моради С., Цяо Н., Стефанини Ф. и Индивери Г. Масштабируемая многоядерная архитектура с гетерогенными структурами памяти для динамических нейроморфных асинхронных процессоров (DYNAP).Моради С., Цяо Н., Стефанини Ф. и Индивири Г. Масштабируемая многоядерная архитектура с гетерогенными структурами памяти для динамических нейроморфных асинхронных процессоров (DYNAP). Моради, С., Цяо, Н., Стефанини, Ф. и Индивери, Дж.的异构内存结构. Моради С., Цяо Н., Стефанини Ф. и Индивери Г. Своего рода расширяемая многоядерная архитектура с уникальной структурой памяти для динамической нейронной обработки (DYNAP).Моради С., Цяо Н., Стефанини Ф. и Индивири Г. Масштабируемая многоядерная архитектура с гетерогенными структурами памяти для динамических нейроморфных асинхронных процессоров (DYNAP).Транзакции IEEE по биомедицинской науке. электрическая система. 12, 106–122 (2018).
Дэвис, М. и др. Loihi: нейроморфный многоядерный процессор со встроенным обучением. IEEE Micro 38, 82–99 (2018).
Фербер С.Б., Галлуппи Ф., Темпл С. и Плана Л.А. Проект SpiNNaker. Фербер С.Б., Галлуппи Ф., Темпл С. и Плана Л.А. Проект SpiNNaker.Фербер С.Б., Галлуппи Ф., Темпл С. и Плана Л.А. Проект SpiNNaker.Фербер С.Б., Галлуппи Ф., Темпл С. и Плана Л.А. Проект SpiNNaker. процесс. IEEE 102, 652–665 (2014).
Лю, С.-К. и Дельбрюк Т. Нейроморфные сенсорные системы. и Дельбрюк Т. Нейроморфные сенсорные системы.и Дельбрюк Т. Нейроморфные сенсорные системы. и Дельбрюк, Т. 神经形态感觉系统. и Дельбрюк, Т.и Дельбрюк Т. Нейроморфная сенсорная система.Текущий. Мнение. Нейробиология. 20, 288–295 (2010).
Чоуп, Т. и др. Нейроморфная сенсорная интеграция для комбинированной локализации источника звука и предотвращения столкновений. В 2019 году на конференции IEEE по биомедицинским схемам и системам (BioCAS), (IEEE Ed.) 1–4 (2019).
Ризи Н., Аймар А., Донати Э., Солинас С. и Индивери Г. Нейроморфная архитектура стереозрения на основе шипов. Ризи Н., Аймар А., Донати Э., Солинас С. и Индивери Г. Нейроморфная архитектура стереозрения на основе шипов.Риси Н., Аймар А., Донати Е., Солинас С. и Индивери Г. Архитектура нейроморфного стереовидения на основе шипов. Ризи Н., Аймар А., Донати Э., Солинас С. и Индивери Г. Ризи Н., Аймар А., Донати Э., Солинас С. и Индивери Г.Риси Н., Аймар А., Донати Е., Солинас С. и Индивери Г. Нейроморфная архитектура на основе шипов для стереозрения.передний. Нейробототехника 14, 93 (2020).
Оссвальд М., Иенг С.-Х., Беносман Р. и Индивери Г. Модель импульсной нейронной сети трехмерного восприятия для основанных на событиях нейроморфных систем стереозрения. Оссвальд М., Иенг С.-Х., Беносман Р. и Индивери Г. Модель импульсной нейронной сети трехмерного восприятия для основанных на событиях нейроморфных систем стереозрения.Освальд М., Иенг С.-Х., Беносман Р. и Индивери Г. Трехмерная модель восприятия импульсной нейронной сети для нейроморфных систем стереозрения, основанных на событиях. Оссвальд М., Йенг С.-Х., Беносман Р. и Индивери Г. Методы 3D-восприятия. Оссвальд М., Йенг С.-Х., Беносман Р. и Индивери Г. 3D-восприятие 脉冲神经网络模型.Освальд М., Иенг С.-Х., Беносман Р. и Индивери Г. Модель нейронной сети трехмерного восприятия с шипами для системы нейроморфного стереозрения, основанной на событиях.наука. Отчет 7, 1–11 (2017).
Далгати Т. и др. Базовое обнаружение движения, вдохновленное насекомыми, включает в себя резистивную память и импульсные нейронные сети. Бионическая биогибридная система. 10928, 115–128 (2018).
Д'Анджело, Г. и др. Обнаружение эксцентрического движения на основе событий с использованием временного дифференциального кодирования. фронт. Неврология. 14, 451 (2020).