Noticias

Las aplicaciones de procesamiento de datos del mundo real requieren sistemas informáticos compactos, de baja latencia y bajo consumo de energía. Con capacidades informáticas basadas en eventos, las arquitecturas neuromórficas memristivas híbridas complementarias de semiconductores de óxido metálico proporcionan una base de hardware ideal para tales tareas. Para demostrar todo el potencial de dichos sistemas, proponemos y demostramos experimentalmente una solución integral de procesamiento de sensores para aplicaciones de localización de objetos del mundo real. Inspirándonos en la neuroanatomía de la lechuza común, hemos desarrollado un sistema de localización de objetos bioinspirado y basado en eventos que combina un transductor micromecánico piezoeléctrico de última generación con una memoria resistiva neuromórfica computacional basada en gráficos. Mostramos mediciones de un sistema fabricado que incluye un detector de coincidencia resistivo basado en memoria, circuitos de línea de retardo y un transductor ultrasónico totalmente personalizable. Utilizamos estos resultados experimentales para calibrar simulaciones a nivel de sistema. Luego, estas simulaciones se utilizan para evaluar la resolución angular y la eficiencia energética del modelo de localización de objetos. Los resultados muestran que nuestro enfoque puede ser varios órdenes de magnitud más eficiente energéticamente que los microcontroladores que realizan la misma tarea.
Estamos entrando en una era de informática ubicua donde la cantidad de dispositivos y sistemas implementados está creciendo exponencialmente para ayudarnos en nuestra vida diaria. Se espera que estos sistemas funcionen continuamente, consumiendo la menor cantidad de energía posible mientras aprenden a interpretar los datos que recopilan de múltiples sensores en tiempo real y producen resultados binarios como resultado de tareas de clasificación o reconocimiento. Uno de los pasos más importantes necesarios para lograr este objetivo es extraer información útil y compacta de datos sensoriales ruidosos y a menudo incompletos. Los enfoques de ingeniería convencionales suelen muestrear señales de sensores a una velocidad alta y constante, generando grandes cantidades de datos incluso en ausencia de entradas útiles. Además, estos métodos utilizan técnicas complejas de procesamiento de señales digitales para preprocesar los datos de entrada (a menudo ruidosos). En cambio, la biología ofrece soluciones alternativas para procesar datos sensoriales ruidosos utilizando enfoques (picos) impulsados ​​por eventos, asincrónicos y energéticamente eficientes2,3. La computación neuromórfica se inspira en los sistemas biológicos para reducir los costos computacionales en términos de requisitos de energía y memoria en comparación con los métodos tradicionales de procesamiento de señales4,5,6. Recientemente, se han demostrado sistemas innovadores basados ​​en el cerebro de propósito general que implementan redes neuronales de impulso (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Estos procesadores proporcionan soluciones de bajo consumo y baja latencia para el aprendizaje automático y el modelado de circuitos corticales. Para aprovechar al máximo su eficiencia energética, estos procesadores neuromórficos deben conectarse directamente a sensores controlados por eventos12,13. Sin embargo, hoy en día sólo existen unos pocos dispositivos táctiles que proporcionan directamente datos basados ​​en eventos. Ejemplos destacados son los sensores visuales dinámicos (DVS) para aplicaciones de visión como el seguimiento y la detección de movimiento14,15,16,17, la cóclea de silicio18 y los sensores auditivos neuromórficos (NAS)19 para el procesamiento de señales auditivas, sensores olfativos20 y numerosos ejemplos21,22 del tacto. . Sensores de textura.
En este artículo, presentamos un sistema de procesamiento auditivo basado en eventos desarrollado recientemente y aplicado a la localización de objetos. Aquí, por primera vez, describimos un sistema de extremo a extremo para la localización de objetos obtenido al conectar un transductor ultrasónico micromecanizado piezoeléctrico (pMUT) de última generación con un gráfico computacional basado en memoria resistiva neuromórfica (RRAM). Las arquitecturas informáticas en memoria que utilizan RRAM son una solución prometedora para reducir el consumo de energía23,24,25,26,27,28,29. Su no volatilidad inherente (no requiere consumo de energía activa para almacenar o actualizar información) encaja perfectamente con la naturaleza asincrónica impulsada por eventos de la computación neuromórfica, lo que resulta en un consumo de energía casi nulo cuando el sistema está inactivo. Los transductores ultrasónicos micromecanizados piezoeléctricos (pMUT) son transductores ultrasónicos miniaturizados y económicos basados ​​en silicio capaces de actuar como transmisores y receptores30,31,32,33,34. Para procesar las señales recibidas por los sensores integrados, nos inspiramos en la neuroanatomía de la lechuza35,36,37. La lechuza común Tyto alba es conocida por sus notables habilidades de caza nocturna gracias a un sistema de localización auditiva muy eficiente. Para calcular la ubicación de la presa, el sistema de localización de la lechuza codifica el tiempo de vuelo (ToF) cuando las ondas sonoras de la presa llegan a cada uno de los oídos o receptores de sonido de la lechuza. Dada la distancia entre los oídos, la diferencia entre las dos mediciones ToF (Interaural Time Difference, ITD) permite calcular analíticamente la posición azimutal del objetivo. Aunque los sistemas biológicos no son adecuados para resolver ecuaciones algebraicas, pueden resolver problemas de localización de manera muy eficaz. El sistema nervioso de la lechuza utiliza un conjunto de neuronas detectoras de coincidencias (CD)35 (es decir, neuronas capaces de detectar correlaciones temporales entre picos que se propagan hacia abajo hasta terminaciones excitadoras convergentes)38,39 organizadas en gráficos computacionales para resolver problemas de posicionamiento.
Investigaciones anteriores han demostrado que el hardware semiconductor de óxido metálico (CMOS) complementario y el hardware neuromórfico basado en RRAM inspirado en el colículo inferior (“corteza auditiva”) de la lechuza es un método eficiente para calcular la posición utilizando ITD13, 40, 41, 42, 43, 44, 45, 46. Sin embargo, aún no se ha demostrado el potencial de los sistemas neuromórficos completos que vinculan las señales auditivas con los gráficos computacionales neuromórficos. El principal problema es la variabilidad inherente de los circuitos CMOS analógicos, que afecta la precisión de la detección de coincidencias. Recientemente, se han demostrado implementaciones numéricas alternativas de las estimaciones del ITD47. En este artículo, proponemos utilizar la capacidad de RRAM para cambiar el valor de conductancia de manera no volátil para contrarrestar la variabilidad en circuitos analógicos. Implementamos un sistema experimental que consta de una membrana transmisora ​​de pMUT que funciona a una frecuencia de 111,9 kHz, dos membranas receptoras de pMUT (sensores) que simulan orejas de lechuza y una. Caracterizamos experimentalmente el sistema de detección pMUT y el gráfico computacional ITD basado en RRAM para probar nuestro sistema de localización y evaluar su resolución angular.
Comparamos nuestro método con una implementación digital en un microcontrolador que realiza la misma tarea de localización utilizando métodos neuromórficos o de formación de haces convencionales, así como con una matriz de puertas programables de campo (FPGA) para la estimación de ITD propuesta en la referencia. 47. Esta comparación destaca la eficiencia energética competitiva del sistema neuromórfico analógico basado en RRAM propuesto.
Uno de los ejemplos más sorprendentes de un sistema de localización de objetos preciso y eficiente se puede encontrar en la lechuza35,37,48. Al anochecer y al amanecer, la lechuza común (Tyto Alba) se basa principalmente en la escucha pasiva, buscando activamente presas pequeñas como ratones de campo o ratones. Estos expertos auditivos pueden localizar señales auditivas de sus presas con una precisión asombrosa (aproximadamente 2°)35, como se muestra en la Fig. 1a. Las lechuzas infieren la ubicación de las fuentes de sonido en el plano azimutal (horizontal) a partir de la diferencia en el tiempo de vuelo entrante (ITD) desde la fuente de sonido hasta los dos oídos. Jeffress49,50 propuso el mecanismo computacional ITD que se basa en la geometría neuronal y requiere dos componentes clave: un axón, una fibra nerviosa de una neurona que actúa como una línea de retardo y una serie de neuronas detectoras de coincidencias organizadas en un sistema computacional. gráfico como se muestra en la Figura 1b. El sonido llega al oído con un retardo de tiempo dependiente del acimut (ITD). Luego, el sonido se convierte en un patrón de picos en cada oído. Los axones de los oídos izquierdo y derecho actúan como líneas de retardo y convergen en las neuronas CD. En teoría, sólo una neurona en un conjunto de neuronas coincidentes recibirá información a la vez (donde el retraso se cancela exactamente) y se disparará al máximo (las células vecinas también se activarán, pero a una frecuencia más baja). La activación de ciertas neuronas codifica la posición del objetivo en el espacio sin convertir más el ITD en ángulos. Este concepto se resume en la Figura 1c: por ejemplo, si el sonido proviene del lado derecho cuando la señal de entrada del oído derecho recorre un camino más largo que el del oído izquierdo, compensando el número de ITD, por ejemplo, cuando la neurona 2 coincide. En otras palabras, cada CD responde a un determinado ITD (también conocido como retraso óptimo) debido al retraso axonal. Así, el cerebro convierte la información temporal en información espacial. Se ha encontrado evidencia anatómica de este mecanismo37,51. Las neuronas de macronúcleo sincronizadas almacenan información temporal sobre los sonidos entrantes: como su nombre lo indica, se activan en ciertas fases de la señal. Las neuronas detectoras de coincidencias del modelo de Jeffress se pueden encontrar en el núcleo laminar. Reciben información de neuronas macronucleares, cuyos axones actúan como líneas de retardo. La cantidad de retraso proporcionada por la línea de retraso puede explicarse por la longitud del axón, así como por otro patrón de mielinización que cambia la velocidad de conducción. Inspirándonos en el sistema auditivo de la lechuza, hemos desarrollado un sistema biomimético para localizar objetos. Los dos oídos están representados por dos receptores pMUT. La fuente de sonido es el transmisor pMUT ubicado entre ellos (Fig. 1a), y el gráfico computacional está formado por una cuadrícula de circuitos de CD basados ​​en RRAM (Fig. 1b, verde), que desempeñan el papel de neuronas de CD cuyas entradas están retrasadas. A lo largo del circuito, las líneas de retardo (azules) actúan como axones en la contraparte biológica. El sistema sensorial propuesto difiere en la frecuencia de funcionamiento del del búho, cuyo sistema auditivo opera en el rango de 1 a 8 kHz, pero en este trabajo se utilizan sensores pMUT que operan a aproximadamente 117 kHz. La selección de un transductor ultrasónico se considera según criterios técnicos y de optimización. En primer lugar, limitar el ancho de banda de recepción a una sola frecuencia idealmente mejora la precisión de la medición y simplifica el paso de posprocesamiento. Además, el funcionamiento en ultrasonido tiene la ventaja de que los pulsos emitidos no son audibles, por lo que no molestan a las personas, ya que su rango auditivo es de ~20-20 kHz.
la lechuza recibe ondas sonoras de un objetivo, en este caso una presa en movimiento. El tiempo de vuelo (ToF) de la onda sonora es diferente para cada oído (a menos que la presa esté directamente frente al búho). La línea de puntos muestra el camino que siguen las ondas sonoras para llegar a los oídos de la lechuza. La presa se puede localizar con precisión en el plano horizontal basándose en la diferencia de longitud entre las dos trayectorias acústicas y la correspondiente diferencia de tiempo interaural (ITD) (imagen de la izquierda inspirada en la referencia 74, copyright 2002, Society for Neuroscience). En nuestro sistema, el transmisor pMUT (azul oscuro) genera ondas sonoras que rebotan en el objetivo. Las ondas de ultrasonido reflejadas son recibidas por dos receptores pMUT (verde claro) y procesadas por el procesador neuromórfico (derecha). b Un modelo computacional ITD (Jeffress) que describe cómo los sonidos que ingresan a los oídos de la lechuza se codifican primero como picos de fase bloqueada en el núcleo grande (NM) y luego se utiliza una rejilla dispuesta geométricamente de neuronas detectoras coincidentes en el núcleo laminar. Procesamiento (Países Bajos) (izquierda). Ilustración de un gráfico computacional neuroITD que combina líneas de retardo y neuronas detectoras de coincidencias; el sistema biosensor del búho se puede modelar utilizando circuitos neuromórficos basados ​​en RRAM (derecha). c Esquema del mecanismo principal de Jeffress, debido a la diferencia en ToF, los dos oídos reciben estímulos sonoros en diferentes momentos y envían axones desde ambos extremos al detector. Los axones son parte de una serie de neuronas detectoras de coincidencias (CD), cada una de las cuales responde selectivamente a entradas fuertemente correlacionadas en el tiempo. Como resultado, sólo los CD cuyas entradas llegan con la menor diferencia de tiempo se excitan al máximo (ITD se compensa exactamente). Luego, el CD codificará la posición angular del objetivo.
Los transductores ultrasónicos micromecánicos piezoeléctricos son transductores ultrasónicos escalables que pueden integrarse con tecnología CMOS avanzada31,32,33,52 y tienen un voltaje inicial y un consumo de energía más bajos que los transductores volumétricos tradicionales53. En nuestro trabajo, el diámetro de la membrana es de 880 µm y la frecuencia de resonancia se distribuye en el rango de 110 a 117 kHz (Fig. 2a, consulte Métodos para obtener más detalles). En un lote de diez dispositivos de prueba, el factor de calidad promedio fue de aproximadamente 50 (ref. 31). La tecnología ha alcanzado la madurez industrial y no es bioinspirada per se. La combinación de información de diferentes películas de pMUT es una técnica bien conocida, y se puede obtener información de ángulos de los pMUT utilizando, por ejemplo, técnicas de formación de haces31,54. Sin embargo, el procesamiento de señales necesario para extraer la información del ángulo no es adecuado para mediciones de baja potencia. El sistema propuesto combina el circuito de preprocesamiento de datos neuromórficos pMUT con un gráfico de computación neuromórfica basado en RRAM inspirado en el modelo de Jeffress (Figura 2c), lo que proporciona una solución de hardware alternativa con eficiencia energética y recursos limitados. Realizamos un experimento en el que se colocaron dos sensores pMUT a aproximadamente 10 cm de distancia para explotar los diferentes sonidos ToF recibidos por las dos membranas receptoras. Un pMUT que actúa como transmisor se encuentra entre los receptores. El objetivo era una placa de PVC de 12 cm de ancho, ubicada a una distancia D frente al dispositivo pMUT (Fig. 2b). El receptor registra el sonido reflejado por el objeto y reacciona lo más posible durante el paso de la onda sonora. Repita el experimento cambiando la posición del objeto, determinada por la distancia D y el ángulo θ. Inspirado en un enlace. 55, proponemos un preprocesamiento neuromórfico de señales sin procesar de pMUT para convertir ondas reflejadas en picos para ingresar un gráfico computacional neuromórfico. El ToF correspondiente a la amplitud del pico se extrae de cada uno de los dos canales y se codifica como la sincronización exacta de los picos individuales. En la fig. 2c muestra los circuitos necesarios para interconectar el sensor pMUT con un gráfico computacional basado en RRAM: para cada uno de los dos receptores pMUT, la señal sin procesar se filtra de paso de banda para suavizarla, rectificarla y luego pasarla al integrador con fugas en modo de superación. el umbral dinámico (Fig. 2d) crea un evento de salida (pico) y una neurona de disparo (LIF): el tiempo de pico de salida codifica el tiempo de vuelo detectado. El umbral LIF se calibra con respecto a la respuesta de pMUT, lo que reduce la variabilidad de pMUT de un dispositivo a otro. Con este enfoque, en lugar de almacenar toda la onda de sonido en la memoria y procesarla más tarde, simplemente generamos un pico correspondiente al ToF de la onda de sonido, que forma la entrada al gráfico computacional de la memoria resistiva. Los picos se envían directamente a las líneas de retardo y se paralelizan con módulos de detección de coincidencias en gráficos de cálculo neuromórfico. Debido a que se envían a las puertas de los transistores, no se requieren circuitos de amplificación adicionales (consulte la Figura 4 complementaria para obtener más detalles). Para evaluar la precisión angular de localización proporcionada por pMUT y el método de procesamiento de señales propuesto, medimos el ITD (es decir, la diferencia de tiempo entre los eventos máximos generados por dos receptores) a medida que variaban la distancia y el ángulo del objeto. Luego, el análisis ITD se convirtió en ángulos (ver Métodos) y se representó en función de la posición del objeto: la incertidumbre en el ITD medido aumentó con la distancia y el ángulo con respecto al objeto (Fig. 2e, f). El principal problema es la relación pico-ruido (PNR) en la respuesta pMUT. Cuanto más lejos esté el objeto, menor será la señal acústica, lo que reducirá el PNR (Fig. 2f, línea verde). Una disminución en el PNR conduce a un aumento de la incertidumbre en la estimación del ITD, lo que resulta en un aumento en la precisión de la localización (Fig. 2f, línea azul). Para un objeto a una distancia de 50 cm del transmisor, la precisión angular del sistema es de aproximadamente 10°. Esta limitación impuesta por las características del sensor es mejorable. Por ejemplo, se puede aumentar la presión enviada por el emisor, aumentando así el voltaje que impulsa la membrana pMUT. Otra solución para amplificar la señal transmitida es conectar múltiples transmisores 56. Estas soluciones aumentarán el rango de detección a expensas de mayores costos de energía. Se pueden realizar mejoras adicionales en el lado receptor. El ruido de fondo del receptor del pMUT se puede reducir significativamente mejorando la conexión entre el pMUT y el amplificador de primera etapa, lo que actualmente se realiza con conexiones de cables y cables RJ45.
a Imagen de un cristal pMUT con seis membranas de 880 µm integradas con un paso de 1,5 mm. b Diagrama de la configuración de medición. El objetivo está ubicado en la posición de azimut θ y a la distancia D. El transmisor pMUT genera una señal de 117,6 kHz que rebota en el objetivo y llega a dos receptores pMUT con diferentes tiempos de vuelo (ToF). Esta diferencia, definida como diferencia de tiempo interaural (ITD), codifica la posición de un objeto y puede estimarse estimando la respuesta máxima de los dos sensores receptores. c Esquema de los pasos de preprocesamiento para convertir la señal pMUT sin procesar en secuencias de picos (es decir, entrada al gráfico de cálculo neuromórfico). Los sensores pMUT y los gráficos computacionales neuromórficos se han fabricado y probado, y el preprocesamiento neuromórfico se basa en simulación de software. d Respuesta de la membrana pMUT al recibir una señal y su transformación en un dominio de pico. e Precisión angular de localización experimental en función del ángulo del objeto (Θ) y la distancia (D) al objeto objetivo. El método de extracción ITD requiere una resolución angular mínima de aproximadamente 4°C. f Precisión angular (línea azul) y relación pico-ruido correspondiente (línea verde) versus distancia del objeto para Θ = 0.
La memoria resistiva almacena información en un estado conductor no volátil. El principio básico del método es que la modificación del material a nivel atómico provoca un cambio en su conductividad eléctrica57. Aquí utilizamos una memoria resistiva a base de óxido que consiste en una capa de 5 nm de dióxido de hafnio intercalada entre electrodos superior e inferior de titanio y nitruro de titanio. La conductividad de los dispositivos RRAM se puede cambiar aplicando una forma de onda de corriente/voltaje que crea o rompe filamentos conductores de vacantes de oxígeno entre los electrodos. Cointegramos dichos dispositivos58 en un proceso CMOS estándar de 130 nm para crear un circuito neuromórfico reconfigurable fabricado que implementa un detector de coincidencias y un circuito de línea de retardo (Fig. 3a). La naturaleza analógica y no volátil del dispositivo, combinada con la naturaleza impulsada por eventos del circuito neuromórfico, minimiza el consumo de energía. El circuito tiene una función de encendido/apagado instantáneo: funciona inmediatamente después de encenderse, permitiendo apagar completamente la alimentación cuando el circuito está inactivo. Los principales componentes del esquema propuesto se muestran en la fig. 3b. Consiste en N estructuras paralelas de un solo transistor (1T1R) que codifican pesos sinápticos de los cuales se toman corrientes ponderadas, se inyectan en la sinapsis común de un integrador de par diferencial (DPI)59 y finalmente se inyectan en la sinapsis con integración y fuga. neurona activada (LIF) 60 (ver Métodos para más detalles). Las sobretensiones de entrada se aplican a la puerta de la estructura 1T1R en forma de una secuencia de pulsos de voltaje con una duración del orden de cientos de nanosegundos. La memoria resistiva se puede colocar en un estado de alta conductividad (HCS) aplicando una referencia positiva externa a Vtop cuando Vbottom está conectado a tierra, y restablecerse a un estado de baja conductividad (LCS) aplicando un voltaje positivo a Vbottom cuando Vtop está conectado a tierra. El valor promedio de HCS se puede controlar limitando la corriente de programación (cumplimiento) del SET (ICC) por el voltaje puerta-fuente del transistor en serie (Fig. 3c). Las funciones de RRAM en el circuito son dos: dirigen y ponderan los pulsos de entrada.
Imagen de microscopio electrónico de barrido (SEM) de un dispositivo RRAM HfO2 1T1R azul integrado en tecnología CMOS de 130 nm con transistores selectores (650 nm de ancho) en verde. b Elementos básicos del esquema neuromórfico propuesto. Los pulsos de voltaje de entrada (picos) Vin0 y Vin1 consumen corriente Iweight, que es proporcional a los estados de conducción G0 y G1 de la estructura 1T1R. Esta corriente se inyecta en las sinapsis DPI y excita las neuronas LIF. RRAM G0 y G1 están instalados en HCS y LCS respectivamente. c Función de densidad de conductancia acumulada para un grupo de dispositivos RRAM de 16K en función de la adaptación de corriente ICC, que controla eficazmente el nivel de conducción. d Las mediciones del circuito en (a) muestran que G1 (en el LCS) bloquea efectivamente la entrada de Vin1 (verde) y, de hecho, el voltaje de la membrana de la neurona de salida responde solo a la entrada azul de Vin0. RRAM determina efectivamente las conexiones en el circuito. e Medición del circuito en (b) que muestra el efecto del valor de conductancia G0 sobre el voltaje de la membrana Vmem después de aplicar un pulso de voltaje Vin0. Cuanta más conductancia, más fuerte será la respuesta: por lo tanto, el dispositivo RRAM implementa ponderación de conexión de E/S. Se realizaron mediciones en el circuito y demuestran la doble función de RRAM, enrutamiento y ponderación de los pulsos de entrada.
Primero, dado que existen dos estados de conducción básicos (HCS y LCS), las RRAM pueden bloquear o perder pulsos de entrada cuando están en los estados LCS o HCS, respectivamente. Como resultado, RRAM determina efectivamente las conexiones en el circuito. Esta es la base para poder reconfigurar la arquitectura. Para demostrar esto, describiremos una implementación de circuito fabricado del bloque de circuito en la Fig. 3b. La RRAM correspondiente a G0 se programa en el HCS y la segunda RRAM G1 se programa en el LCS. Los pulsos de entrada se aplican tanto a Vin0 como a Vin1. Se analizaron los efectos de dos secuencias de pulsos de entrada en las neuronas de salida recogiendo el voltaje de la membrana de la neurona y la señal de salida utilizando un osciloscopio. El experimento tuvo éxito cuando sólo se conectó el dispositivo HCS (G0) al pulso de la neurona para estimular la tensión de la membrana. Esto se demuestra en la Figura 3d, donde el tren de pulsos azul hace que el voltaje de la membrana se acumule en el capacitor de membrana, mientras que el tren de pulsos verde mantiene constante el voltaje de la membrana.
La segunda función importante de RRAM es la implementación de pesos de conexión. Usando el ajuste de conductancia analógica de RRAM, las conexiones de E/S se pueden ponderar en consecuencia. En el segundo experimento, el dispositivo G0 se programó en diferentes niveles de HCS y el pulso de entrada se aplicó a la entrada VIn0. El pulso de entrada extrae una corriente (Ipeso) del dispositivo, que es proporcional a la conductancia y la correspondiente caída de potencial Vtop - Vbot. Esta corriente ponderada luego se inyecta en las sinapsis DPI y en las neuronas de salida LIF. El voltaje de membrana de las neuronas de salida se registró usando un osciloscopio y se muestra en la Fig. 3d. El pico de voltaje de la membrana neuronal en respuesta a un único pulso de entrada es proporcional a la conductancia de la memoria resistiva, lo que demuestra que la RRAM se puede utilizar como un elemento programable de peso sináptico. Estas dos pruebas preliminares muestran que la plataforma neuromórfica basada en RRAM propuesta es capaz de implementar los elementos básicos del mecanismo básico de Jeffress, a saber, la línea de retardo y el circuito detector de coincidencias. La plataforma del circuito se construye apilando bloques sucesivos uno al lado del otro, como los bloques de la Figura 3b, y conectando sus puertas a una línea de entrada común. Diseñamos, fabricamos y probamos una plataforma neuromórfica que consta de dos neuronas de salida que reciben dos entradas (Fig. 4a). El diagrama del circuito se muestra en la Figura 4b. La matriz RRAM superior de 2 × 2 permite dirigir los pulsos de entrada a dos neuronas de salida, mientras que la matriz inferior de 2 × 2 permite conexiones recurrentes de dos neuronas (N0, N1). Demostramos que esta plataforma se puede utilizar con una configuración de línea de retardo y dos funciones de detector de coincidencia diferentes, como lo muestran las mediciones experimentales en la Fig. 4c-e.
Diagrama de circuito formado por dos neuronas de salida N0 y N1 que reciben dos entradas 0 y 1. Los cuatro dispositivos superiores del conjunto definen conexiones sinápticas de entrada a salida, y las cuatro celdas inferiores definen conexiones recurrentes entre neuronas. Las RRAM de colores representan los dispositivos configurados en el HCS a la derecha: los dispositivos en el HCS permiten conexiones y representan pesos, mientras que los dispositivos en el LCS bloquean los pulsos de entrada y desactivan las conexiones a las salidas. b Diagrama del circuito (a) con ocho módulos RRAM resaltados en azul. c Las líneas de retardo se forman simplemente utilizando la dinámica de las sinapsis DPI y las neuronas LIF. La RRAM verde está configurada en una conductancia lo suficientemente alta como para poder inducir un fallo en la salida después del retardo de entrada Δt. d Ilustración esquemática de la detección de CD insensible a la dirección de señales dependientes del tiempo. La neurona de salida 1, N1, se activa en las entradas 0 y 1 con un breve retraso. e Circuito CD sensible a la dirección, un circuito que detecta cuando la entrada 1 se acerca a la entrada 0 y llega después de la entrada 0. La salida del circuito está representada por la neurona 1 (N1).
La línea de retardo (Figura 4c) simplemente utiliza el comportamiento dinámico de las sinapsis DPI y las neuronas LIF para reproducir el pico de entrada de Vin1 a Vout1 retrasando Tdel. Sólo la RRAM G3 conectada a Vin1 y Vout1 se programa en HCS, el resto de RRAM se programan en LCS. El dispositivo G3 se programó para 92,6 µs para garantizar que cada pulso de entrada aumente el voltaje de membrana de la neurona de salida lo suficiente como para alcanzar el umbral y generar un pulso de salida retardado. El retraso Tdel está determinado por las constantes de tiempo sinápticas y neuronales. Los detectores de coincidencias detectan la aparición de señales de entrada temporalmente correlacionadas pero distribuidas espacialmente. La CD insensible a la dirección se basa en entradas individuales que convergen en una neurona de salida común (Figura 4d). Las dos RRAM que conectan Vin0 y Vin1 a Vout1, G2 y G4 respectivamente están programadas para alta conducción. La llegada simultánea de picos en Vin0 y Vin1 aumenta el voltaje de la membrana de la neurona N1 por encima del umbral requerido para generar el pico de salida. Si las dos entradas están demasiado separadas en el tiempo, la carga en el voltaje de membrana acumulada por la primera entrada puede tener tiempo para decaer, evitando que el potencial de membrana N1 alcance el valor umbral. G1 y G2 están programados para aproximadamente 65 µs, lo que garantiza que un solo aumento de entrada no aumente el voltaje de la membrana lo suficiente como para causar un aumento de salida. La detección de coincidencias entre eventos distribuidos en el espacio y el tiempo es una operación fundamental utilizada en una amplia gama de tareas de detección, como la evitación de obstáculos basada en flujo óptico y la localización de fuentes de sonido. Por lo tanto, computar CD sensibles e insensibles a la dirección es un elemento fundamental para construir sistemas de localización visual y de audio. Como lo muestran las características de las constantes de tiempo (consulte la figura complementaria 2), el circuito propuesto implementa un rango adecuado de escalas de tiempo de cuatro órdenes de magnitud. De este modo, puede satisfacer simultáneamente los requisitos de los sistemas visuales y sonoros. El CD direccional sensible es un circuito sensible al orden espacial de llegada de los pulsos: de derecha a izquierda y viceversa. Es un componente fundamental de la red básica de detección de movimiento del sistema visual de Drosophila, que se utiliza para calcular las direcciones del movimiento y detectar colisiones62. Para lograr un CD sensible a la dirección, se deben dirigir dos entradas a dos neuronas diferentes (N0, N1) y se debe establecer una conexión direccional entre ellas (Fig. 4e). Cuando se recibe la primera entrada, el NO reacciona aumentando el voltaje a través de su membrana por encima del valor umbral y enviando una sobretensión. Este evento de salida, a su vez, dispara N1 gracias a la conexión direccional resaltada en verde. Si llega un evento de entrada Vin1 y energiza a N1 mientras el voltaje de su membrana aún es alto, N1 genera un evento de salida que indica que se ha encontrado una coincidencia entre las dos entradas. Las conexiones direccionales permiten que N1 emita salida solo si la entrada 1 viene después de la entrada 0. G0, G3 y G7 están programados para 73,5 µS, 67,3 µS y 40,2 µS, respectivamente, lo que garantiza que un solo pico en la entrada Vin0 provoque un retardo. pico de salida, mientras que el potencial de membrana de N1 solo alcanza el umbral cuando ambas ráfagas de entrada llegan sincronizadas. .
La variabilidad es una fuente de imperfección en los sistemas neuromórficos modelados63,64,65. Esto conduce a un comportamiento heterogéneo de neuronas y sinapsis. Ejemplos de tales desventajas incluyen una variabilidad del 30% (desviación estándar media) en la ganancia de entrada, la constante de tiempo y el período refractario, por nombrar solo algunos (ver Métodos). Este problema es aún más pronunciado cuando se conectan varios circuitos neuronales, como por ejemplo un CD sensible a la orientación que consta de dos neuronas. Para que funcione correctamente, las constantes de tiempo de ganancia y caída de las dos neuronas deben ser lo más similares posible. Por ejemplo, una gran diferencia en la ganancia de entrada puede hacer que una neurona reaccione exageradamente a un pulso de entrada mientras que la otra neurona apenas responde. En la fig. La Figura 5a muestra que las neuronas seleccionadas al azar responden de manera diferente al mismo pulso de entrada. Esta variabilidad neuronal es relevante, por ejemplo, para el funcionamiento de los CD sensibles a la dirección. En el esquema que se muestra en la fig. 5b, c, la ganancia de entrada de la neurona 1 es mucho mayor que la de la neurona 0. Por lo tanto, la neurona 0 requiere tres pulsos de entrada (en lugar de 1) para alcanzar el umbral, y la neurona 1, como se esperaba, necesita dos eventos de entrada. La implementación de la plasticidad biomimética dependiente del tiempo (STDP) es una forma posible de mitigar el impacto de los circuitos neuronales y sinápticos imprecisos y lentos en el rendimiento del sistema43. Aquí proponemos utilizar el comportamiento plástico de la memoria resistiva como un medio para influir en la mejora de la información neuronal y reducir los efectos de la variabilidad en los circuitos neuromórficos. Como se muestra en la fig. 4e, los niveles de conductancia asociados con la masa sináptica RRAM modularon efectivamente la respuesta de voltaje de la membrana neural correspondiente. Utilizamos una estrategia de programación RRAM iterativa. Para una entrada determinada, los valores de conductancia de los pesos sinápticos se reprograman hasta que se obtiene el comportamiento objetivo del circuito (ver Métodos).
a Mediciones experimentales de la respuesta de nueve neuronas individuales seleccionadas al azar al mismo pulso de entrada. La respuesta varía entre poblaciones, lo que afecta la ganancia de entrada y la constante de tiempo. b Mediciones experimentales de la influencia de las neuronas en la variabilidad de las neuronas que afectan la EC sensible a la dirección. Las dos neuronas de salida de CD sensibles a la dirección responden de manera diferente a los estímulos de entrada debido a la variabilidad entre neuronas. La neurona 0 tiene una ganancia de entrada menor que la neurona 1, por lo que se necesitan tres pulsos de entrada (en lugar de 1) para crear un pico de salida. Como era de esperar, la neurona 1 alcanza el umbral con dos eventos de entrada. Si la entrada 1 llega Δt = 50 µs después de que se activa la neurona 0, CD permanece en silencio porque Δt es mayor que la constante de tiempo de la neurona 1 (aproximadamente 22 µs). c se reduce en Δt = 20 µs, de modo que la entrada 1 alcanza su punto máximo cuando la activación de la neurona 1 aún es alta, lo que resulta en la detección simultánea de dos eventos de entrada.
Los dos elementos utilizados en la columna de cálculo de ITD son la línea de retardo y el CD insensible a la dirección. Ambos circuitos requieren una calibración precisa para garantizar un buen rendimiento de posicionamiento de objetos. La línea de retardo debe entregar una versión retardada con precisión del pico de entrada (Fig. 6a), y el CD debe activarse solo cuando la entrada cae dentro del rango de detección del objetivo. Para la línea de retardo, los pesos sinápticos de las conexiones de entrada (G3 en la Fig. 4a) se reprogramaron hasta que se obtuvo el retardo objetivo. Establezca una tolerancia alrededor del retraso objetivo para detener el programa: cuanto menor sea la tolerancia, más difícil será establecer con éxito la línea de retraso. En la fig. La Figura 6b muestra los resultados del proceso de calibración de la línea de retardo: se puede ver que el esquema propuesto puede proporcionar exactamente todos los retrasos requeridos en el esquema de diseño (de 10 a 300 μs). El número máximo de iteraciones de calibración afecta la calidad del proceso de calibración: 200 iteraciones pueden reducir el error a menos del 5%. Una iteración de calibración corresponde a una operación de configuración/reinicio de una celda RRAM. El proceso de ajuste también es fundamental para mejorar la precisión de la detección instantánea de eventos de cierre del módulo de CD. Se necesitaron diez iteraciones de calibración para lograr una tasa positiva verdadera (es decir, la tasa de eventos correctamente identificados como relevantes) superior al 95% (línea azul en la Figura 6c). Sin embargo, el proceso de ajuste no afectó los eventos falsos positivos (es decir, la frecuencia de eventos que se identificaron erróneamente como relevantes). Otro método observado en los sistemas biológicos para superar las limitaciones de tiempo de las vías de activación rápida es la redundancia (es decir, se utilizan muchas copias del mismo objeto para realizar una función determinada). Inspirándonos en la biología66, colocamos varios circuitos de CD en cada módulo de CD entre las dos líneas de retardo para reducir el impacto de los falsos positivos. Como se muestra en la fig. 6c (línea verde), colocar tres elementos de CD en cada módulo de CD puede reducir la tasa de falsas alarmas a menos de 10–2.
a Efecto de la variabilidad neuronal en los circuitos de líneas de retardo. b Los circuitos de línea de retardo se pueden escalar a retardos grandes estableciendo las constantes de tiempo de las neuronas LIF correspondientes y las sinapsis DPI en valores grandes. Aumentar el número de iteraciones del procedimiento de calibración RRAM hizo posible mejorar significativamente la precisión del retraso del objetivo: 200 iteraciones redujeron el error a menos del 5%. Una iteración corresponde a una operación SET/RESET en una celda RRAM. Cada módulo de CD en el modelo c Jeffress se puede implementar utilizando N elementos de CD paralelos para una mayor flexibilidad con respecto a fallas del sistema. d Más iteraciones de calibración de RRAM aumentan la tasa de verdaderos positivos (línea azul), mientras que la tasa de falsos positivos es independiente del número de iteraciones (línea verde). Colocar más elementos de CD en paralelo evita la detección falsa de coincidencias de módulos de CD.
Ahora evaluamos el rendimiento y el consumo de energía del sistema integrado de localización de objetos de extremo a extremo que se muestra en la Figura 2 utilizando mediciones de las propiedades acústicas del sensor pMUT, el CD y los circuitos de la línea de retardo que conforman el gráfico de computación neuromórfica. Modelo de Jeffress (Fig. 1a). En cuanto al gráfico de computación neuromórfica, cuanto mayor es el número de módulos de CD, mejor es la resolución angular, pero también mayor es la energía del sistema (Fig. 7a). Se puede llegar a un compromiso comparando la precisión de los componentes individuales (sensores pMUT, neuronas y circuitos sinápticos) con la precisión de todo el sistema. La resolución de la línea de retardo está limitada por las constantes de tiempo de las sinapsis y neuronas simuladas, que en nuestro esquema superan los 10 µs, lo que corresponde a una resolución angular de 4 ° (ver Métodos). Nodos más avanzados con tecnología CMOS permitirán el diseño de circuitos neuronales y sinápticos con constantes de tiempo más bajas, lo que dará como resultado una mayor precisión de los elementos de la línea de retardo. Sin embargo, en nuestro sistema, la precisión está limitada por el error pMUT al estimar la posición angular, es decir, 10° (línea horizontal azul en la Fig. 7a). Fijamos el número de módulos de CD en 40, lo que corresponde a una resolución angular de aproximadamente 4 °, es decir, la precisión angular del gráfico computacional (línea horizontal azul claro en la Fig. 7a). A nivel del sistema, esto da una resolución de 4° y una precisión de 10° para objetos situados a 50 cm delante del sistema de sensores. Este valor es comparable a los sistemas de localización de sonido neuromórficos informados en la ref. 67. En la Tabla complementaria 1 se puede encontrar una comparación del sistema propuesto con el estado de la técnica. Agregar pMUT adicionales, aumentar el nivel de la señal acústica y reducir el ruido electrónico son posibles formas de mejorar aún más la precisión de la localización. ) se estima en 9,7. Nueva Zelanda. 55. Dadas 40 unidades de CD en el gráfico computacional, la simulación SPICE estimó que la energía por operación (es decir, energía de posicionamiento de objetos) era 21,6 nJ. El sistema neuromórfico se activa sólo cuando llega un evento de entrada, es decir, cuando una onda acústica llega a cualquier receptor pMUT y supera el umbral de detección; de lo contrario, permanece inactivo. Esto evita un consumo de energía innecesario cuando no hay señal de entrada. Considerando una frecuencia de operaciones de localización de 100 Hz y un período de activación de 300 µs por operación (el ITD máximo posible), el consumo de energía del gráfico de computación neuromórfica es de 61,7 nW. Con el preprocesamiento neuromórfico aplicado a cada receptor pMUT, el consumo de energía de todo el sistema alcanza los 81,6 nW. Para comprender la eficiencia energética del enfoque neuromórfico propuesto en comparación con el hardware convencional, comparamos este número con la energía requerida para realizar la misma tarea en un microcontrolador moderno de baja potencia utilizando formación de haces neuromórfico o convencional68 Skill. El enfoque neuromórfico considera una etapa de convertidor analógico a digital (ADC), seguida de un filtro de paso de banda y una etapa de extracción de envolvente (método Teeger-Kaiser). Finalmente, se realiza una operación de umbral para extraer el ToF. Hemos omitido el cálculo de ITD basado en ToF y la conversión a la posición angular estimada, ya que esto ocurre una vez para cada medición (ver Métodos). Suponiendo una frecuencia de muestreo de 250 kHz en ambos canales (receptores pMUT), 18 operaciones de filtro de paso de banda, 3 operaciones de extracción de envolvente y 1 operación de umbral por muestra, el consumo total de energía se estima en 245 microvatios. Este utiliza el modo de bajo consumo del microcontrolador69, que se enciende cuando los algoritmos no se están ejecutando, lo que reduce el consumo de energía a 10,8 µW. El consumo de energía de la solución de procesamiento de señales de formación de haces propuesta en la referencia. 31, con 5 receptores pMUT y 11 haces distribuidos uniformemente en el plano azimutal [-50°, +50°], es de 11,71 mW (consulte la sección Métodos para obtener más detalles). Además, informamos el consumo de energía de un codificador de diferencia de tiempo (TDE) basado en FPGA47 estimado en 1,5 mW como reemplazo del modelo de Jeffress para la localización de objetos. Según estas estimaciones, el enfoque neuromórfico propuesto reduce el consumo de energía en cinco órdenes de magnitud en comparación con un microcontrolador que utiliza técnicas clásicas de formación de haces para operaciones de localización de objetos. La adopción de un enfoque neuromórfico para el procesamiento de señales en un microcontrolador clásico reduce el consumo de energía en aproximadamente dos órdenes de magnitud. La efectividad del sistema propuesto puede explicarse por la combinación de un circuito analógico asíncrono de memoria resistiva capaz de realizar cálculos en memoria y la falta de conversión de analógico a digital necesaria para percibir señales.
a Resolución angular (azul) y consumo de energía (verde) de la operación de localización en función del número de módulos de CD. La barra horizontal azul oscuro representa la precisión angular del PMUT y la barra horizontal azul claro representa la precisión angular del gráfico computacional neuromórfico. b Consumo de energía del sistema propuesto y comparación con las dos implementaciones de microcontroladores discutidas y la implementación digital del codificador de diferencia de tiempo (TDE)47 FPGA.
Para minimizar el consumo de energía del sistema de localización de objetivos, concebimos, diseñamos e implementamos un circuito neuromórfico basado en RRAM eficiente impulsado por eventos que procesa la información de la señal generada por los sensores integrados para calcular la posición del objeto objetivo en real. tiempo. . Mientras que los métodos de procesamiento tradicionales toman muestras continuamente de las señales detectadas y realizan cálculos para extraer información útil, la solución neuromórfica propuesta realiza cálculos de forma asincrónica a medida que llega la información útil, maximizando la eficiencia energética del sistema en cinco órdenes de magnitud. Además, destacamos la flexibilidad de los circuitos neuromórficos basados ​​en RRAM. La capacidad de RRAM para cambiar la conductancia de una manera no volátil (plasticidad) compensa la variabilidad inherente de los circuitos neuronales y sinápticos de DPI analógicos de potencia ultrabaja. Esto hace que este circuito basado en RRAM sea versátil y potente. Nuestro objetivo no es extraer funciones o patrones complejos de señales, sino localizar objetos en tiempo real. Nuestro sistema también puede comprimir la señal de manera eficiente y eventualmente enviarla a pasos de procesamiento adicionales para tomar decisiones más complejas cuando sea necesario. En el contexto de las aplicaciones de localización, nuestro paso de preprocesamiento neuromórfico puede proporcionar información sobre la ubicación de los objetos. Esta información se puede utilizar, por ejemplo, para la detección de movimiento o el reconocimiento de gestos. Destacamos la importancia de combinar sensores de potencia ultrabaja, como pMUT, con componentes electrónicos de potencia ultrabaja. Para ello, los enfoques neuromórficos han sido clave ya que nos han llevado a desarrollar nuevas implementaciones de circuitos de métodos computacionales de inspiración biológica como el modelo de Jeffress. En el contexto de las aplicaciones de fusión de sensores, nuestro sistema se puede combinar con varios sensores diferentes basados ​​en eventos para obtener información más precisa. Aunque los búhos son excelentes para encontrar presas en la oscuridad, tienen una vista excelente y realizan una búsqueda auditiva y visual combinada antes de atrapar a sus presas70. Cuando se activa una neurona auditiva concreta, el búho recibe la información que necesita para determinar en qué dirección iniciar su búsqueda visual, centrando así su atención en una pequeña parte de la escena visual. Se debe explorar una combinación de sensores visuales (cámara DVS) y un sensor de escucha propuesto (basado en pMUT) para el desarrollo de futuros agentes autónomos.
El sensor pMUT está ubicado en una PCB con dos receptores separados aproximadamente 10 cm y el transmisor está ubicado entre los receptores. En este trabajo, cada membrana es una estructura bimorfa suspendida que consta de dos capas de nitruro de aluminio piezoeléctrico (AlN) de 800 nm de espesor intercaladas entre tres capas de molibdeno (Mo) de 200 nm de espesor y recubiertas con una capa de 200 nm de espesor. la capa pasivante superior de SiN como se describe en la referencia. 71. Los electrodos interior y exterior se aplican a las capas inferior y superior de molibdeno, mientras que el electrodo de molibdeno del medio no tiene patrón y se utiliza como tierra, lo que da como resultado una membrana con cuatro pares de electrodos.
Esta arquitectura permite el uso de una deformación de membrana común, lo que resulta en una sensibilidad de transmisión y recepción mejorada. Un pMUT de este tipo normalmente exhibe una sensibilidad de excitación de 700 nm/V como emisor, proporcionando una presión superficial de 270 Pa/V. Como receptor, una película pMUT exhibe una sensibilidad a cortocircuitos de 15 nA/Pa, que está directamente relacionada con el coeficiente piezoeléctrico de AlN. La variabilidad técnica del voltaje en la capa de AlN conduce a un cambio en la frecuencia de resonancia, que puede compensarse aplicando una polarización de CC al pMUT. La sensibilidad de CC se midió a 0,5 kHz/V. Para la caracterización acústica, se utiliza un micrófono delante del pMUT.
Para medir el pulso de eco, colocamos una placa rectangular con un área de unos 50 cm2 delante del pMUT para reflejar las ondas sonoras emitidas. Tanto la distancia entre las placas como el ángulo con respecto al plano pMUT se controlan mediante soportes especiales. Una fuente de voltaje Tectronix CPX400DP polariza tres membranas pMUT, sintonizando la frecuencia resonante a 111,9 kHz31, mientras que los transmisores son accionados por un generador de impulsos Tectronix AFG 3102 sintonizado a la frecuencia resonante (111,9 kHz) y un ciclo de trabajo de 0,01. Las corrientes leídas en los cuatro puertos de salida de cada receptor pMUT se convierten en voltajes utilizando una arquitectura diferencial de corriente y voltaje especial, y las señales resultantes se digitalizan mediante el sistema de adquisición de datos Spektrum. El límite de detección se caracterizó por la adquisición de la señal pMUT en diferentes condiciones: movimos el reflector a diferentes distancias [30, 40, 50, 60, 80, 100] cm y cambiamos el ángulo de soporte de pMUT ([0, 20, 40] o ) La Figura 2b muestra la resolución temporal de detección de ITD dependiendo de la posición angular correspondiente en grados.
Este artículo utiliza dos circuitos RRAM diferentes disponibles en el mercado. El primero es una matriz de 16.384 (16.000) dispositivos (128 × 128 dispositivos) en una configuración 1T1R con un transistor y una resistencia. El segundo chip es la plataforma neuromórfica que se muestra en la figura 4a. La celda RRAM consta de una película de HfO2 de 5 nm de espesor incrustada en una pila de TiN/HfO2/Ti/TiN. La pila RRAM está integrada en la parte posterior de la línea (BEOL) del proceso CMOS estándar de 130 nm. Los circuitos neuromórficos basados ​​en RRAM presentan un desafío de diseño para sistemas electrónicos totalmente analógicos en los que los dispositivos RRAM coexisten con la tecnología CMOS tradicional. En particular, el estado de conducción del dispositivo RRAM debe leerse y utilizarse como variable de función para el sistema. Para ello, se diseñó, fabricó y probó un circuito que lee la corriente del dispositivo cuando se recibe un pulso de entrada y utiliza esta corriente para ponderar la respuesta de una sinapsis del integrador de par diferencial (DPI). Este circuito se muestra en la Figura 3a, que representa los componentes básicos de la plataforma neuromórfica en la Figura 4a. Un pulso de entrada activa la puerta del dispositivo 1T1R, induciendo una corriente a través de RRAM proporcional a la conductancia G del dispositivo (Ipeso = G (Vtop – Vx)). La entrada inversora del circuito del amplificador operacional (op-amp) tiene un voltaje de polarización de CC constante Vtop. La retroalimentación negativa del amplificador operacional proporcionará Vx = Vtop al proporcionar una corriente igual desde M1. El Iweight actual recuperado del dispositivo se inyecta en la sinapsis DPI. Una corriente más fuerte dará como resultado una mayor despolarización, por lo que la conductancia RRAM implementa efectivamente pesos sinápticos. Esta corriente sináptica exponencial se inyecta a través del condensador de membrana de las neuronas Leaky Integration and Excitation (LIF), donde se integra como voltaje. Si se supera el voltaje umbral de la membrana (el voltaje de conmutación del inversor), la parte de salida de la neurona se activa, produciendo un pico de salida. Este pulso regresa y desvía el condensador de membrana de la neurona a tierra, provocando su descarga. Luego, este circuito se complementa con un expansor de pulso (no se muestra en la Fig. 3a), que da forma al pulso de salida de la neurona LIF al ancho de pulso objetivo. También se incorporan multiplexores en cada línea, lo que permite aplicar voltaje a los electrodos superior e inferior del dispositivo RRAM.
Las pruebas eléctricas incluyen analizar y registrar el comportamiento dinámico de circuitos analógicos, así como programar y leer dispositivos RRAM. Ambos pasos requieren herramientas especiales, las cuales están conectadas al tablero del sensor al mismo tiempo. El acceso a los dispositivos RRAM en circuitos neuromórficos se realiza desde herramientas externas a través de un multiplexor (MUX). El MUX separa la celda 1T1R del resto del circuito al que pertenece, permitiendo leer y/o programar el dispositivo. Para programar y leer dispositivos RRAM, se utiliza una máquina Keithley 4200 SCS junto con un microcontrolador Arduino: el primero para generar pulsos precisos y lectura de corriente, y el segundo para acceso rápido a elementos 1T1R individuales en la matriz de memoria. La primera operación es formar el dispositivo RRAM. Las celdas se seleccionan una por una y se aplica un voltaje positivo entre los electrodos superior e inferior. En este caso, la corriente está limitada al orden de decenas de microamperios debido al suministro del voltaje de puerta correspondiente al transistor selector. Luego, la celda RRAM puede alternar entre un estado de baja conductividad (LCS) y un estado de alta conductividad (HCS) mediante operaciones RESET y SET, respectivamente. La operación SET se lleva a cabo aplicando un pulso de voltaje rectangular con una duración de 1 μs y un voltaje pico de 2,0-2,5 V al electrodo superior, y un pulso de sincronización de forma similar con un voltaje pico de 0,9-1,3 V al electrodo superior. la puerta del transistor selector. Estos valores permiten modular la conductancia de la RRAM a intervalos de 20-150 µs. Para RESET, se aplica un pulso máximo de 3 V y 1 µs de ancho al electrodo inferior (línea de bits) de la celda cuando el voltaje de la puerta está en el rango de 2,5 a 3,0 V. Las entradas y salidas de los circuitos analógicos son señales dinámicas. . Para la entrada, entrelazamos dos generadores de impulsos HP 8110 con generadores de señales Tektronix AFG3011. El pulso de entrada tiene una anchura de 1 µs y un flanco de subida/bajada de 50 ns. Se supone que este tipo de pulso es un fallo típico en los circuitos basados ​​en fallos analógicos. En cuanto a la señal de salida, la señal de salida se registró utilizando un osciloscopio Teledyne LeCroy de 1 GHz. Se ha demostrado que la velocidad de adquisición de un osciloscopio no es un factor limitante en el análisis y adquisición de datos de circuitos.
Utilizar la dinámica de la electrónica analógica para simular el comportamiento de las neuronas y las sinapsis es una solución elegante y eficiente para mejorar la eficiencia computacional. La desventaja de esta base computacional es que variará de un esquema a otro. Cuantificamos la variabilidad de las neuronas y los circuitos sinápticos (Figuras complementarias 2a, b). De todas las manifestaciones de variabilidad, las asociadas con las constantes de tiempo y la ganancia de entrada tienen el mayor impacto a nivel del sistema. La constante de tiempo de la neurona LIF y la sinapsis DPI está determinada por un circuito RC, donde el valor de R es controlado por un voltaje de polarización aplicado a la puerta del transistor (Vlk para la neurona y Vtau para la sinapsis), determinando la tasa de fuga. La ganancia de entrada se define como el voltaje máximo alcanzado por los condensadores de membrana sinápticos y neuronales estimulados por un pulso de entrada. La ganancia de entrada está controlada por otro transistor de polarización que modula la corriente de entrada. Se realizó una simulación Monte Carlo calibrada en el proceso de 130 nm de ST Microelectronics para recopilar algunas estadísticas de ganancia de entrada y constante de tiempo. Los resultados se presentan en la Figura 2 complementaria, donde la ganancia de entrada y la constante de tiempo se cuantifican en función del voltaje de polarización que controla la tasa de fuga. Los marcadores verdes cuantifican la desviación estándar de la constante de tiempo de la media. Tanto las neuronas como los circuitos sinápticos pudieron expresar una amplia gama de constantes de tiempo en el rango de 10-5-10-2 s, como se muestra en el esquema de la figura complementaria. La amplificación de entrada (Figuras complementarias 2e, d) de la variabilidad neuronal y sináptica fue de aproximadamente 8% y 3%, respectivamente. Esta deficiencia está bien documentada en la literatura: se realizaron varias mediciones en la matriz de chips DYNAP para evaluar la falta de coincidencia entre poblaciones de neuronas LIF63. Se midieron las sinapsis en el chip de señal mixta BrainScale y se analizaron sus inconsistencias, y se propuso un procedimiento de calibración para reducir el efecto de la variabilidad a nivel del sistema64.
La función de RRAM en circuitos neuromórficos es doble: definición de arquitectura (enrutamiento de entradas a salidas) e implementación de pesos sinápticos. Esta última propiedad se puede utilizar para resolver el problema de la variabilidad de los circuitos neuromórficos modelados. Hemos desarrollado un procedimiento de calibración simple que implica reprogramar el dispositivo RRAM hasta que el circuito que se está analizando cumpla con ciertos requisitos. Para una entrada determinada, se monitorea la salida y se reprograma la RRAM hasta que se logra el comportamiento objetivo. Se introdujo un tiempo de espera de 5 s entre operaciones de programación para resolver el problema de la relajación de RRAM que produce fluctuaciones transitorias de conductancia (Información complementaria). Los pesos sinápticos se ajustan o calibran según los requisitos del circuito neuromórfico que se está modelando. El procedimiento de calibración se resume en algoritmos adicionales [1, 2] que se centran en dos características fundamentales de las plataformas neuromórficas: las líneas de retardo y la CD insensible a la dirección. Para un circuito con una línea de retardo, el comportamiento objetivo es proporcionar un pulso de salida con un retardo Δt. Si el retardo real del circuito es menor que el valor objetivo, se debe reducir el peso sináptico de G3 (se debe restablecer G3 y luego configurarlo a una corriente de coincidencia más baja Icc). Por el contrario, si el retraso real es mayor que el valor objetivo, se debe aumentar la conductancia de G3 (primero se debe restablecer G3 y luego establecerlo en un valor Icc más alto). Este proceso se repite hasta que el retraso generado por el circuito coincida con el valor objetivo y se establezca una tolerancia para detener el proceso de calibración. Para los CD insensibles a la orientación, en el proceso de calibración intervienen dos dispositivos RRAM, G1 y G3. Este circuito tiene dos entradas, Vin0 y Vin1, retardadas por dt. El circuito sólo debe responder a retrasos por debajo del rango de coincidencia [0,dtCD]. Si no hay un pico de salida, pero el pico de entrada está cerca, ambos dispositivos RRAM deben reforzarse para ayudar a la neurona a alcanzar el umbral. Por el contrario, si el circuito responde a un retraso que excede el rango objetivo de dtCD, se debe reducir la conductancia. Repetir el proceso hasta obtener el comportamiento correcto. La corriente de cumplimiento puede ser modulada por el circuito analógico incorporado en la ref. 72.73. Con este circuito incorporado, dichos procedimientos se pueden realizar periódicamente para calibrar el sistema o reutilizarlo para otra aplicación.
Evaluamos el consumo de energía de nuestro enfoque de procesamiento de señales neuromórficas en un microcontrolador estándar de 32 bits68. En esta evaluación, asumimos operación con la misma configuración que en este artículo, con un transmisor pMUT y dos receptores pMUT. Este método utiliza un filtro de paso de banda, seguido de un paso de extracción de envolvente (Teeger-Kaiser) y finalmente se aplica una operación de umbralización a la señal para extraer el tiempo de vuelo. En la evaluación se omite el cálculo del ITD y su conversión a ángulos de detección. Consideramos una implementación de filtro de paso de banda utilizando un filtro de respuesta de impulso infinito de cuarto orden que requiere 18 operaciones de punto flotante. La extracción de sobre utiliza tres operaciones de punto flotante más y la última operación se utiliza para establecer el umbral. Se requieren un total de 22 operaciones de punto flotante para preprocesar la señal. La señal transmitida es una ráfaga corta de forma de onda sinusoidal de 111,9 kHz generada cada 10 ms, lo que da como resultado una frecuencia operativa de posicionamiento de 100 Hz. Utilizamos una frecuencia de muestreo de 250 kHz para cumplir con Nyquist y una ventana de 6 ms para cada medición para capturar un rango de 1 metro. Tenga en cuenta que 6 milisegundos es el tiempo de vuelo de un objeto que se encuentra a 1 metro de distancia. Esto proporciona un consumo de energía de 180 µW para conversión A/D a 0,5 MSPS. El preprocesamiento de la señal es de 6,60 MIPS (instrucciones por segundo), generando 0,75 mW. Sin embargo, el microcontrolador puede cambiar a un modo de bajo consumo 69 cuando el algoritmo no se está ejecutando. Este modo proporciona un consumo de energía estática de 10,8 μW y un tiempo de activación de 113 μs. Dada una frecuencia de reloj de 84 MHz, el microcontrolador completa todas las operaciones del algoritmo neuromórfico en 10 ms y el algoritmo calcula un ciclo de trabajo del 6,3%, utilizando así un modo de bajo consumo. La disipación de potencia resultante es de 244,7 μW. Tenga en cuenta que omitimos la salida ITD de ToF y la conversión al ángulo de detección, subestimando así el consumo de energía del microcontrolador. Esto proporciona un valor adicional para la eficiencia energética del sistema propuesto. Como condición de comparación adicional, evaluamos el consumo de energía de los métodos clásicos de formación de haces propuestos en la referencia. 31,54 cuando está integrado en el mismo microcontrolador68 con una tensión de alimentación de 1,8 V. Se utilizan cinco membranas pMUT espaciadas uniformemente para adquirir datos para la formación de haces. En cuanto al procesamiento en sí, el método de formación de haces utilizado es la suma de retardos. Consiste simplemente en aplicar un retraso a los carriles que corresponda a la diferencia esperada en los tiempos de llegada entre un carril y el carril de referencia. Si las señales están en fase, la suma de estas señales tendrá una alta energía después de un cambio de tiempo. Si están desfasados, una interferencia destructiva limitará la energía de su suma. en una relación. En la fig. 31, se selecciona una velocidad de muestreo de 2 MHz para desplazar en el tiempo los datos en un número entero de muestras. Un enfoque más modesto es mantener una frecuencia de muestreo más gruesa de 250 kHz y utilizar un filtro de respuesta de impulso finito (FIR) para sintetizar retrasos fraccionarios. Supondremos que la complejidad del algoritmo de formación de haces está determinada principalmente por el cambio de tiempo, ya que cada canal está convolucionado con un filtro FIR con 16 derivaciones en cada dirección. Para calcular la cantidad de MIPS necesarios para esta operación, consideramos una ventana de 6 ms por medición para capturar un rango de 1 metro, 5 canales, 11 direcciones de formación de haz (rango +/- 50° en pasos de 10°). 75 mediciones por segundo llevaron el microcontrolador a su máximo de 100 MIPS. Enlace. 68, lo que da como resultado una disipación de potencia de 11,26 mW para una disipación de potencia total de 11,71 mW después de agregar la contribución del ADC integrado.
Los datos que respaldan los resultados de este estudio están disponibles del autor respectivo, FM, previa solicitud razonable.
Indiveri, G. & Sandamirskaya, Y. La importancia del espacio y el tiempo para el procesamiento de señales en agentes neuromórficos: el desafío de desarrollar agentes autónomos de baja potencia que interactúen con el medio ambiente. Indiveri, G. & Sandamirskaya, Y. La importancia del espacio y el tiempo para el procesamiento de señales en agentes neuromórficos: el desafío de desarrollar agentes autónomos de baja potencia que interactúen con el medio ambiente.Indiveri G. y Sandamirskaya Y. La importancia del espacio y el tiempo para el procesamiento de señales en agentes neuromórficos: el desafío de desarrollar agentes autónomos de baja potencia que interactúen con el medio ambiente. Indiveri, G. & Sandamirskaya, Y.主代理的挑战。 Indiveri, G. y Sandamirskaya, Y.Indiveri G. y Sandamirskaya Y. La importancia del espacio y el tiempo para el procesamiento de señales en agentes neuromórficos: el desafío de desarrollar agentes autónomos de baja potencia que interactúen con el medio ambiente.Procesamiento de señales IEEE. Diario 36, 16-28 (2019).
Thorpe, SJ Hora punta de llegada: un esquema de codificación de red neuronal eficiente. en Eckmiller, R., Hartmann, G. y Hauske, G. (eds). en Eckmiller, R., Hartmann, G. y Hauske, G. (eds).en Eckmiller, R., Hartmann, G. y Hauske, G. (eds.).En Eckmiller, R., Hartmann, G. y Hauske, G. (eds.). Procesamiento paralelo en sistemas neuronales y computadoras 91–94 (Holanda Septentrional Elsevier, 1990).
Levy, WB y Calvert, VG La comunicación consume 35 veces más energía que la computación en la corteza humana, pero ambos costos son necesarios para predecir el número de sinapsis. Levy, WB y Calvert, VG La comunicación consume 35 veces más energía que la computación en la corteza humana, pero ambos costos son necesarios para predecir el número de sinapsis.Levy, WB y Calvert, WG La comunicación consume 35 veces más energía que la computación en la corteza humana, pero ambos costos son necesarios para predecir el número de sinapsis. Levy, WB & Calvert, VG Communication Levy, WB y Calvert, VG ComunicaciónLevy, WB y Calvert, WG La comunicación consume 35 veces más energía que la computación en la corteza humana, pero ambos costos requieren predecir el número de sinapsis.proceso. Academia Nacional de Ciencias. la ciencia. Estados Unidos 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Computación neuromórfica inspirada en insectos. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Computación neuromórfica inspirada en insectos.Dalgati, T., Vianello, E., DeSalvo, B. y Casas, J. Computación neuromórfica inspirada en insectos.Dalgati T., Vianello E., DeSalvo B. y Casas J. Computación neuromórfica inspirada en insectos. Actual. Opinión. Ciencia de los insectos. 30, 59–66 (2018).
Roy, K., Jaiswal, A. y Panda, P. Hacia la inteligencia artificial basada en picos con computación neuromórfica. Roy, K., Jaiswal, A. y Panda, P. Hacia la inteligencia artificial basada en picos con computación neuromórfica. Roy, K., Jaiswal, A. y Panda, P. Hacia la inteligencia artificial basada en picos con computación neuromórfica.Roy K, Jaiswal A y Panda P. Inteligencia artificial basada en pulsos que utiliza computación neuromórfica. Naturaleza 575, 607–617 (2019).
Indiveri, G. y Liu, S.-C. Indiveri, G. y Liu, S.-C.Indiveri, G. y Liu, S.-K. Indiveri, G. y Liu, S.-C. Indiveri, G. y Liu, S.-C.Indiveri, G. y Liu, S.-K.Memoria y procesamiento de información en sistemas neuromórficos. proceso. IEEE 103, 1379–1397 (2015).
Akopyan F. et al. Truenorth: Diseño y conjunto de herramientas para un chip sináptico programable de 65 mW y 1 millón de neuronas. Transacciones IEEE. Diseño informático de sistemas de circuitos integrados. 34, 1537-1557 (2015).
Schemmel, J. y col. Demostración en vivo: versión reducida del sistema neuromórfico BrainScaleS a escala de placa. Simposio internacional IEEE sobre circuitos y sistemas (ISCAS) de 2012, (IEEE ed.) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Una arquitectura multinúcleo escalable con estructuras de memoria heterogéneas para procesadores asíncronos neuromórficos dinámicos (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Una arquitectura multinúcleo escalable con estructuras de memoria heterogéneas para procesadores asíncronos neuromórficos dinámicos (DYNAP).Moradi S., Qiao N., Stefanini F. e Indiviri G. Una arquitectura multinúcleo escalable con estructuras de memoria heterogéneas para procesadores asíncronos neuromórficos dinámicos (DYNAP). Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G.存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Un tipo de arquitectura multinúcleo expandible, con una estructura de memoria única para el procesamiento neuronal dinámico (DYNAP).Moradi S., Qiao N., Stefanini F. e Indiviri G. Una arquitectura multinúcleo escalable con estructuras de memoria heterogéneas para procesadores asíncronos neuromórficos dinámicos (DYNAP).Transacciones IEEE sobre ciencia biomédica. sistema eléctrico. 12, 106-122 (2018).
Davis, M. y col. Loihi: un procesador neuromórfico multinúcleo con aprendizaje integrado. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA El proyecto SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA El proyecto SpiNNaker.Ferber SB, Galluppi F., Temple S. y Plana LA Proyecto SpiNNaker.Ferber SB, Galluppi F., Temple S. y Plana LA Proyecto SpiNNaker. proceso. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Sistemas sensoriales neuromórficos. & Delbruck, T. Sistemas sensoriales neuromórficos.y Delbrück T. Sistemas sensoriales neuromórficos. & Delbruck, T. 神经形态感觉系统. y Delbrück, T.y Delbrück T. Sistema sensorial neuromórfico.Actual. Opinión. Neurobiología. 20, 288–295 (2010).
Chope, T. y col. Integración sensorial neuromórfica para la localización combinada de fuentes de sonido y la prevención de colisiones. En 2019 en la Conferencia IEEE sobre circuitos y sistemas biomédicos (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Una arquitectura neuromórfica de visión estéreo basada en picos. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Una arquitectura neuromórfica de visión estéreo basada en picos.Risi N, Aymar A, Donati E, Solinas S e Indiveri G. Una arquitectura de estereovisión neuromórfica basada en picos. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S e Indiveri G. Arquitectura neuromórfica basada en Spike para visión estéreo.frente. Neurorobótica 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Un modelo de red neuronal con picos de percepción 3D para sistemas de visión estéreo neuromórficos basados ​​en eventos. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Un modelo de red neuronal con picos de percepción 3D para sistemas de visión estéreo neuromórficos basados ​​en eventos.Oswald, M., Ieng, S.-H., Benosman, R. e Indiveri, G. Un modelo de percepción de red neuronal pulsada en 3D para sistemas de visión estéreo neuromórfica basados ​​en eventos. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型.Oswald, M., Ieng, S.-H., Benosman, R. e Indiveri, G. Modelo de red neuronal de percepción 3D con púas para un sistema de visión estéreo neuromórfico basado en eventos.la ciencia. Informe 7, 1-11 (2017).
Dalgaty, T. et al. La detección de movimiento básica inspirada en insectos incluye memoria resistiva y redes neuronales en ráfagas. Sistema biohíbrido biónico. 10928, 115-128 (2018).
D'Angelo, G. et al. Detección de movimiento excéntrico basada en eventos mediante codificación diferencial temporal. frente. Neurología. 14, 451 (2020).