Novas

As aplicacións de procesamento de datos do mundo real requiren sistemas informáticos compactos, de baixa latencia e de baixa potencia. Con capacidades de computación dirixidas por eventos, as arquitecturas neuromórficas memristivas híbridas complementarias de metal-óxido-semicondutores proporcionan unha base de hardware ideal para tales tarefas. Para demostrar todo o potencial destes sistemas, propoñemos e demostramos experimentalmente unha solución completa de procesamento de sensores para aplicacións de localización de obxectos no mundo real. Inspirándonos na neuroanatomía do percebeiro, desenvolvemos un sistema de localización de obxectos impulsado por eventos bioinspirado que combina un transdutor micromecánico piezoeléctrico de última xeración con memoria resistiva neuromórfica baseada en gráficos computacionais. Mostramos medicións dun sistema fabricado que inclúe un detector de coincidencia resistiva baseado en memoria, circuítos de liña de retardo e un transdutor ultrasónico totalmente personalizable. Usamos estes resultados experimentais para calibrar simulacións a nivel de sistema. Estas simulacións empréganse entón para avaliar a resolución angular e a eficiencia enerxética do modelo de localización de obxectos. Os resultados mostran que o noso enfoque pode ser varias ordes de magnitude máis eficiente enerxéticamente que os microcontroladores que realizan a mesma tarefa.
Estamos entrando nunha era de informática ubicua onde o número de dispositivos e sistemas implantados está a crecer exponencialmente para axudarnos na nosa vida diaria. Espérase que estes sistemas funcionen continuamente, consumindo a menor enerxía posible mentres aprenden a interpretar os datos que recollen de varios sensores en tempo real e producen saída binaria como resultado das tarefas de clasificación ou recoñecemento. Un dos pasos máis importantes necesarios para acadar este obxectivo é extraer información útil e compacta de datos sensoriais ruidosos e moitas veces incompletos. Os enfoques de enxeñería convencionais normalmente mostran os sinais dos sensores a unha velocidade constante e alta, xerando grandes cantidades de datos mesmo en ausencia de entradas útiles. Ademais, estes métodos usan técnicas complexas de procesamento de sinal dixital para preprocesar os datos de entrada (moitas veces ruidosos). Pola contra, a bioloxía ofrece solucións alternativas para procesar datos sensoriais ruidosos mediante enfoques asincrónicos e eficientes enerxéticamente (picos)2,3. A computación neuromórfica inspírase nos sistemas biolóxicos para reducir os custos computacionais en termos de requisitos de enerxía e memoria en comparación cos métodos tradicionais de procesamento de sinal4,5,6. Recentemente, demostráronse sistemas innovadores baseados no cerebro de propósito xeral que implementan redes neuronais de impulso (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Estes procesadores proporcionan solucións de baixa potencia e baixa latencia para a aprendizaxe automática e o modelado de circuítos corticais. Para explotar plenamente a súa eficiencia enerxética, estes procesadores neuromórficos deben estar conectados directamente a sensores impulsados ​​por eventos12,13. Non obstante, hoxe en día só hai uns poucos dispositivos táctiles que proporcionan datos directamente dirixidos por eventos. Exemplos destacados son os sensores visuais dinámicos (DVS) para aplicacións de visión como o seguimento e a detección de movemento14,15,16,17 a cóclea de silicio18 e os sensores auditivos neuromórficos (NAS)19 para o procesamento de sinais auditivos, os sensores olfativos20 e numerosos exemplos21,22 de tacto. . sensores de textura.
Neste artigo, presentamos un novo sistema de procesamento auditivo dirixido por eventos aplicado á localización de obxectos. Aquí, por primeira vez, describimos un sistema de extremo a extremo para a localización de obxectos obtido ao conectar un transdutor ultrasónico micromecanizado piezoeléctrico (pMUT) de última xeración cun gráfico computacional baseado na memoria resistiva neuromórfica (RRAM). As arquitecturas informáticas en memoria que utilizan RRAM son unha solución prometedora para reducir o consumo de enerxía23,24,25,26,27,28,29. A súa non volatilidade inherente, que non require un consumo de enerxía activa para almacenar ou actualizar información, encaixa perfectamente coa natureza asíncrona e impulsada por eventos da computación neuromórfica, o que resulta en case ningún consumo de enerxía cando o sistema está inactivo. Os transdutores ultrasónicos micromecanizados piezoeléctricos (pMUT) son transdutores ultrasónicos miniaturizados e económicos baseados en silicio capaces de actuar como transmisores e receptores30,31,32,33,34. Para procesar os sinais recibidos polos sensores integrados, inspirámonos na neuroanatomía do percebeiro35,36,37. O percebeiro Tyto alba é coñecido polas súas notables habilidades de caza nocturna grazas a un sistema de localización auditiva moi eficiente. Para calcular a localización da presa, o sistema de localización do percebeiro codifica o tempo de voo (ToF) cando as ondas sonoras das presas chegan a cada un dos oídos ou receptores de son do moucho. Dada a distancia entre as orellas, a diferenza entre as dúas medicións ToF (Interaural Time Difference, ITD) permite calcular analíticamente a posición acimut do obxectivo. Aínda que os sistemas biolóxicos son pouco axeitados para resolver ecuacións alxébricas, poden resolver problemas de localización de forma moi eficaz. O sistema nervioso do percebeiro utiliza un conxunto de neuronas detectoras de coincidencias (CD)35 (é dicir, neuronas capaces de detectar correlacións temporais entre espigas que se propagan cara abaixo ata terminacións excitatorias converxentes)38,39 organizadas en gráficos computacionais para resolver problemas de posicionamento.
Investigacións anteriores demostraron que o hardware complementario de semiconductor de óxido de metal (CMOS) e o hardware neuromórfico baseado en RRAM inspirados no colículo inferior ("córtex auditivo") do percebeiro son un método eficiente para calcular a posición usando ITD13, 40, 41, 42, 43, 44, 45, 46. Non obstante, o potencial dos sistemas neuromórficos completos que vinculan as indicacións auditivas con gráficas computacionais aínda están por demostrar. O principal problema é a variabilidade inherente dos circuítos CMOS analóxicos, que afecta á precisión da detección de coincidencias. Recentemente, demostráronse implementacións numéricas alternativas das estimacións ITD47. Neste artigo, propoñemos utilizar a capacidade da RRAM para cambiar o valor de condutancia de forma non volátil para contrarrestar a variabilidade nos circuítos analóxicos. Implementamos un sistema experimental composto por unha membrana transmisora ​​de pMUT que opera a unha frecuencia de 111,9 kHz, dúas membranas receptoras de pMUT (sensores) que simulan orellas de percebeiro e unha . Caracterizamos experimentalmente o sistema de detección pMUT e o gráfico computacional ITD baseado en RRAM para probar o noso sistema de localización e avaliar a súa resolución angular.
Comparamos o noso método cunha implementación dixital nun microcontrolador que realiza a mesma tarefa de localización mediante métodos convencionais de formación de feixe ou neuromórficos, así como unha matriz de porta programable de campo (FPGA) para a estimación de ITD proposta na referencia. 47. Esta comparación destaca a eficiencia energética competitiva do sistema neuromórfico analóxico baseado en RRAM proposto.
Un dos exemplos máis rechamantes dun sistema de localización de obxectos preciso e eficiente pódese atopar no percebeiro35,37,48. Ao atardecer e ao amencer, o percebeiro (Tyto Alba) confía principalmente na escoita pasiva, buscando activamente pequenas presas como os ratones ou os ratos. Estes expertos en audición poden localizar os sinais auditivos das presas cunha precisión asombrosa (uns 2°)35, como se mostra na figura 1a. Os percebeiros deducen a localización das fontes sonoras no plano acimutal (horizontal) a partir da diferenza no tempo de voo entrante (ITD) desde a fonte sonora ata os dous oídos. O mecanismo computacional ITD foi proposto por Jeffress49,50 que se basea na xeometría neural e require dous compoñentes clave: un axón, a fibra nerviosa dunha neurona que actúa como unha liña de retardo e unha serie de neuronas detectoras de coincidencias organizadas nun sistema computacional. gráfico como se mostra na figura 1b. O son chega ao oído cun retardo de tempo dependente do acimut (ITD). Despois, o son convértese nun patrón de picos en cada oído. Os axóns dos oídos esquerdo e dereito actúan como liñas de retardo e conflúen nas neuronas CD. Teoricamente, só unha neurona dunha matriz de neuronas coincidentes recibirá entrada á vez (onde o atraso cancela exactamente) e dispararase ao máximo (as células veciñas tamén se dispararán, pero a unha frecuencia máis baixa). A activación de certas neuronas codifica a posición do obxectivo no espazo sen converter a ITD en ángulos. Este concepto resúmese na Figura 1c: por exemplo, se o son vén do lado dereito cando o sinal de entrada do oído dereito percorre un camiño máis longo que o do oído esquerdo, compensando o número de ITD, por exemplo, cando a neurona 2 coincide. Noutras palabras, cada CD responde a un certo ITD (tamén coñecido como retardo óptimo) debido ao atraso axonal. Así, o cerebro converte a información temporal en información espacial. Atopáronse probas anatómicas deste mecanismo37,51. As neuronas macronúcleos bloqueadas por fase almacenan información temporal sobre os sons entrantes: como o seu nome indica, disparan en certas fases do sinal. No núcleo laminar pódense atopar neuronas detectoras de coincidencia do modelo Jeffress. Reciben información das neuronas macronucleares, cuxos axóns actúan como liñas de retardo. A cantidade de atraso que proporciona a liña de atraso pódese explicar pola lonxitude do axón, así como por outro patrón de mielinización que cambia a velocidade de condución. Inspirados no sistema auditivo do percebeiro, desenvolvemos un sistema biomimético para a localización de obxectos. Os dous oídos están representados por dous receptores pMUT. A fonte sonora é o transmisor pMUT situado entre eles (Fig. 1a), e a gráfica computacional está formada por unha cuadrícula de circuítos CD baseados en RRAM (Fig. 1b, verde), desempeñando o papel de neuronas CD cuxas entradas son atrasadas. a través do circuíto, as liñas de retardo (azuis) actúan como axóns na contraparte biolóxica. O sistema sensorial proposto difire na frecuencia de funcionamento da curuxa, cuxo sistema auditivo opera no rango de 1-8 kHz, pero neste traballo utilízanse sensores pMUT que funcionan a uns 117 kHz. A selección dun transdutor ultrasónico considérase segundo criterios técnicos e de optimización. En primeiro lugar, limitar o ancho de banda de recepción a unha única frecuencia mellora idealmente a precisión da medición e simplifica o paso posterior ao procesamento. Ademais, o funcionamento en ultrasóns ten a vantaxe de que os pulsos emitidos non son audibles, polo que non molestan ás persoas, xa que o seu rango auditivo é de ~20-20 kHz.
o percebeiro recibe ondas sonoras dun obxectivo, neste caso a presa en movemento. O tempo de voo (ToF) da onda sonora é diferente para cada oído (a non ser que a presa estea directamente diante do moucho). A liña de puntos mostra o camiño que percorren as ondas sonoras para chegar ás orellas do percebeiro. As presas pódense localizar con precisión no plano horizontal en función da diferenza de lonxitude entre as dúas vías acústicas e da correspondente diferenza de tempo interaural (ITD) (imaxe da esquerda inspirada na ref. 74, copyright 2002, Society for Neuroscience). No noso sistema, o transmisor pMUT (azul escuro) xera ondas sonoras que rebotan no obxectivo. As ondas de ultrasóns reflectidas son recibidas por dous receptores pMUT (verde claro) e procesadas polo procesador neuromórfico (dereita). b Un modelo computacional ITD (Jeffress) que describe como os sons que entran nas orellas do percebeiro se codifican primeiro como espigas bloqueadas en fase no gran núcleo (NM) e despois empregando unha reixa disposta xeométricamente de neuronas detectoras coincidentes no núcleo lamelar. Procesando (Países Baixos) (esquerda). Ilustración dun gráfico computacional de neuroITD que combina liñas de retardo e neuronas detectoras de coincidencia, o sistema biosensor de curuxa pódese modelar usando circuítos neuromórficos baseados en RRAM (dereita). c Esquema do principal mecanismo de Jeffress, debido á diferenza de ToF, os dous oídos reciben estímulos sonoros en diferentes momentos e envían axóns desde ambos extremos ao detector. Os axóns forman parte dunha serie de neuronas detectoras de coincidencia (CD), cada unha das cales responde selectivamente a entradas fortemente correlacionadas co tempo. Como resultado, só se excitan ao máximo os CD cuxas entradas chegan coa menor diferenza de tempo (ITD compénsase exactamente). O CD codificará entón a posición angular do obxectivo.
Os transdutores ultrasónicos micromecánicos piezoeléctricos son transdutores ultrasónicos escalables que se poden integrar coa tecnoloxía CMOS avanzada31,32,33,52 e teñen menor voltaxe inicial e consumo de enerxía que os transdutores volumétricos tradicionais53. No noso traballo, o diámetro da membrana é de 880 µm e a frecuencia de resonancia distribúese no intervalo de 110-117 kHz (Fig. 2a, ver Métodos para máis detalles). Nun lote de dez dispositivos de proba, o factor de calidade medio foi duns 50 (ref. 31). A tecnoloxía alcanzou a madurez industrial e non está bioinspirada per se. A combinación de información de diferentes películas de pMUT é unha técnica coñecida, e a información de ángulos pódese obter a partir de pMUT utilizando, por exemplo, técnicas de formación de feixes31,54. Non obstante, o procesamento de sinal necesario para extraer a información do ángulo non é adecuado para medicións de baixa potencia. O sistema proposto combina o circuíto de preprocesamento de datos neuromórficos pMUT cun gráfico de computación neuromórfica baseado en RRAM inspirado no modelo Jeffress (Figura 2c), proporcionando unha solución de hardware alternativa eficiente en enerxía e con recursos limitados. Realizamos un experimento no que se colocaron dous sensores pMUT separados aproximadamente 10 cm para explotar os diferentes sons ToF recibidos polas dúas membranas receptoras. Un pMUT que actúa como transmisor sitúase entre os receptores. O obxectivo era unha placa de PVC de 12 cm de ancho, situada a unha distancia D diante do dispositivo pMUT (Fig. 2b). O receptor grava o son reflectido polo obxecto e reacciona o máximo posible durante o paso da onda sonora. Repita o experimento cambiando a posición do obxecto, determinada pola distancia D e o ángulo θ. Inspirado nunha ligazón. 55, propoñemos un pre-procesamento neuromórfico dos sinais en bruto pMUT para converter as ondas reflectidas en picos para introducir un gráfico computacional neuromórfico. O ToF correspondente á amplitude do pico extráese de cada unha das dúas canles e codificase como o tempo exacto dos picos individuais. Sobre a fig. A figura 2c mostra os circuítos necesarios para interconectar o sensor pMUT cun gráfico computacional baseado en RRAM: para cada un dos dous receptores pMUT, o sinal en bruto é filtrado de paso de banda para suavizar, rectificar e despois pasar ao integrador con fugas en modo de superación. o limiar dinámico (Fig. 2d) crea un evento de saída (pico) e unha neurona de disparo (LIF): o tempo de pico de saída codifica o tempo de voo detectado. O limiar LIF calibrase en función da resposta pMUT, reducindo así a variabilidade do pMUT dun dispositivo a outro. Con este enfoque, en lugar de almacenar toda a onda sonora na memoria e procesala máis tarde, simplemente xeramos un pico correspondente ao ToF da onda sonora, que forma a entrada para o gráfico computacional da memoria resistiva. Os picos envíanse directamente ás liñas de retardo e paralelízanse con módulos de detección de coincidencias en gráficos de cálculo neuromórfico. Debido a que se envían ás portas dos transistores, non se precisa ningún circuíto de amplificación adicional (consulte a figura complementaria 4 para obter máis detalles). Para avaliar a precisión angular de localización proporcionada por pMUT e o método de procesamento de sinal proposto, medimos a ITD (é dicir, a diferenza de tempo entre eventos de pico xerados por dous receptores) a medida que variaba a distancia e o ángulo do obxecto. A análise ITD converteuse a ángulos (ver Métodos) e representouse en función da posición do obxecto: a incerteza na ITD medida aumentou coa distancia e o ángulo ao obxecto (Fig. 2e,f). O principal problema é a relación pico-ruído (PNR) na resposta pMUT. Canto máis lonxe estea o obxecto, menor será o sinal acústico, reducindo así o PNR (Fig. 2f, liña verde). Unha diminución do PNR leva a un aumento da incerteza na estimación do ITD, o que resulta nun aumento na precisión da localización (Fig. 2f, liña azul). Para un obxecto a unha distancia de 50 cm do transmisor, a precisión angular do sistema é de aproximadamente 10°. Esta limitación imposta polas características do sensor pódese mellorar. Por exemplo, a presión enviada polo emisor pódese aumentar, aumentando así a tensión que impulsa a membrana pMUT. Outra solución para amplificar o sinal transmitido é conectar varios transmisores 56. Estas solucións aumentarán o rango de detección a costa do aumento dos custos enerxéticos. Pódense facer melloras adicionais no lado receptor. O chan de ruído do receptor do pMUT pódese reducir significativamente mellorando a conexión entre o pMUT e o amplificador da primeira etapa, que se fai actualmente con conexións de cables e cables RJ45.
a Imaxe dun cristal pMUT con seis membranas de 880 µm integradas a un paso de 1,5 mm. b Esquema da configuración de medida. O obxectivo está situado na posición azimutal θ e á distancia D. O transmisor pMUT xera un sinal de 117,6 kHz que rebota no obxectivo e chega a dous receptores pMUT con diferente tempo de voo (ToF). Esta diferenza, definida como a diferenza de tempo inter-aural (ITD), codifica a posición dun obxecto e pódese estimar estimando a resposta máxima dos dous sensores receptores. c Esquema dos pasos de pre-procesamento para converter o sinal pMUT en bruto en secuencias de picos (é dicir, entrada ao gráfico de cálculo neuromórfico). Os sensores pMUT e os gráficos computacionais neuromórficos foron fabricados e probados, e o preprocesamento neuromórfico baséase na simulación de software. d Resposta da membrana pMUT ao recibir un sinal e a súa transformación nun dominio de espiga. e Precisión angular de localización experimental en función do ángulo do obxecto (Θ) e da distancia (D) ao obxecto obxectivo. O método de extracción ITD require unha resolución angular mínima de aproximadamente 4 °C. f Precisión angular (liña azul) e relación pico-ruído correspondente (liña verde) fronte á distancia do obxecto para Θ = 0.
A memoria resistiva almacena a información nun estado condutor non volátil. O principio básico do método é que a modificación do material a nivel atómico provoca un cambio na súa condutividade eléctrica57. Aquí usamos unha memoria resistiva baseada en óxidos que consiste nunha capa de 5 nm de dióxido de hafnio intercalada entre os electrodos de titanio e nitruro de titanio superior e inferior. A condutividade dos dispositivos RRAM pódese cambiar aplicando unha forma de onda de corrente/tensión que crea ou rompe filamentos condutores de vacantes de osíxeno entre os electrodos. Co-integramos tales dispositivos58 nun proceso CMOS estándar de 130 nm para crear un circuíto neuromórfico reconfigurable fabricado que implementa un detector de coincidencias e un circuíto de liña de retardo (Fig. 3a). A natureza analóxica e non volátil do dispositivo, combinada coa natureza impulsada por eventos do circuíto neuromórfico, minimiza o consumo de enerxía. O circuíto ten unha función de acendido/apagado instantáneo: funciona inmediatamente despois de acendelo, permitindo desactivar completamente a enerxía cando o circuíto está inactivo. Os principais bloques de construción do esquema proposto móstranse na fig. 3b. Consta de N estruturas paralelas de un único transistor de resistencia única (1T1R) que codifican pesos sinápticos dos que se toman correntes ponderadas, inxectadas na sinapse común dun integrador de par diferencial (DPI)59 e finalmente inxectadas na sinapse con integración e escape. neurona activada (LIF) 60 (consulte Métodos para máis detalles). Os picos de entrada aplícanse á porta da estrutura 1T1R en forma dunha secuencia de pulsos de tensión cunha duración da orde de centos de nanosegundos. A memoria resistiva pódese colocar nun estado de condución alta (HCS) aplicando unha referencia positiva externa a Vtop cando Vbottom está conectado a terra, e restablecelo a un estado de condución baixa (LCS) aplicando unha tensión positiva a Vbottom cando Vtop está conectado a terra. O valor medio de HCS pódese controlar limitando a corrente de programación (conformidade) do SET (ICC) pola tensión da fonte-porta do transistor en serie (Fig. 3c). As funcións da RRAM no circuíto son dúas: dirixen e ponderan os pulsos de entrada.
Imaxe de microscopio electrónico de varrido (SEM) dun dispositivo azul HfO2 1T1R RRAM integrado en tecnoloxía CMOS de 130 nm con transistores selectores (650 nm de ancho) en verde. b Elementos básicos do esquema neuromórfico proposto. Os pulsos de tensión de entrada (picos) Vin0 e Vin1 consumen Iweight corrente, que é proporcional aos estados de condución G0 e G1 da estrutura 1T1R. Esta corrente inxéctase nas sinapses DPI e excita as neuronas LIF. RRAM G0 e G1 están instalados en HCS e LCS respectivamente. c Función da densidade de condutancia acumulada para un grupo de dispositivos RRAM de 16K en función da coincidencia de corrente ICC, que controla eficazmente o nivel de condución. d As medicións do circuíto en (a) mostran que G1 (no LCS) bloquea efectivamente a entrada de Vin1 (verde), e de feito a tensión da membrana da neurona de saída responde só á entrada azul de Vin0. RRAM determina eficazmente as conexións no circuíto. e Medición do circuíto en (b) que mostra o efecto do valor de condutancia G0 sobre a tensión de membrana Vmem despois de aplicar un pulso de tensión Vin0. Canto máis condutancia, máis forte é a resposta: así, o dispositivo RRAM implementa a ponderación da conexión de E/S. Realizáronse medicións no circuíto e demostran a dobre función da RRAM, o enrutamento e a ponderación dos pulsos de entrada.
En primeiro lugar, dado que hai dous estados básicos de condución (HCS e LCS), as RRAM poden bloquear ou perder pulsos de entrada cando están nos estados LCS ou HCS, respectivamente. Como resultado, a RRAM determina efectivamente as conexións no circuíto. Esta é a base para poder reconfigurar a arquitectura. Para demostralo, describiremos unha implementación de circuítos fabricados do bloque de circuítos na figura 3b. A RRAM correspondente a G0 está programada no HCS e a segunda RRAM G1 está programada no LCS. Os pulsos de entrada aplícanse tanto a Vin0 como a Vin1. Analizáronse os efectos de dúas secuencias de pulsos de entrada nas neuronas de saída recollendo a tensión da membrana neuronal e o sinal de saída mediante un osciloscopio. O experimento tivo éxito cando só se conectou o dispositivo HCS (G0) ao pulso da neurona para estimular a tensión da membrana. Isto demóstrase na Figura 3d, onde o tren de pulsos azul fai que se acumule a tensión da membrana no capacitor de membrana, mentres que o tren de pulsos verde mantén constante a tensión da membrana.
A segunda función importante da RRAM é a implementación de pesos de conexión. Usando o axuste de condutancia analóxica da RRAM, as conexións de E/S pódense ponderar en consecuencia. No segundo experimento, o dispositivo G0 foi programado para diferentes niveis de HCS e o pulso de entrada aplicouse á entrada VIn0. O pulso de entrada extrae unha corrente (peso I) do dispositivo, que é proporcional á condutancia e á caída de potencial correspondente Vtop - Vbot. Esta corrente ponderada inxéctase despois nas sinapses DPI e nas neuronas de saída LIF. A tensión da membrana das neuronas de saída rexistrouse mediante un osciloscopio e mostrouse na figura 3d. O pico de voltaxe da membrana neuronal en resposta a un único pulso de entrada é proporcional á condutancia da memoria resistiva, o que demostra que a RRAM pode usarse como elemento programable de peso sináptico. Estas dúas probas preliminares mostran que a plataforma neuromórfica proposta baseada en RRAM é capaz de implementar os elementos básicos do mecanismo Jeffress básico, é dicir, a liña de retardo e o circuíto detector de coincidencias. A plataforma do circuíto constrúese apilando bloques sucesivos lado a lado, como os bloques da Figura 3b, e conectando as súas portas a unha liña de entrada común. Deseñamos, fabricamos e probamos unha plataforma neuromórfica formada por dúas neuronas de saída que reciben dúas entradas (Fig. 4a). O esquema do circuíto móstrase na figura 4b. A matriz RRAM 2 × 2 superior permite que os pulsos de entrada sexan dirixidos a dúas neuronas de saída, mentres que a matriz inferior 2 × 2 permite conexións recorrentes de dúas neuronas (N0, N1). Demostramos que esta plataforma se pode usar cunha configuración de liña de atraso e dúas funcións de detector de coincidencias diferentes, como se mostra nas medicións experimentais na figura 4c-e.
Diagrama de circuíto formado por dúas neuronas de saída N0 e N1 que reciben dúas entradas 0 e 1. Os catro dispositivos superiores da matriz definen conexións sinápticas de entrada a saída, e as catro celas inferiores definen conexións recorrentes entre neuronas. As RRAM de cores representan os dispositivos configurados no HCS da dereita: os dispositivos do HCS permiten conexións e representan pesos, mentres que os dispositivos do LCS bloquean os pulsos de entrada e desactivan as conexións ás saídas. b Diagrama do circuíto (a) con oito módulos RRAM resaltados en azul. c As liñas de retardo fórmanse simplemente utilizando a dinámica das sinapses DPI e as neuronas LIF. A RRAM verde está configurada para unha condutividade suficientemente alta para poder inducir un fallo na saída despois do atraso de entrada Δt. d Ilustración esquemática da detección de CD insensible á dirección de sinais dependentes do tempo. A neurona de saída 1, N1, dispara nas entradas 0 e 1 cun pequeno retardo. e Circuíto CD sensible á dirección, circuíto que detecta cando a entrada 1 se achega á entrada 0 e chega despois da entrada 0. A saída do circuíto está representada pola neurona 1 (N1).
A liña de atraso (Figura 4c) simplemente usa o comportamento dinámico das sinapses DPI e das neuronas LIF para reproducir o pico de entrada de Vin1 a Vout1 atrasando Tdel. Só a RRAM G3 conectada a Vin1 e Vout1 está programada en HCS, o resto das RRAM están programadas en LCS. O dispositivo G3 foi programado para 92,6 µs para garantir que cada pulso de entrada aumente a tensión da membrana da neurona de saída o suficiente para alcanzar o limiar e xerar un pulso de saída retardado. O atraso Tdel está determinado polas constantes de tempo sináptica e neuronal. Os detectores de coincidencia detectan a aparición de sinais de entrada temporalmente correlacionados pero distribuídos espacialmente. O CD insensible á dirección depende de entradas individuais que converxen nunha neurona de saída común (Figura 4d). As dúas RRAM que conectan Vin0 e Vin1 a Vout1, G2 e G4 respectivamente están programadas para unha alta condución. A chegada simultánea de picos en Vin0 e Vin1 aumenta a tensión da membrana neuronal N1 por riba do limiar necesario para xerar o pico de saída. Se as dúas entradas están demasiado afastadas no tempo, a carga da tensión de membrana acumulada pola primeira entrada pode ter tempo para decaer, evitando que o potencial de membrana N1 alcance o valor límite. G1 e G2 están programados para aproximadamente 65 µs, o que garante que unha soa sobretensión de entrada non aumente a tensión da membrana o suficiente como para provocar unha sobretensión de saída. A detección de coincidencias entre eventos distribuídos no espazo e no tempo é unha operación fundamental utilizada nunha ampla gama de tarefas de detección, como a evitación de obstáculos baseada no fluxo óptico e a localización da fonte de son. Así, a computación de CD sensibles á dirección e insensibles é un bloque fundamental para construír sistemas de localización visual e de audio. Como mostran as características das constantes de tempo (ver a figura complementaria 2), o circuíto proposto implementa un rango axeitado de catro ordes de magnitude escalas de tempo. Así, pode cumprir simultaneamente os requisitos dos sistemas visuais e de son. O CD sensible á dirección é un circuíto sensible á orde espacial de chegada dos pulsos: de dereita a esquerda e viceversa. É un bloque de construción fundamental na rede básica de detección de movemento do sistema visual Drosophila, usado para calcular direccións de movemento e detectar colisións62. Para conseguir un CD sensible á dirección, dúas entradas deben dirixirse a dúas neuronas diferentes (N0, N1) e establecer unha conexión direccional entre elas (Fig. 4e). Cando se recibe a primeira entrada, NO reacciona aumentando a tensión a través da súa membrana por encima do valor límite e enviando unha sobretensión. Este evento de saída, á súa vez, dispara N1 grazas á conexión direccional resaltada en verde. Se chega un evento de entrada Vin1 e energiza a N1 mentres a súa tensión de membrana aínda é alta, N1 xera un evento de saída que indica que se atopou unha coincidencia entre as dúas entradas. As conexións direccionais permiten que o N1 emita saída só se a entrada 1 chega despois da entrada 0. G0, G3 e G7 están programados para 73,5 µS, 67,3 µS e 40,2 µS, respectivamente, garantindo que un único pico na entrada Vin0 cause un atraso. pico de saída, mentres que o potencial de membrana de N1 só alcanza o limiar cando ambas as ráfagas de entrada chegan sincronizadas. .
A variabilidade é unha fonte de imperfección nos sistemas neuromórficos modelados63,64,65. Isto leva a un comportamento heteroxéneo das neuronas e das sinapses. Exemplos de tales desvantaxes inclúen unha variabilidade do 30% (desviación estándar media) na ganancia de entrada, constante de tempo e período refractario, por citar só algúns (ver Métodos). Este problema é aínda máis pronunciado cando varios circuítos neuronais están conectados entre si, como un CD sensible á orientación que consiste en dúas neuronas. Para funcionar correctamente, as constantes de tempo de ganancia e decadencia das dúas neuronas deben ser o máis similares posible. Por exemplo, unha gran diferenza na ganancia de entrada pode facer que unha neurona reaccione de forma exagerada a un pulso de entrada mentres que a outra neurona apenas responde. Sobre a fig. A figura 5a mostra que as neuronas seleccionadas aleatoriamente responden de forma diferente ao mesmo pulso de entrada. Esta variabilidade neuronal é relevante, por exemplo, para a función dos CD sensibles á dirección. No esquema mostrado na fig. 5b, c, a ganancia de entrada da neurona 1 é moito maior que a da neurona 0. Así, a neurona 0 require tres pulsos de entrada (en lugar de 1) para alcanzar o limiar, e a neurona 1, como era de esperar, necesita dous eventos de entrada. A implementación da plasticidade biomimética dependente do tempo de pico (STDP) é unha posible forma de mitigar o impacto de circuítos neuronais e sinápticos imprecisos e lentos no rendemento do sistema43. Aquí propoñemos utilizar o comportamento plástico da memoria resistiva como un medio para influír na mellora da entrada neuronal e reducir os efectos da variabilidade nos circuítos neuromórficos. Como se mostra na fig. 4e, os niveis de condutancia asociados á masa sináptica RRAM modularon de forma efectiva a resposta de tensión da membrana neural correspondente. Usamos unha estratexia de programación RRAM iterativa. Para unha entrada determinada, os valores de condutancia dos pesos sinápticos reprográmanse ata que se obteña o comportamento obxectivo do circuíto (ver Métodos).
a Medicións experimentais da resposta de nove neuronas individuais seleccionadas aleatoriamente ao mesmo pulso de entrada. A resposta varía entre as poboacións, afectando a ganancia de entrada e a constante de tempo. b Medicións experimentais da influencia das neuronas na variabilidade das neuronas que afectan a CD sensible á dirección. As dúas neuronas de saída de CD sensibles á dirección responden de forma diferente aos estímulos de entrada debido á variabilidade de neurona a neurona. A neurona 0 ten unha ganancia de entrada máis baixa que a neurona 1, polo que se necesitan tres pulsos de entrada (en lugar de 1) para crear un pico de saída. Como era de esperar, a neurona 1 alcanza o limiar con dous eventos de entrada. Se a entrada 1 chega Δt = 50 µs despois de que se dispare a neurona 0, CD permanece en silencio porque Δt é maior que a constante de tempo da neurona 1 (uns 22 µs). c redúcese en Δt = 20 µs, polo que a entrada 1 alcanza un máximo cando o disparo da neurona 1 aínda é alto, o que provoca a detección simultánea de dous eventos de entrada.
Os dous elementos utilizados na columna de cálculo ITD son a liña de retardo e o CD insensible á dirección. Ambos circuítos requiren unha calibración precisa para garantir un bo rendemento de posicionamento do obxecto. A liña de atraso debe entregar unha versión precisamente retardada do pico de entrada (Fig. 6a), e o CD debe activarse só cando a entrada cae dentro do rango de detección do obxectivo. Para a liña de atraso, os pesos sinápticos das conexións de entrada (G3 na figura 4a) foron reprogramados ata que se obtivo o atraso obxectivo. Establece unha tolerancia ao redor do atraso obxectivo para deter o programa: canto menor sexa a tolerancia, máis difícil será establecer con éxito a liña de atraso. Sobre a fig. A figura 6b mostra os resultados do proceso de calibración da liña de atraso: pódese ver que o esquema proposto pode proporcionar exactamente todos os atrasos necesarios no esquema de deseño (de 10 a 300 μs). O número máximo de iteracións de calibración afecta á calidade do proceso de calibración: 200 iteracións poden reducir o erro a menos do 5%. Unha iteración de calibración corresponde a unha operación de configuración/reinicio dunha célula RRAM. O proceso de sintonización tamén é fundamental para mellorar a precisión da detección de eventos de peche instantáneo do módulo de CD. Foron necesarias dez iteracións de calibración para acadar unha taxa verdadeiramente positiva (é dicir, a taxa de eventos correctamente identificada como relevante) superior ao 95 % (liña azul na Figura 6c). Non obstante, o proceso de sintonización non afectou aos falsos positivos (é dicir, á frecuencia dos eventos que se identificaron erroneamente como relevantes). Outro método observado nos sistemas biolóxicos para superar as limitacións de tempo das vías de activación rápida é a redundancia (é dicir, utilízanse moitas copias do mesmo obxecto para realizar unha función determinada). Inspirados na bioloxía66, colocamos varios circuítos de CD en cada módulo de CD entre as dúas liñas de retardo para reducir o impacto dos falsos positivos. Como se mostra na fig. 6c (liña verde), colocar tres elementos de CD en cada módulo de CD pode reducir a taxa de falsas alarmas a menos de 10–2.
a Efecto da variabilidade neuronal nos circuítos da liña de retardo. b Os circuítos de liña de retardo pódense escalar a grandes atrasos configurando as constantes de tempo das correspondentes neuronas LIF e das sinapses DPI en valores grandes. O aumento do número de iteracións do procedemento de calibración da RRAM permitiu mellorar significativamente a precisión do atraso obxectivo: 200 iteracións reduciron o erro a menos do 5%. Unha iteración corresponde a unha operación SET/RESET nunha cela RRAM. Cada módulo de CD no modelo c Jeffress pódese implementar utilizando N elementos CD paralelos para unha maior flexibilidade con respecto aos fallos do sistema. d Máis iteracións de calibración de RRAM aumentan a taxa de verdadeiro positivo (liña azul), mentres que a taxa de falsos positivos é independente do número de iteracións (liña verde). Colocar máis elementos de CD en paralelo evita a detección falsa de coincidencias de módulos de CD.
Agora avaliamos o rendemento e o consumo de enerxía do sistema de localización de obxectos integrado de extremo a extremo que se mostra na Figura 2 utilizando medicións das propiedades acústicas do sensor pMUT, CD e circuítos de liña de retardo que compoñen o gráfico de computación neuromórfica. Modelo Jeffress (Fig. 1a). En canto ao gráfico de computación neuromórfica, canto maior sexa o número de módulos CD, mellor resolución angular, pero tamén maior enerxía do sistema (Fig. 7a). Pódese alcanzar un compromiso comparando a precisión dos compoñentes individuais (sensores pMUT, neuronas e circuítos sinápticos) coa precisión de todo o sistema. A resolución da liña de atraso está limitada polas constantes de tempo das sinapses e neuronas simuladas, que no noso esquema superan os 10 µs, o que corresponde a unha resolución angular de 4° (ver Métodos). Os nós máis avanzados con tecnoloxía CMOS permitirán o deseño de circuítos neuronais e sinápticos con menores constantes de tempo, o que resultará nunha maior precisión dos elementos da liña de retardo. Non obstante, no noso sistema, a precisión está limitada polo erro pMUT ao estimar a posición angular, é dicir, 10° (liña horizontal azul na figura 7a). Fixamos o número de módulos CD en 40, o que corresponde a unha resolución angular duns 4°, é dicir, a precisión angular do gráfico computacional (liña horizontal azul claro na figura 7a). A nivel do sistema, isto dá unha resolución de 4° e unha precisión de 10° para os obxectos situados a 50 cm por diante do sistema de sensor. Este valor é comparable aos sistemas de localización de sons neuromórficos informados na ref. 67. Na táboa complementaria 1 pódese atopar unha comparación do sistema proposto co estado da arte. Engadir pMUT adicionais, aumentar o nivel de sinal acústico e reducir o ruído electrónico son posibles formas de mellorar aínda máis a precisión da localización. ) estímase en 9,7. nz. 55. Dadas 40 unidades de CD no gráfico computacional, a simulación SPICE estimou a enerxía por operación (é dicir, a enerxía de posicionamento do obxecto) en 21,6 nJ. O sistema neuromórfico actívase só cando chega un evento de entrada, é dicir, cando unha onda acústica chega a calquera receptor pMUT e supera o limiar de detección, se non, permanece inactiva. Isto evita un consumo de enerxía innecesario cando non hai sinal de entrada. Considerando unha frecuencia de operacións de localización de 100 Hz e un período de activación de 300 µs por operación (o ITD máximo posible), o consumo de enerxía do gráfico de computación neuromórfica é de 61,7 nW. Co pre-procesamento neuromórfico aplicado a cada receptor pMUT, o consumo de enerxía de todo o sistema alcanza os 81,6 nW. Para comprender a eficiencia enerxética do enfoque neuromórfico proposto en comparación co hardware convencional, comparamos este número coa enerxía necesaria para realizar a mesma tarefa nun microcontrolador moderno de baixa potencia mediante a formación de feixe neuromórfico ou convencional68. O enfoque neuromórfico considera unha etapa de conversor analóxico a dixital (ADC), seguida dun filtro pasabanda e unha etapa de extracción de envolvente (método de Teeger-Kaiser). Finalmente, realízase unha operación de limiar para extraer o ToF. Omitimos o cálculo de ITD baseado en ToF e a conversión á posición angular estimada xa que isto ocorre unha vez por cada medición (ver Métodos). Asumindo unha frecuencia de mostraxe de 250 kHz en ambas canles (receptores pMUT), 18 operacións de filtro pasa banda, 3 operacións de extracción de envolvente e 1 operación de limiar por mostra, o consumo total de enerxía estímase en 245 microvatios. Isto usa o modo de baixa potencia do microcontrolador69, que se activa cando os algoritmos non se están executando, o que reduce o consumo de enerxía a 10,8 µW. O consumo de enerxía da solución de procesamento de sinal de formación de feixe proposta na referencia. 31, con 5 receptores pMUT e 11 feixes uniformemente distribuídos no plano azimutal [-50°, +50°], é de 11,71 mW (consulta a sección Métodos para máis detalles). Ademais, informamos do consumo de enerxía dun codificador de diferenza de tempo (TDE) baseado en FPGA47 estimado en 1,5 mW como substituto do modelo Jeffress para a localización de obxectos. Con base nestas estimacións, o enfoque neuromórfico proposto reduce o consumo de enerxía en cinco ordes de magnitude en comparación cun microcontrolador que utiliza técnicas clásicas de formación de feixes para operacións de localización de obxectos. A adopción dun enfoque neuromórfico para o procesamento de sinal nun microcontrolador clásico reduce o consumo de enerxía nunhas dúas ordes de magnitude. A eficacia do sistema proposto pode explicarse pola combinación dun circuíto analóxico asíncrono de memoria resistiva capaz de realizar cálculos en memoria e a falta de conversión analóxica a dixital necesaria para percibir os sinais.
a Resolución angular (azul) e consumo de enerxía (verde) da operación de localización en función do número de módulos CD. A barra horizontal azul escuro representa a precisión angular do PMUT e a barra horizontal azul claro representa a precisión angular do gráfico computacional neuromórfico. b Consumo de enerxía do sistema proposto e comparación coas dúas implementacións de microcontroladores comentadas e implementación dixital do Codificador de Diferencia Temporal (TDE)47 FPGA.
Para minimizar o consumo de enerxía do sistema de localización de destino, concibimos, deseñamos e implementamos un circuíto neuromórfico eficiente, baseado en RRAM, impulsado por eventos, que procesa a información do sinal xerada polos sensores incorporados para calcular a posición do obxecto obxectivo en realidade. tempo. . Mentres que os métodos de procesamento tradicionais mostran continuamente os sinais detectados e realizan cálculos para extraer información útil, a solución neuromórfica proposta realiza cálculos de forma asíncrona a medida que chega a información útil, maximizando a eficiencia energética do sistema en cinco ordes de magnitude. Ademais, destacamos a flexibilidade dos circuítos neuromórficos baseados en RRAM. A capacidade da RRAM para cambiar a condutancia de forma non volátil (plasticidade) compensa a variabilidade inherente dos circuítos sinápticos e neuronais de DPI analóxicos de potencia ultra baixa. Isto fai que este circuíto baseado en RRAM sexa versátil e potente. O noso obxectivo non é extraer funcións ou patróns complexos dos sinais, senón localizar obxectos en tempo real. O noso sistema tamén pode comprimir o sinal de forma eficiente e eventualmente envialo a outros pasos de procesamento para tomar decisións máis complexas cando sexa necesario. No contexto das aplicacións de localización, o noso paso de preprocesamento neuromórfico pode proporcionar información sobre a localización dos obxectos. Esta información pódese utilizar, por exemplo, para a detección de movemento ou o recoñecemento de xestos. Destacamos a importancia de combinar sensores de potencia ultra baixa como pMUT con electrónica de potencia ultra baixa. Para iso, os enfoques neuromórficos foron clave xa que nos levaron a desenvolver novas implementacións de circuítos de métodos computacionais inspirados bioloxicamente como o modelo Jeffress. No contexto das aplicacións de fusión de sensores, o noso sistema pódese combinar con varios sensores baseados en eventos diferentes para obter información máis precisa. Aínda que os mouchos son excelentes para atopar presas na escuridade, teñen unha excelente vista e realizan unha busca combinada auditiva e visual antes de capturar presas70. Cando se dispara unha neurona auditiva determinada, a curuxa recibe a información que precisa para determinar en que dirección iniciar a súa busca visual, centrando así a súa atención nunha pequena parte da escena visual. Debería explorarse unha combinación de sensores visuais (cámara DVS) e un sensor de escoita proposto (baseado en pMUT) para o desenvolvemento de futuros axentes autónomos.
O sensor pMUT está situado nunha PCB con dous receptores separados aproximadamente 10 cm e o transmisor está situado entre os receptores. Neste traballo, cada membrana é unha estrutura bimorfa suspendida formada por dúas capas de nitruro de aluminio piezoeléctrico (AlN) de 800 nm de espesor intercaladas entre tres capas de molibdeno (Mo) de 200 nm de espesor e recubertas cunha capa de 200 nm de espesor. a capa superior de SiN pasivada como se describe na referencia. 71. Os electrodos internos e exteriores aplícanse ás capas inferior e superior de molibdeno, mentres que o electrodo medio de molibdeno non está modelado e utilízase como terra, o que resulta nunha membrana con catro pares de electrodos.
Esta arquitectura permite o uso dunha deformación común da membrana, o que resulta nunha mellora da sensibilidade de transmisión e recepción. Tal pMUT normalmente presenta unha sensibilidade de excitación de 700 nm/V como emisor, proporcionando unha presión superficial de 270 Pa/V. Como receptor, unha película pMUT presenta unha sensibilidade de curtocircuíto de 15 nA/Pa, que está directamente relacionada co coeficiente piezoeléctrico de AlN. A variabilidade técnica da tensión na capa de AlN leva a un cambio na frecuencia de resonancia, que se pode compensar aplicando unha polarización de CC ao pMUT. A sensibilidade de CC foi medida a 0,5 kHz/V. Para a caracterización acústica, utilízase un micrófono diante do pMUT.
Para medir o pulso de eco, colocamos unha placa rectangular cunha superficie duns 50 cm2 diante do pMUT para reflectir as ondas sonoras emitidas. Tanto a distancia entre as placas como o ángulo relativo ao plano pMUT contrólanse mediante soportes especiais. Unha fonte de tensión Tectronix CPX400DP polariza tres membranas pMUT, afinando a frecuencia de resonancia a 111,9 kHz31, mentres que os transmisores son impulsados ​​por un xerador de pulsos Tectronix AFG 3102 sintonizado coa frecuencia de resonancia (111,9 kHz) e un ciclo de traballo de 0. As correntes lidas dos catro portos de saída de cada receptor pMUT convértense en tensións mediante unha arquitectura diferencial de corrente e tensión especial, e os sinais resultantes son dixitalizados polo sistema de adquisición de datos Spektrum. O límite de detección caracterizouse pola adquisición do sinal pMUT en diferentes condicións: movemos o reflector a diferentes distancias [30, 40, 50, 60, 80, 100] cm e cambiamos o ángulo de apoio pMUT ([0, 20, 40] o ) A figura 2b mostra a resolución de detección temporal de ITD dependendo da posición angular correspondente en graos.
Este artigo usa dous circuítos RRAM dispoñibles diferentes. O primeiro é unha matriz de 16.384 (16.000) dispositivos (128 × 128 dispositivos) nunha configuración 1T1R cun transistor e unha resistencia. O segundo chip é a plataforma neuromórfica que se mostra na figura 4a. A célula RRAM consiste nunha película de HfO2 de 5 nm de espesor embebida nunha pila de TiN/HfO2/Ti/TiN. A pila RRAM está integrada no back-of-line (BEOL) do proceso CMOS estándar de 130 nm. Os circuítos neuromórficos baseados en RRAM presentan un desafío de deseño para sistemas electrónicos totalmente analóxicos nos que coexisten dispositivos RRAM coa tecnoloxía CMOS tradicional. En particular, o estado de condución do dispositivo RRAM debe ser lido e usado como unha variable de función para o sistema. Para iso, deseñouse, fabricouse e probou un circuíto que le a corrente do dispositivo cando se recibe un pulso de entrada e utiliza esta corrente para ponderar a resposta dunha sinapse integradora de par diferencial (DPI). Este circuíto móstrase na Figura 3a, que representa os bloques básicos da plataforma neuromórfica na Figura 4a. Un pulso de entrada activa a porta do dispositivo 1T1R, inducindo unha corrente a través da RRAM proporcional á condutancia G do dispositivo (Iweight = G(Vtop – Vx)). A entrada inversora do circuíto do amplificador operacional (op-amp) ten unha tensión de polarización de CC constante Vtop. A retroalimentación negativa do amplificador operacional proporcionará Vx = Vtop proporcionando a mesma corrente desde M1. O peso I actual recuperado do dispositivo inxéctase na sinapse DPI. Unha corrente máis forte producirá unha maior despolarización, polo que a condutancia RRAM implementa de forma efectiva os pesos sinápticos. Esta corrente sináptica exponencial inxéctase a través do capacitor de membrana das neuronas de integración e excitación con fugas (LIF), onde se integra como voltaxe. Se se supera a tensión de limiar da membrana (a tensión de conmutación do inversor), actívase a parte de saída da neurona, producindo un pico de saída. Este pulso volve e desvía o capacitor de membrana da neurona a terra, facendo que se descargue. Este circuíto complétase entón cun expansor de pulso (non mostrado na figura 3a), que configura o pulso de saída da neurona LIF para o ancho do pulso obxectivo. Os multiplexadores tamén están integrados en cada liña, o que permite aplicar tensión aos electrodos superior e inferior do dispositivo RRAM.
As probas eléctricas inclúen a análise e rexistro do comportamento dinámico dos circuítos analóxicos, así como a programación e lectura de dispositivos RRAM. Ambos pasos requiren ferramentas especiais, todas elas conectadas á placa do sensor ao mesmo tempo. O acceso aos dispositivos RRAM en circuítos neuromórficos realízase desde ferramentas externas a través dun multiplexor (MUX). O MUX separa a célula 1T1R do resto dos circuítos aos que pertence, permitindo ler e/ou programar o dispositivo. Para programar e ler dispositivos RRAM, utilízase unha máquina Keithley 4200 SCS xunto cun microcontrolador Arduino: o primeiro para a xeración de pulsos precisos e lectura de corrente, e o segundo para o acceso rápido a elementos individuais 1T1R na matriz de memoria. A primeira operación é formar o dispositivo RRAM. As celas son seleccionadas unha por unha e aplícase unha tensión positiva entre os electrodos superior e inferior. Neste caso, a corrente está limitada á orde de decenas de microamperios debido á subministración da tensión de porta correspondente ao transistor selector. A célula RRAM pode entón circular entre un estado condutor baixo (LCS) e un estado condutor alto (HCS) usando as operacións RESET e SET, respectivamente. A operación SET realízase aplicando un pulso de tensión rectangular cunha duración de 1 μs e unha tensión de pico de 2,0-2,5 V ao electrodo superior, e un pulso de sincronización de forma similar cunha tensión de pico de 0,9-1,3 V para a porta do transistor selector. Estes valores permiten modular a condutancia RRAM en intervalos de 20-150 µs. Para o RESET, aplícase un pulso de pico de 1 µs de ancho e 3 V ao electrodo inferior (liña de bits) da cela cando a tensión da porta está no rango de 2,5-3,0 V. As entradas e saídas dos circuítos analóxicos son sinais dinámicos. . Para a entrada, intercalamos dous xeradores de pulsos HP 8110 con xeradores de sinais Tektronix AFG3011. O pulso de entrada ten un ancho de 1 µs e un bordo de subida/descenso de 50 ns. Suponse que este tipo de pulso é un fallo típico nos circuítos baseados en fallos analóxicos. En canto ao sinal de saída, o sinal de saída rexistrouse mediante un osciloscopio Teledyne LeCroy de 1 GHz. Probouse que a velocidade de adquisición dun osciloscopio non é un factor limitante na análise e adquisición de datos do circuíto.
Usar a dinámica da electrónica analóxica para simular o comportamento das neuronas e das sinapses é unha solución elegante e eficiente para mellorar a eficiencia computacional. A desvantaxe desta base computacional é que variará dun esquema a outro. Cuantificamos a variabilidade das neuronas e dos circuítos sinápticos (figuras complementarias 2a, b). De todas as manifestacións de variabilidade, as asociadas ás constantes de tempo e á ganancia de entrada teñen o maior impacto a nivel do sistema. A constante de tempo da neurona LIF e da sinapse DPI está determinada por un circuíto RC, onde o valor de R está controlado por unha tensión de polarización aplicada á porta do transistor (Vlk para a neurona e Vtau para a sinapse), determinando o taxa de fuga. A ganancia de entrada defínese como a tensión máxima alcanzada polos condensadores da membrana sináptica e neuronal estimulados por un pulso de entrada. A ganancia de entrada está controlada por outro transistor de polarización que modula a corrente de entrada. Realizouse unha simulación de Monte Carlo calibrada no proceso de 130 nm de ST Microelectronics para recoller algunhas estatísticas de ganancia de entrada e constante de tempo. Os resultados preséntanse na figura complementaria 2, onde a ganancia de entrada e a constante de tempo se cuantifican en función da tensión de polarización que controla a taxa de fuga. Os marcadores verdes cuantifican a desviación estándar da constante de tempo respecto da media. Tanto as neuronas como os circuítos sinápticos foron capaces de expresar unha ampla gama de constantes de tempo no intervalo de 10-5-10-2 s, como se mostra no esquema da figura complementaria. A amplificación de entrada (figura complementaria 2e, d) da variabilidade neuronal e da sinapse foi de aproximadamente 8% e 3%, respectivamente. Tal deficiencia está ben documentada na literatura: realizáronse varias medicións na matriz de chips DYNAP para avaliar o desaxuste entre poboacións de neuronas LIF63. Medironse as sinapses do chip de sinal mixto BrainScale e analizáronse as súas inconsistencias, e propúxose un procedemento de calibración para reducir o efecto da variabilidade a nivel do sistema64.
A función da RRAM nos circuítos neuromórficos é dobre: ​​definición da arquitectura (enrutamento de entradas a saídas) e implementación de pesos sinápticos. Esta última propiedade pódese utilizar para resolver o problema da variabilidade dos circuítos neuromórficos modelados. Desenvolvemos un procedemento de calibración sinxelo que consiste en reprogramar o dispositivo RRAM ata que o circuíto que se está a analizar cumpra determinados requisitos. Para unha entrada determinada, monitorízase a saída e reprogramase a RRAM ata que se consiga o comportamento obxectivo. Introduciuse un tempo de espera de 5 s entre as operacións de programación para resolver o problema da relaxación da RRAM que orixina flutuacións transitorias de condutancia (información complementaria). Os pesos sinápticos axústanse ou calibran segundo os requisitos do circuíto neuromórfico que se está a modelar. O procedemento de calibración resúmese en algoritmos adicionais [1, 2] que se centran en dúas características fundamentais das plataformas neuromórficas, liñas de retardo e CD insensible á dirección. Para un circuíto cunha liña de retardo, o comportamento obxectivo é proporcionar un pulso de saída cun retardo Δt. Se o atraso do circuíto real é menor que o valor obxectivo, o peso sináptico de G3 debería reducirse (G3 debería restablecerse e, a continuación, establecerse nunha corrente de coincidencia menor Icc). Pola contra, se o atraso real é maior que o valor obxectivo, a condutancia de G3 debe ser aumentada (G3 primeiro debe ser reiniciado e despois axustado a un valor Icc máis alto). Este proceso repítese ata que o atraso xerado polo circuíto coincida co valor obxectivo e se establece unha tolerancia para deter o proceso de calibración. Para CDs insensibles á orientación, no proceso de calibración están implicados dous dispositivos RRAM, G1 e G3. Este circuíto ten dúas entradas, Vin0 e Vin1, retardadas por dt. O circuíto só debe responder a atrasos por debaixo do intervalo de coincidencia [0,dtCD]. Se non hai un pico de saída, pero o pico de entrada está próximo, ambos os dispositivos RRAM deberían potenciarse para axudar á neurona a alcanzar o limiar. Pola contra, se o circuíto responde a un atraso que supera o rango obxectivo de dtCD, a condutancia debe reducirse. Repita o proceso ata obter o comportamento correcto. A corrente de conformidade pode ser modulada polo circuíto analóxico incorporado na ref. 72,73. Con este circuíto incorporado, estes procedementos pódense realizar periodicamente para calibrar o sistema ou reutilizalo para outra aplicación.
Avaliamos o consumo de enerxía do noso enfoque de procesamento de sinal neuromórfico nun microcontrolador estándar de 32 bits68. Nesta avaliación, asumimos o funcionamento coa mesma configuración que neste traballo, cun transmisor pMUT e dous receptores pMUT. Este método utiliza un filtro pasabanda, seguido dun paso de extracción de envolvente (Teeger-Kaiser) e, finalmente, aplícase unha operación de limiar ao sinal para extraer o tempo de voo. O cálculo do ITD e a súa conversión en ángulos de detección omítense na avaliación. Consideramos unha implementación de filtro pasabanda usando un filtro de resposta de impulso infinito de 4º orde que require 18 operacións de coma flotante. A extracción de sobre usa tres operacións de coma flotante máis, e a última operación úsase para establecer o limiar. Requírense un total de 22 operacións de coma flotante para preprocesar o sinal. O sinal transmitido é unha ráfaga curta de forma de onda sinusoidal de 111,9 kHz xerada cada 10 ms que resulta nunha frecuencia de operación de posicionamento de 100 Hz. Usamos unha frecuencia de mostraxe de 250 kHz para cumprir con Nyquist e unha xanela de 6 ms para cada medición para capturar un rango de 1 metro. Teña en conta que 6 milisegundos é o tempo de voo dun obxecto que está a 1 metro de distancia. Isto proporciona un consumo de enerxía de 180 µW para conversión A/D a 0,5 MSPS. O preprocesamento do sinal é de 6,60 MIPS (instrucións por segundo), xerando 0,75 mW. Non obstante, o microcontrolador pode cambiar a un modo de baixa potencia 69 cando o algoritmo non se executa. Este modo proporciona un consumo de enerxía estática de 10,8 μW e un tempo de activación de 113 μs. Dada unha frecuencia de reloxo de 84 MHz, o microcontrolador completa todas as operacións do algoritmo neuromórfico nun prazo de 10 ms, e o algoritmo calcula un ciclo de traballo do 6,3%, empregando así un modo de baixa potencia. A disipación de potencia resultante é de 244,7 μW. Teña en conta que omitimos a saída ITD de ToF e a conversión ao ángulo de detección, subestimando así o consumo de enerxía do microcontrolador. Isto proporciona un valor adicional para a eficiencia enerxética do sistema proposto. Como condición de comparación adicional, avaliamos o consumo de enerxía dos métodos clásicos de formación de feixes propostos na referencia. 31,54 cando está integrado no mesmo microcontrolador68 a unha tensión de alimentación de 1,8 V. Úsanse cinco membranas pMUT espazadas uniformemente para adquirir datos para a formación de feixe. En canto ao procesamento en si, o método de formación de feixe utilizado é a suma de retardo. Simplemente consiste en aplicar aos carrís un atraso que se corresponda coa diferenza prevista nos tempos de chegada entre un carril e o carril de referencia. Se os sinais están en fase, a suma destes sinais terá unha enerxía elevada despois dun cambio de tempo. Se están desfasados, a interferencia destrutiva limitará a enerxía da súa suma. nunha relación. Sobre a fig. 31, selecciónase unha taxa de mostraxe de 2 MHz para desprazar os datos nun número enteiro de mostras. Un enfoque máis modesto é manter unha frecuencia de mostraxe máis grosa de 250 kHz e utilizar un filtro de resposta de impulso finito (FIR) para sintetizar atrasos fraccionarios. Asumiremos que a complexidade do algoritmo de formación de feixe está determinada principalmente polo cambio de tempo, xa que cada canle está implicada cun filtro FIR con 16 toques en cada dirección. Para calcular o número de MIPS necesarios para esta operación, consideramos unha xanela de 6 ms por medición para capturar un rango de 1 metro, 5 canles, 11 direccións de formación de feixe (rango +/- 50° en pasos de 10°). 75 medicións por segundo impulsaron o microcontrolador ao seu máximo de 100 MIPS. Ligazón. 68, o que resulta nunha disipación de potencia de 11,26 mW para unha disipación de potencia total de 11,71 mW despois de engadir a contribución ADC a bordo.
Os datos que apoian os resultados deste estudo están dispoñibles do autor respectivo, FM, previa solicitude razoable.
Indiveri, G. & Sandamirskaya, Y. A importancia do espazo e do tempo para o procesamento de sinais en axentes neuromórficos: o desafío de desenvolver axentes autónomos de baixa potencia que interactúan co medio ambiente. Indiveri, G. & Sandamirskaya, Y. A importancia do espazo e do tempo para o procesamento de sinais en axentes neuromórficos: o desafío de desenvolver axentes autónomos de baixa potencia que interactúan co medio ambiente.Indiveri G. e Sandamirskaya Y. A importancia do espazo e do tempo para o procesamento de sinais en axentes neuromórficos: o desafío de desenvolver axentes autónomos de baixa potencia que interactúan co medio ambiente. Indiveri, G. & Sandamirskaya, Y.空间和时间对于神经形态代理中信号处理的重要性：开发与环境交互的低功耗、自主代理的挑战。 Indiveri, G. & Sandamirskaya, Y.Indiveri G. e Sandamirskaya Y. A importancia do espazo e do tempo para o procesamento de sinais en axentes neuromórficos: o desafío de desenvolver axentes autónomos de baixa potencia que interactúan co medio ambiente.Procesamento de sinal IEEE. Xornal 36, 16–28 (2019).
Thorpe, SJ Hora máxima de chegada: un esquema de codificación de rede neuronal eficiente. en Eckmiller, R., Hartmann, G. & Hauske, G. (eds). en Eckmiller, R., Hartmann, G. & Hauske, G. (eds).en Eckmiller, R., Hartmann, G. e Hauske, G. (eds.).En Eckmiller, R., Hartmann, G. e Hauske, G. (eds.). Procesamento paralelo en sistemas neuronais e ordenadores 91–94 (North-Holland Elsevier, 1990).
Levy, WB & Calvert, VG Communication consome 35 veces máis enerxía que a computación no córtex humano, pero ambos os custos son necesarios para predicir o número de sinapsis. Levy, WB & Calvert, VG Communication consome 35 veces máis enerxía que a computación no córtex humano, pero ambos os custos son necesarios para predicir o número de sinapsis.Levy, WB e Calvert, WG Communication consome 35 veces máis enerxía que a computación no córtex humano, pero ambos os custos son necesarios para predicir o número de sinapses. Levy, WB & Calvert, VG Communications Levy, WB & Calvert, VG CommunicationLevy, WB e Calvert, WG Communication consome 35 veces máis enerxía que a computación no córtex humano, pero ambos os custos requiren predicir o número de sinapses.proceso. Academia Nacional de Ciencias. a ciencia. EU 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing.Dalgati, T., Vianello, E., DeSalvo, B. e Casas, J. Insect-inspired neuromorphic computing.Dalgati T., Vianello E., DeSalvo B. e Casas J. Insect-inspired neuromorphic computing. Actual. Opinión. Ciencia dos insectos. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Towards spike-based machine intelligence with neuromorphic computing. Roy, K., Jaiswal, A. & Panda, P. Towards spike-based machine intelligence with neuromorphic computing. Roy, K., Jaiswal, A. & Panda, P. Towards Spike-Based Machine Intelligence with Neuromorphic Computing.Roy K, Jaiswal A e Panda P. Intelixencia artificial baseada en pulsos usando computación neuromórfica. Natureza 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. e Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. e Liu, S.-K.Memoria e procesamento da información en sistemas neuromórficos. proceso. IEEE 103, 1379–1397 (2015).
Akopyan F. et al. Truenorth: deseño e conxunto de ferramentas para un chip sináptico programable de neuronas de 65 mW e 1 millón de neuronas. Transaccións IEEE. Deseño informático de sistemas de circuítos integrados. 34, 1537–1557 (2015).
Schemmel, J. et al. Demo en directo: versión reducida do sistema neuromórfico BrainScaleS a escala de placas. 2012 IEEE International Symposium on Circuits and Systems (ISCAS), (ed. IEEE) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. e Indiveri, G. Unha arquitectura multinúcleo escalable con estruturas de memoria heteroxéneas para procesadores asíncronos neuromórficos dinámicos (DYNAP). Moradi, S., Qiao, N., Stefanini, F. e Indiveri, G. Unha arquitectura multinúcleo escalable con estruturas de memoria heteroxéneas para procesadores asíncronos neuromórficos dinámicos (DYNAP).Moradi S., Qiao N., Stefanini F. e Indiviri G. Unha arquitectura multinúcleo escalable con estruturas de memoria heteroxéneas para procesadores asíncronos neuromórficos dinámicos (DYNAP). Moradi, S.、Qiao, N.、Stefanini, F. e Indiveri, G.的异构内存结构。 Moradi, S.、Qiao, N.、Stefanini, F. e Indiveri, G. Unha especie de arquitectura multinúcleo expandible, cunha estrutura de memoria única para o procesamento neural dinámico (DYNAP).Moradi S., Qiao N., Stefanini F. e Indiviri G. Unha arquitectura multinúcleo escalable con estruturas de memoria heteroxéneas para procesadores asíncronos neuromórficos dinámicos (DYNAP).Transaccións IEEE sobre ciencia biomédica. sistema eléctrico. 12, 106–122 (2018).
Davis, M. et al. Loihi: un procesador multinúcleo neuromórfico con aprendizaxe incorporada. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA O proxecto SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA O proxecto SpiNNaker.Proxecto Ferber SB, Galluppi F., Temple S. e Plana LA SpiNNaker.Proxecto Ferber SB, Galluppi F., Temple S. e Plana LA SpiNNaker. proceso. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Sistemas sensoriais neuromórficos. & Delbruck, T. Sistemas sensoriais neuromórficos.e Delbrück T. Sistemas sensoriais neuromórficos. & Delbruck, T. 神经形态感觉系统。 & Delbruck, T.e Delbrück T. Sistema sensorial neuromórfico.Actual. Opinión. Neurobioloxía. 20, 288–295 (2010).
Chope, T. et al. Integración sensorial neuromórfica para a localización combinada da fonte de son e a prevención de colisións. En 2019 na Conferencia IEEE sobre Circuitos e Sistemas Biomédicos (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. e Indiveri, G. A spike-based neuromorphic architecture of stereo vision. Risi, N., Aimar, A., Donati, E., Solinas, S. e Indiveri, G. A spike-based neuromorphic architecture of stereo vision.Risi N, Aymar A, Donati E, Solinas S e Indiveri G. A spike-based neuromorphic stereovision architecture. Risi, N., Aimar, A., Donati, E., Solinas, S. e Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. e Indiveri, G.Risi N, Aimar A, Donati E, Solinas S e Indiveri G. Spike-based neuromorphic architecture for stereo vision.fronte. Neurorobotics 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. e Indiveri, G. A spiking neuronal network model of 3Dperception for event-based neuromorphic stereo vision systems. Osswald, M., Ieng, S.-H., Benosman, R. e Indiveri, G. A spiking neuronal network model of 3Dperception for event-based neuromorphic stereo vision systems.Oswald, M., Ieng, S.-H., Benosman, R. e Indiveri, G. A 3D Pulsed Neural Network Perception Model for Event-Based Neuromorphic Stereo Vision Systems. Osswald, M., Ieng, S.-H., Benosman, R. e Indiveri, G.. Osswald, M., Ieng, S.-H., Benosman, R. e Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R. e Indiveri, G. Spiked 3Dperception Neural Network Model for an Event-Based Neuromorphic Stereo Vision System.a ciencia. Informe 7, 1–11 (2017).
Dalgaty, T. et al. A detección de movemento básica inspirada en insectos inclúe memoria resistiva e redes neuronais explosivas. Sistema biohíbrido biónico. 10928, 115–128 (2018).
D'Angelo, G. et al. Detección de movemento excéntrico baseado en eventos mediante codificación diferencial temporal. fronte. Neuroloxía. 14, 451 (2020).