As aplicações de processamento de dados do mundo real exigem sistemas de computação compactos, de baixa latência e baixo consumo de energia. Com recursos de computação orientados a eventos, arquiteturas neuromórficas memristivas híbridas complementares de óxido metálico-semicondutor fornecem uma base de hardware ideal para tais tarefas. Para demonstrar todo o potencial de tais sistemas, propomos e demonstramos experimentalmente uma solução abrangente de processamento de sensores para aplicações de localização de objetos do mundo real. Inspirando-nos na neuroanatomia da coruja-das-torres, desenvolvemos um sistema de localização de objetos bioinspirado e orientado a eventos que combina um transdutor transdutor micromecânico piezoelétrico de última geração com memória resistiva neuromórfica baseada em gráfico computacional. Mostramos medições de um sistema fabricado que inclui um detector de coincidência resistivo baseado em memória, circuito de linha de atraso e um transdutor ultrassônico totalmente personalizável. Usamos esses resultados experimentais para calibrar simulações no nível do sistema. Essas simulações são então usadas para avaliar a resolução angular e a eficiência energética do modelo de localização de objetos. Os resultados mostram que nossa abordagem pode ser várias ordens de grandeza mais eficiente em termos energéticos do que microcontroladores que executam a mesma tarefa.
Estamos entrando em uma era de computação onipresente, onde o número de dispositivos e sistemas implantados está crescendo exponencialmente para nos ajudar em nossas vidas diárias. Espera-se que esses sistemas funcionem continuamente, consumindo o mínimo de energia possível enquanto aprendem a interpretar os dados que coletam de vários sensores em tempo real e produzem saída binária como resultado de tarefas de classificação ou reconhecimento. Uma das etapas mais importantes necessárias para atingir esse objetivo é extrair informações úteis e compactas de dados sensoriais ruidosos e muitas vezes incompletos. As abordagens convencionais de engenharia normalmente coletam sinais de sensores a uma taxa constante e alta, gerando grandes quantidades de dados mesmo na ausência de entradas úteis. Além disso, estes métodos utilizam técnicas complexas de processamento de sinais digitais para pré-processar os dados de entrada (muitas vezes ruidosos). Em vez disso, a biologia oferece soluções alternativas para o processamento de dados sensoriais ruidosos usando abordagens assíncronas e orientadas a eventos (picos) com eficiência energética . A computação neuromórfica se inspira em sistemas biológicos para reduzir custos computacionais em termos de requisitos de energia e memória em comparação com métodos tradicionais de processamento de sinais . Recentemente, foram demonstrados sistemas inovadores baseados no cérebro de uso geral que implementam redes neurais de impulso (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Esses processadores fornecem soluções de baixo consumo de energia e baixa latência para aprendizado de máquina e modelagem de circuitos corticais. Para explorar plenamente a sua eficiência energética, estes processadores neuromórficos devem estar diretamente conectados a sensores acionados por eventos . No entanto, hoje existem apenas alguns dispositivos sensíveis ao toque que fornecem diretamente dados orientados por eventos. Exemplos proeminentes são sensores visuais dinâmicos (DVS) para aplicações de visão, como rastreamento e detecção de movimento14,15,16,17, a cóclea de silício18 e sensores auditivos neuromórficos (NAS)19 para processamento de sinais auditivos, sensores olfativos20 e numerosos exemplos21,22 de toque. . sensores de textura.
Neste artigo, apresentamos um sistema de processamento auditivo orientado a eventos recentemente desenvolvido, aplicado à localização de objetos. Aqui, pela primeira vez, descrevemos um sistema ponta a ponta para localização de objetos obtido conectando um transdutor ultrassônico piezoelétrico microusinado (pMUT) de última geração com um gráfico computacional baseado em memória resistiva neuromórfica (RRAM). Arquiteturas de computação em memória usando RRAM são uma solução promissora para reduzir o consumo de energia23,24,25,26,27,28,29. Sua não volatilidade inerente – não exigindo consumo ativo de energia para armazenar ou atualizar informações – é uma combinação perfeita com a natureza assíncrona e orientada a eventos da computação neuromórfica, resultando em quase nenhum consumo de energia quando o sistema está ocioso. Os transdutores ultrassônicos microusinados piezoelétricos (pMUTs) são transdutores ultrassônicos miniaturizados à base de silício, baratos, capazes de atuar como transmissores e receptores . Para processar os sinais recebidos pelos sensores embutidos, nos inspiramos na neuroanatomia da coruja-das-torres35,36,37. A coruja-das-torres Tyto alba é conhecida por suas notáveis habilidades de caça noturna graças a um sistema de localização auditiva muito eficiente. Para calcular a localização da presa, o sistema de localização da coruja-das-torres codifica o tempo de voo (ToF) quando as ondas sonoras da presa atingem cada um dos ouvidos ou receptores de som da coruja. Dada a distância entre as orelhas, a diferença entre as duas medidas ToF (Interaural Time Difference, ITD) permite calcular analiticamente a posição azimutal do alvo. Embora os sistemas biológicos sejam pouco adequados para resolver equações algébricas, eles podem resolver problemas de localização de forma muito eficaz. O sistema nervoso da coruja-das-torres usa um conjunto de neurônios detectores de coincidência (CD)35 (ou seja, neurônios capazes de detectar correlações temporais entre picos que se propagam para baixo até terminações excitatórias convergentes)38,39 organizados em gráficos computacionais para resolver problemas de posicionamento.
Pesquisas anteriores mostraram que hardware semicondutor de óxido metálico complementar (CMOS) e hardware neuromórfico baseado em RRAM inspirado no colículo inferior (“córtex auditivo”) da coruja-das-torres é um método eficiente para calcular a posição usando ITD13, 40, 41, 42, 43, 44, 45, 46. No entanto, o potencial de sistemas neuromórficos completos que ligam sinais auditivos a gráficos computacionais neuromórficos ainda não foi demonstrado. O principal problema é a variabilidade inerente aos circuitos CMOS analógicos, que afeta a precisão da detecção de correspondência. Recentemente, foram demonstradas implementações numéricas alternativas das estimativas ITD47. Neste artigo, propomos usar a capacidade da RRAM de alterar o valor da condutância de maneira não volátil para neutralizar a variabilidade em circuitos analógicos. Implementamos um sistema experimental que consiste em uma membrana transmissora pMUT operando na frequência de 111,9 kHz, duas membranas receptoras (sensores) pMUT simulando orelhas de coruja e uma. Caracterizamos experimentalmente o sistema de detecção pMUT e o gráfico computacional ITD baseado em RRAM para testar nosso sistema de localização e avaliar sua resolução angular.
Comparamos nosso método com uma implementação digital em um microcontrolador executando a mesma tarefa de localização usando métodos convencionais de formação de feixe ou neuromórficos, bem como um array de portas programáveis em campo (FPGA) para estimativa de ITD proposto na referência. 47. Esta comparação destaca a eficiência energética competitiva do sistema neuromórfico analógico baseado em RRAM proposto.
Um dos exemplos mais marcantes de um sistema preciso e eficiente de localização de objetos pode ser encontrado na coruja-das-torres35,37,48. Ao anoitecer e ao amanhecer, a coruja-das-torres (Tyto Alba) depende principalmente da escuta passiva, procurando ativamente pequenas presas, como ratazanas ou ratos. Esses especialistas auditivos podem localizar sinais auditivos de presas com precisão surpreendente (cerca de 2°)35, como mostrado na Fig. As corujas-das-torres inferem a localização das fontes sonoras no plano azimutal (horizontal) a partir da diferença no tempo de voo de entrada (ITD) da fonte sonora para os dois ouvidos. O mecanismo computacional ITD foi proposto por Jeffress49,50, que se baseia na geometria neural e requer dois componentes principais: um axônio, uma fibra nervosa de um neurônio atuando como uma linha de atraso e um conjunto de neurônios detectores de coincidência organizados em um sistema computacional. gráfico conforme mostrado na Figura 1b. O som chega ao ouvido com um atraso de tempo dependente do azimute (ITD). O som é então convertido em um padrão de pico em cada ouvido. Os axônios das orelhas esquerda e direita atuam como linhas de atraso e convergem para os neurônios CD. Teoricamente, apenas um neurônio em uma matriz de neurônios correspondentes receberá entrada por vez (onde o atraso é cancelado exatamente) e disparará ao máximo (células vizinhas também dispararão, mas em uma frequência mais baixa). A ativação de certos neurônios codifica a posição do alvo no espaço sem converter ainda mais o ITD em ângulos. Este conceito está resumido na Figura 1c: por exemplo, se o som vem do lado direito quando o sinal de entrada do ouvido direito percorre um caminho mais longo do que o caminho do ouvido esquerdo, compensando o número de ITDs, por exemplo, quando o neurônio 2 corresponde. Em outras palavras, cada CD responde a um determinado ITD (também conhecido como atraso ótimo) devido ao atraso axonal. Assim, o cérebro converte informações temporais em informações espaciais. Evidências anatômicas desse mecanismo foram encontradas37,51. Os neurônios do macronúcleo com fase bloqueada armazenam informações temporais sobre os sons recebidos: como o próprio nome indica, eles disparam em certas fases do sinal. Neurônios detectores de coincidência do modelo Jeffress podem ser encontrados no núcleo laminar. Eles recebem informações de neurônios macronucleares, cujos axônios atuam como linhas de atraso. A quantidade de atraso fornecida pela linha de atraso pode ser explicada pelo comprimento do axônio, bem como por outro padrão de mielinização que altera a velocidade de condução. Inspirados no sistema auditivo da coruja-das-torres, desenvolvemos um sistema biomimético para localização de objetos. As duas orelhas são representadas por dois receptores pMUT. A fonte sonora é o transmissor pMUT localizado entre eles (Fig. 1a), e o gráfico computacional é formado por uma grade de circuitos CD baseados em RRAM (Fig. 1b, verde), desempenhando o papel de neurônios CD cujas entradas são atrasadas. através do circuito, as linhas de atraso (azuis) atuam como axônios na contraparte biológica. O sistema sensorial proposto difere em frequência de operação daquele da coruja, cujo sistema auditivo opera na faixa de 1 a 8 kHz, mas sensores pMUT operando em cerca de 117 kHz são utilizados neste trabalho. A seleção de um transdutor ultrassônico é considerada de acordo com critérios técnicos e de otimização. Primeiro, limitar a largura de banda de recepção a uma única frequência melhora idealmente a precisão da medição e simplifica a etapa de pós-processamento. Além disso, a operação em ultrassom tem a vantagem de que os pulsos emitidos não são audíveis, portanto não incomodam as pessoas, já que sua faixa auditiva é de ~20-20 kHz.
a coruja-das-torres recebe ondas sonoras de um alvo, neste caso uma presa em movimento. O tempo de voo (ToF) da onda sonora é diferente para cada ouvido (a menos que a presa esteja diretamente na frente da coruja). A linha pontilhada mostra o caminho que as ondas sonoras percorrem para chegar aos ouvidos da coruja-das-torres. A presa pode ser localizada com precisão no plano horizontal com base na diferença de comprimento entre os dois caminhos acústicos e na diferença de tempo interaural (ITD) correspondente (imagem à esquerda inspirada na ref. 74, copyright 2002, Society for Neuroscience). Em nosso sistema, o transmissor pMUT (azul escuro) gera ondas sonoras que ricocheteiam no alvo. As ondas ultrassônicas refletidas são recebidas por dois receptores pMUT (verde claro) e processadas pelo processador neuromórfico (direita). b Um modelo computacional ITD (Jeffress) que descreve como os sons que entram nos ouvidos da coruja são primeiro codificados como picos de fase bloqueada no núcleo grande (NM) e depois usando uma grade disposta geometricamente de neurônios detectores correspondentes no núcleo lamelar. Processamento (Holanda) (esquerda). Ilustração de um gráfico computacional neuroITD combinando linhas de atraso e neurônios detectores de coincidência, o sistema biossensor coruja pode ser modelado usando circuitos neuromórficos baseados em RRAM (direita). c Esquema do mecanismo principal de Jeffress, devido à diferença no ToF, as duas orelhas recebem estímulos sonoros em momentos diferentes e enviam axônios de ambas as extremidades para o detector. Os axônios fazem parte de uma série de neurônios detectores de coincidência (CD), cada um dos quais responde seletivamente a entradas fortemente correlacionadas com o tempo. Como resultado, apenas os CDs cujas entradas chegam com a menor diferença de tempo são excitados ao máximo (o ITD é compensado exatamente). O CD codificará então a posição angular do alvo.
Os transdutores ultrassônicos micromecânicos piezoelétricos são transdutores ultrassônicos escaláveis que podem ser integrados à tecnologia CMOS avançada31,32,33,52 e possuem menor tensão inicial e consumo de energia do que os transdutores volumétricos tradicionais53. Em nosso trabalho, o diâmetro da membrana é de 880 µm e a frequência de ressonância é distribuída na faixa de 110 a 117 kHz (Fig. 2a, consulte Métodos para obter detalhes). Num lote de dez dispositivos de teste, o fator de qualidade médio foi de cerca de 50 (ref. 31). A tecnologia atingiu a maturidade industrial e não é bioinspirada em si. A combinação de informações de diferentes filmes pMUT é uma técnica bem conhecida, e informações angulares podem ser obtidas a partir de pMUTs usando, por exemplo, técnicas de formação de feixe . No entanto, o processamento de sinal necessário para extrair a informação angular não é adequado para medições de baixa potência. O sistema proposto combina o circuito de pré-processamento de dados neuromórficos pMUT com um gráfico de computação neuromórfica baseado em RRAM inspirado no modelo Jeffress (Figura 2c), fornecendo uma solução alternativa de hardware com eficiência energética e recursos limitados. Realizamos um experimento no qual dois sensores pMUT foram colocados a aproximadamente 10 cm de distância um do outro para explorar os diferentes sons ToF recebidos pelas duas membranas receptoras. Um pMUT atuando como transmissor fica entre os receptores. O alvo foi uma placa de PVC com 12 cm de largura, localizada a uma distância D em frente ao dispositivo pMUT (Fig. 2b). O receptor registra o som refletido no objeto e reage tanto quanto possível durante a passagem da onda sonora. Repita o experimento alterando a posição do objeto, determinada pela distância D e pelo ângulo θ. Inspirado por um link. 55, propomos um pré-processamento neuromórfico de sinais brutos pMUT para converter ondas refletidas em picos para inserir um gráfico computacional neuromórfico. O ToF correspondente à amplitude do pico é extraído de cada um dos dois canais e codificado como o tempo exato dos picos individuais. Na fig. 2c mostra o circuito necessário para fazer a interface do sensor pMUT com um gráfico computacional baseado em RRAM: para cada um dos dois receptores pMUT, o sinal bruto é filtrado passa-faixa para suavizar, retificar e depois passar para o integrador com vazamento no modo de superação. o limite dinâmico (Fig. 2d) cria um evento de saída (pico) e um neurônio de disparo (LIF): o tempo de pico de saída codifica o tempo de voo detectado. O limite LIF é calibrado em relação à resposta pMUT, reduzindo assim a variabilidade do pMUT de dispositivo para dispositivo. Com esta abordagem, em vez de armazenar toda a onda sonora na memória e processá-la posteriormente, simplesmente geramos um pico correspondente ao ToF da onda sonora, que forma a entrada para o gráfico computacional da memória resistiva. Os picos são enviados diretamente para as linhas de atraso e paralelizados com módulos de detecção de correspondência em gráficos de computação neuromórfica. Como eles são enviados para as portas dos transistores, nenhum circuito de amplificação adicional é necessário (ver Figura 4 suplementar para detalhes). Para avaliar a precisão angular de localização fornecida pelo pMUT e pelo método de processamento de sinal proposto, medimos o ITD (isto é, a diferença de tempo entre eventos de pico gerados por dois receptores) à medida que a distância e o ângulo do objeto variavam. A análise do ITD foi então convertida em ângulos (ver Métodos) e plotada em relação à posição do objeto: a incerteza no ITD medido aumentou com a distância e o ângulo do objeto (Fig. 2e, f). O principal problema é a relação pico-ruído (PNR) na resposta pMUT. Quanto mais longe o objeto, menor o sinal acústico, reduzindo assim o PNR (Fig. 2f, linha verde). Uma diminuição no PNR leva a um aumento na incerteza na estimativa do ITD, resultando num aumento na precisão da localização (Fig. 2f, linha azul). Para um objeto a uma distância de 50 cm do transmissor, a precisão angular do sistema é de aproximadamente 10°. Esta limitação imposta pelas características do sensor pode ser melhorada. Por exemplo, a pressão enviada pelo emissor pode ser aumentada, aumentando assim a tensão que aciona a membrana pMUT. Outra solução para amplificar o sinal transmitido é conectar múltiplos transmissores 56. Estas soluções aumentarão o alcance de detecção à custa do aumento dos custos de energia. Melhorias adicionais podem ser feitas no lado receptor. O nível de ruído do receptor do pMUT pode ser significativamente reduzido melhorando a conexão entre o pMUT e o amplificador de primeiro estágio, o que atualmente é feito com conexões de fios e cabos RJ45.
a Imagem de um cristal pMUT com seis membranas de 880 µm integradas em passo de 1,5 mm. b Diagrama da configuração de medição. O alvo está localizado na posição azimutal θ e na distância D. O transmissor pMUT gera um sinal de 117,6 kHz que ricocheteia no alvo e atinge dois receptores pMUT com diferentes tempos de voo (ToF). Essa diferença, definida como diferença de tempo interaural (ITD), codifica a posição de um objeto e pode ser estimada estimando-se o pico de resposta dos dois sensores receptores. c Esquema das etapas de pré-processamento para converter o sinal pMUT bruto em sequências de pico (ou seja, entrada para o gráfico de computação neuromórfica). Os sensores pMUT e gráficos computacionais neuromórficos foram fabricados e testados, e o pré-processamento neuromórfico é baseado em simulação de software. d Resposta da membrana pMUT ao receber um sinal e sua transformação em um domínio de pico. e Precisão angular de localização experimental em função do ângulo do objeto (Θ) e da distância (D) ao objeto alvo. O método de extração ITD requer uma resolução angular mínima de aproximadamente 4°C. f Precisão angular (linha azul) e relação pico/ruído correspondente (linha verde) versus distância do objeto para Θ = 0.
A memória resistiva armazena informações em um estado condutor não volátil. O princípio básico do método é que a modificação do material em nível atômico provoca uma alteração na sua condutividade elétrica57. Aqui usamos uma memória resistiva à base de óxido que consiste em uma camada de 5 nm de dióxido de háfnio imprensada entre os eletrodos superior e inferior de titânio e nitreto de titânio. A condutividade dos dispositivos RRAM pode ser alterada aplicando uma forma de onda de corrente/tensão que cria ou quebra filamentos condutores de vagas de oxigênio entre os eletrodos. Nós co-integramos esses dispositivos em um processo CMOS padrão de 130 nm para criar um circuito neuromórfico reconfigurável fabricado implementando um detector de coincidência e um circuito de linha de atraso (Fig. 3a). A natureza não volátil e analógica do dispositivo, combinada com a natureza orientada a eventos do circuito neuromórfico, minimiza o consumo de energia. O circuito possui função liga/desliga instantânea: opera imediatamente após ser ligado, permitindo que a energia seja desligada completamente quando o circuito está ocioso. Os principais blocos de construção do esquema proposto são mostrados na fig. 3b. Consiste em N estruturas paralelas de resistor único e transistor único (1T1R) que codificam pesos sinápticos dos quais as correntes ponderadas são retiradas, injetadas na sinapse comum de um integrador de par diferencial (DPI) e finalmente injetadas na sinapse com integração e vazamento. neurônio 60 ativado (LIF) (ver Métodos para obter detalhes). Os surtos de entrada são aplicados à porta da estrutura 1T1R na forma de uma sequência de pulsos de tensão com duração da ordem de centenas de nanossegundos. A memória resistiva pode ser colocada em um estado de alta condutividade (HCS) aplicando uma referência positiva externa a Vtop quando Vbottom está aterrado, e redefinida para um estado de baixa condutividade (LCS) aplicando uma tensão positiva a Vbottom quando Vtop está aterrado. O valor médio do HCS pode ser controlado limitando a corrente de programação (conformidade) do SET (ICC) pela tensão porta-fonte do transistor em série (Fig. 3c). As funções da RRAM no circuito são duplas: direcionam e ponderam os pulsos de entrada.
Imagem de microscópio eletrônico de varredura (MEV) de um dispositivo HfO2 1T1R RRAM azul integrado em tecnologia CMOS de 130 nm com transistores seletores (650 nm de largura) em verde. b Blocos básicos de construção do esquema neuromórfico proposto. Os pulsos de tensão de entrada (picos) Vin0 e Vin1 consomem corrente Iweight, que é proporcional aos estados de condução G0 e G1 da estrutura 1T1R. Esta corrente é injetada nas sinapses DPI e excita os neurônios LIF. As RRAM G0 e G1 são instaladas no HCS e LCS respectivamente. c Função de densidade de condutância cumulativa para um grupo de dispositivos RRAM de 16K em função da correspondência de corrente ICC, que controla efetivamente o nível de condução. d Medições do circuito em (a) mostrando que G1 (no LCS) bloqueia efetivamente a entrada de Vin1 (verde) e, de fato, a tensão da membrana do neurônio de saída responde apenas à entrada azul de Vin0. A RRAM determina efetivamente as conexões no circuito. e Medição do circuito em (b) mostrando o efeito do valor de condutância G0 na tensão da membrana Vmem após aplicação de um pulso de tensão Vin0. Quanto mais condutância, mais forte será a resposta: assim, o dispositivo RRAM implementa ponderação de conexão de E/S. As medições foram feitas no circuito e demonstram a dupla função da RRAM, roteamento e ponderação dos pulsos de entrada.
Primeiro, como existem dois estados básicos de condução (HCS e LCS), as RRAMs podem bloquear ou perder pulsos de entrada quando estão nos estados LCS ou HCS, respectivamente. Como resultado, a RRAM determina efetivamente as conexões no circuito. Esta é a base para poder reconfigurar a arquitetura. Para demonstrar isso, descreveremos uma implementação de circuito fabricado do bloco de circuito da Fig. A RRAM correspondente a G0 é programada no HCS e a segunda RRAM G1 é programada no LCS. Os pulsos de entrada são aplicados a Vin0 e Vin1. Os efeitos de duas sequências de pulsos de entrada foram analisados nos neurônios de saída coletando a tensão da membrana do neurônio e o sinal de saída usando um osciloscópio. O experimento foi bem-sucedido quando apenas o dispositivo HCS (G0) foi conectado ao pulso do neurônio para estimular a tensão da membrana. Isso é demonstrado na Figura 3d, onde o trem de pulsos azul faz com que a tensão da membrana se acumule no capacitor de membrana, enquanto o trem de pulsos verde mantém a tensão da membrana constante.
A segunda função importante da RRAM é a implementação de pesos de conexão. Usando o ajuste de condutância analógica da RRAM, as conexões de E/S podem ser ponderadas adequadamente. No segundo experimento, o dispositivo G0 foi programado para diferentes níveis de HCS, e o pulso de entrada foi aplicado na entrada VIn0. O pulso de entrada consome uma corrente (Iweight) do dispositivo, que é proporcional à condutância e à queda de potencial correspondente Vtop − Vbot. Essa corrente ponderada é então injetada nas sinapses DPI e nos neurônios de saída LIF. A voltagem da membrana dos neurônios de saída foi registrada usando um osciloscópio e exibida na Fig. O pico de tensão da membrana do neurônio em resposta a um único pulso de entrada é proporcional à condutância da memória resistiva, demonstrando que a RRAM pode ser usada como um elemento programável de peso sináptico. Estes dois testes preliminares mostram que a plataforma neuromórfica baseada em RRAM proposta é capaz de implementar os elementos básicos do mecanismo Jeffress básico, nomeadamente a linha de atraso e o circuito detector de coincidência. A plataforma do circuito é construída empilhando blocos sucessivos lado a lado, como os blocos da Figura 3b, e conectando suas portas a uma linha de entrada comum. Projetamos, fabricamos e testamos uma plataforma neuromórfica que consiste em dois neurônios de saída recebendo duas entradas (Fig. 4a). O diagrama do circuito é mostrado na Figura 4b. A matriz RRAM 2 × 2 superior permite que os pulsos de entrada sejam direcionados para dois neurônios de saída, enquanto a matriz 2 × 2 inferior permite conexões recorrentes de dois neurônios (N0, N1). Demonstramos que esta plataforma pode ser usada com uma configuração de linha de atraso e duas funções diferentes de detector de coincidência, como mostrado por medições experimentais na Fig.
Diagrama de circuito formado por dois neurônios de saída N0 e N1 recebendo duas entradas 0 e 1. Os quatro dispositivos superiores do array definem conexões sinápticas de entrada para saída, e as quatro células inferiores definem conexões recorrentes entre neurônios. As RRAMs coloridas representam os dispositivos configurados no HCS à direita: os dispositivos no HCS permitem conexões e representam pesos, enquanto os dispositivos no LCS bloqueiam pulsos de entrada e desabilitam conexões com saídas. b Diagrama do circuito (a) com oito módulos RRAM destacados em azul. c As linhas de atraso são formadas simplesmente usando a dinâmica das sinapses DPI e dos neurônios LIF. A RRAM verde está configurada para uma condutância alta o suficiente para poder induzir uma falha na saída após o atraso de entrada Δt. d Ilustração esquemática da detecção de CD insensível à direção de sinais dependentes do tempo. O neurônio de saída 1, N1, dispara nas entradas 0 e 1 com um pequeno atraso. e Circuito CD sensível à direção, circuito que detecta quando a entrada 1 se aproxima da entrada 0 e chega após a entrada 0. A saída do circuito é representada pelo neurônio 1 (N1).
A linha de atraso (Figura 4c) simplesmente usa o comportamento dinâmico das sinapses DPI e neurônios LIF para reproduzir o pico de entrada de Vin1 para Vout1 atrasando Tdel. Apenas a RRAM G3 conectada a Vin1 e Vout1 é programada em HCS, as demais RRAMs são programadas em LCS. O dispositivo G3 foi programado para 92,6 µs para garantir que cada pulso de entrada aumente a tensão da membrana do neurônio de saída o suficiente para atingir o limite e gerar um pulso de saída atrasado. O atraso Tdel é determinado pelas constantes de tempo sinápticas e neurais. Os detectores de coincidência detectam a ocorrência de sinais de entrada correlacionados temporalmente, mas distribuídos espacialmente. O CD insensível à direção depende de entradas individuais convergindo para um neurônio de saída comum (Figura 4d). As duas RRAMs que conectam Vin0 e Vin1 a Vout1, G2 e G4 respectivamente são programadas para alta condução. A chegada simultânea de picos em Vin0 e Vin1 aumenta a voltagem da membrana do neurônio N1 acima do limite necessário para gerar o pico de saída. Se as duas entradas estiverem muito distantes uma da outra no tempo, a carga na tensão de membrana acumulada pela primeira entrada pode ter tempo para decair, evitando que o potencial de membrana N1 atinja o valor limite. G1 e G2 são programados para aproximadamente 65 µs, o que garante que um único surto de entrada não aumente a tensão da membrana o suficiente para causar um surto de saída. A detecção de coincidência entre eventos distribuídos no espaço e no tempo é uma operação fundamental usada em uma ampla gama de tarefas de detecção, como evitação de obstáculos baseada em fluxo óptico e localização de fontes sonoras. Assim, a computação de CDs sensíveis e insensíveis à direção é um alicerce fundamental para a construção de sistemas de localização visual e de áudio. Conforme mostrado pelas características das constantes de tempo (ver Figura 2 suplementar), o circuito proposto implementa uma faixa adequada de escalas de tempo de quatro ordens de grandeza. Assim, pode atender simultaneamente aos requisitos dos sistemas visuais e sonoros. O CD direcional é um circuito sensível à ordem espacial de chegada dos pulsos: da direita para a esquerda e vice-versa. É um elemento fundamental na rede básica de detecção de movimento do sistema visual da Drosophila, usado para calcular direções de movimento e detectar colisões62. Para obter um CD sensível à direção, duas entradas devem ser direcionadas para dois neurônios diferentes (N0, N1) e uma conexão direcional deve ser estabelecida entre eles (Fig. 4e). Quando a primeira entrada é recebida, o NO reage aumentando a tensão através de sua membrana acima do valor limite e enviando um surto. Este evento de saída, por sua vez, dispara N1 graças à conexão direcional destacada em verde. Se um evento de entrada Vin1 chegar e energizar N1 enquanto sua tensão de membrana ainda estiver alta, N1 gera um evento de saída indicando que foi encontrada uma correspondência entre as duas entradas. As conexões direcionais permitem que N1 emita saída somente se a entrada 1 vier depois da entrada 0. G0, G3 e G7 são programados para 73,5 µS, 67,3 µS e 40,2 µS, respectivamente, garantindo que um único pico na entrada Vin0 cause um atraso pico de saída, enquanto o potencial de membrana de N1 só atinge o limite quando ambas as rajadas de entrada chegam em sincronia. .
A variabilidade é uma fonte de imperfeição nos sistemas neuromórficos modelados63,64,65. Isso leva a um comportamento heterogêneo de neurônios e sinapses. Exemplos de tais desvantagens incluem variabilidade de 30% (desvio padrão médio) no ganho de entrada, constante de tempo e período refratário, para citar apenas alguns (ver Métodos). Este problema é ainda mais pronunciado quando múltiplos circuitos neurais são conectados entre si, como um CD sensível à orientação que consiste em dois neurônios. Para funcionar corretamente, as constantes de tempo de ganho e decaimento dos dois neurônios devem ser tão semelhantes quanto possível. Por exemplo, uma grande diferença no ganho de entrada pode fazer com que um neurônio reaja exageradamente a um pulso de entrada enquanto o outro neurônio mal responde. Na fig. A Figura 5a mostra que neurônios selecionados aleatoriamente respondem de maneira diferente ao mesmo pulso de entrada. Esta variabilidade neural é relevante, por exemplo, para a função de CDs sensíveis à direção. No esquema mostrado na fig. 5b, c, o ganho de entrada do neurônio 1 é muito maior que o do neurônio 0. Assim, o neurônio 0 requer três pulsos de entrada (em vez de 1) para atingir o limite, e o neurônio 1, como esperado, precisa de dois eventos de entrada. A implementação da plasticidade biomimética dependente do tempo de pico (STDP) é uma maneira possível de mitigar o impacto de circuitos neurais e sinápticos imprecisos e lentos no desempenho do sistema . Aqui propomos usar o comportamento plástico da memória resistiva como meio de influenciar o aprimoramento da entrada neural e reduzir os efeitos da variabilidade nos circuitos neuromórficos. Como mostrado na fig. 4e, os níveis de condutância associados à massa sináptica RRAM modularam efetivamente a resposta de tensão da membrana neural correspondente. Usamos uma estratégia de programação RRAM iterativa. Para uma determinada entrada, os valores de condutância dos pesos sinápticos são reprogramados até que o comportamento alvo do circuito seja obtido (ver Métodos).
a Medições experimentais da resposta de nove neurônios individuais selecionados aleatoriamente ao mesmo pulso de entrada. A resposta varia entre as populações, afetando o ganho de entrada e a constante de tempo. b Medições experimentais da influência dos neurônios na variabilidade dos neurônios que afetam a DC sensível à direção. Os dois neurônios de saída CD sensíveis à direção respondem de maneira diferente aos estímulos de entrada devido à variabilidade de neurônio para neurônio. O neurônio 0 tem um ganho de entrada menor que o neurônio 1, portanto são necessários três pulsos de entrada (em vez de 1) para criar um pico de saída. Como esperado, o neurônio 1 atinge o limite com dois eventos de entrada. Se a entrada 1 chegar Δt = 50 µs após o neurônio 0 disparar, CD permanecerá em silêncio porque Δt é maior que a constante de tempo do neurônio 1 (cerca de 22 µs). c é reduzido em Δt = 20 µs, de modo que a entrada 1 atinge o pico quando o disparo do neurônio 1 ainda está alto, resultando na detecção simultânea de dois eventos de entrada.
Os dois elementos usados na coluna de cálculo do ITD são a linha de atraso e o CD insensível à direção. Ambos os circuitos requerem calibração precisa para garantir um bom desempenho de posicionamento de objetos. A linha de atraso deve fornecer uma versão precisamente atrasada do pico de entrada (Fig. 6a), e o CD deve ser ativado somente quando a entrada estiver dentro da faixa de detecção do alvo. Para a linha de atraso, os pesos sinápticos das conexões de entrada (G3 na Fig. 4a) foram reprogramados até que o atraso alvo fosse obtido. Defina uma tolerância em torno do atraso alvo para parar o programa: quanto menor a tolerância, mais difícil será definir com êxito a linha de atraso. Na fig. A Figura 6b mostra os resultados do processo de calibração da linha de atraso: pode-se observar que o esquema proposto pode fornecer exatamente todos os atrasos exigidos no esquema de projeto (de 10 a 300 μs). O número máximo de iterações de calibração afeta a qualidade do processo de calibração: 200 iterações podem reduzir o erro para menos de 5%. Uma iteração de calibração corresponde a uma operação de configuração/redefinição de uma célula RRAM. O processo de ajuste também é crítico para melhorar a precisão da detecção de eventos de fechamento instantâneo do módulo CD. Foram necessárias dez iterações de calibração para alcançar uma taxa verdadeiramente positiva (ou seja, a taxa de eventos corretamente identificados como relevantes) acima de 95% (linha azul na Figura 6c). No entanto, o processo de ajuste não afetou os eventos falsos positivos (ou seja, a frequência dos eventos que foram erroneamente identificados como relevantes). Outro método observado em sistemas biológicos para superar as restrições de tempo das vias de ativação rápida é a redundância (isto é, muitas cópias do mesmo objeto são usadas para executar uma determinada função). Inspirados pela biologia66, colocamos vários circuitos de CD em cada módulo de CD entre as duas linhas de atraso para reduzir o impacto de falsos positivos. Como mostrado na fig. 6c (linha verde), colocar três elementos CD em cada módulo CD pode reduzir a taxa de falsos alarmes para menos de 10–2.
a Efeito da variabilidade neuronal em circuitos de linha de atraso. b Os circuitos de linha de atraso podem ser escalados para grandes atrasos, definindo as constantes de tempo dos neurônios LIF correspondentes e das sinapses DPI para valores grandes. Aumentar o número de iterações do procedimento de calibração RRAM permitiu melhorar significativamente a precisão do atraso alvo: 200 iterações reduziram o erro para menos de 5%. Uma iteração corresponde a uma operação SET/RESET em uma célula RRAM. Cada módulo CD no modelo c Jeffress pode ser implementado usando N elementos CD paralelos para maior flexibilidade em relação a falhas do sistema. d Mais iterações de calibração RRAM aumentam a taxa de verdadeiros positivos (linha azul), enquanto a taxa de falsos positivos é independente do número de iterações (linha verde). Colocar mais elementos de CD em paralelo evita a falsa detecção de correspondências de módulos de CD.
Avaliamos agora o desempenho e o consumo de energia do sistema integrado de localização de objetos de ponta a ponta mostrado na Figura 2 usando medições das propriedades acústicas do sensor pMUT, CD e circuitos de linha de atraso que compõem o gráfico de computação neuromórfica. Modelo Jeffress (Fig. 1a). Quanto ao gráfico de computação neuromórfica, quanto maior o número de módulos CD, melhor será a resolução angular, mas também maior será a energia do sistema (Fig. 7a). Um compromisso pode ser alcançado comparando a precisão de componentes individuais (sensores pMUT, neurônios e circuitos sinápticos) com a precisão de todo o sistema. A resolução da linha de atraso é limitada pelas constantes de tempo das sinapses e neurônios simulados, que em nosso esquema excedem 10 µs, o que corresponde a uma resolução angular de 4° (ver Métodos). Nós mais avançados com tecnologia CMOS permitirão o projeto de circuitos neurais e sinápticos com menores constantes de tempo, resultando em maior precisão dos elementos da linha de atraso. Porém, em nosso sistema, a precisão é limitada pelo erro pMUT na estimativa da posição angular, ou seja, 10° (linha horizontal azul na Fig. 7a). Fixamos o número de módulos CD em 40, o que corresponde a uma resolução angular de cerca de 4°, ou seja, a precisão angular do gráfico computacional (linha horizontal azul claro na Fig. 7a). No nível do sistema, isso fornece uma resolução de 4° e uma precisão de 10° para objetos localizados 50 cm à frente do sistema de sensor. Este valor é comparável aos sistemas de localização sonora neuromórfica relatados na ref. 67. Uma comparação do sistema proposto com o estado da arte pode ser encontrada na Tabela Suplementar 1. Adicionar pMUTs adicionais, aumentar o nível do sinal acústico e reduzir o ruído eletrônico são formas possíveis de melhorar ainda mais a precisão da localização. ) é estimado em 9,7. Nova Zelândia. 55. Dadas 40 unidades CD no gráfico computacional, a simulação SPICE estimou a energia por operação (ou seja, energia de posicionamento de objeto) em 21,6 nJ. O sistema neuromórfico é ativado apenas quando chega um evento de entrada, ou seja, quando uma onda acústica atinge qualquer receptor pMUT e ultrapassa o limite de detecção, caso contrário permanece inativo. Isto evita o consumo desnecessário de energia quando não há sinal de entrada. Considerando uma frequência de operações de localização de 100 Hz e um período de ativação de 300 µs por operação (o máximo ITD possível), o consumo de energia do gráfico de computação neuromórfica é de 61,7 nW. Com o pré-processamento neuromórfico aplicado a cada receptor pMUT, o consumo de energia de todo o sistema chega a 81,6 nW. Para entender a eficiência energética da abordagem neuromórfica proposta em comparação com o hardware convencional, comparamos esse número com a energia necessária para realizar a mesma tarefa em um microcontrolador moderno de baixa potência usando formação de feixe neuromórfica ou convencional68 Skill. A abordagem neuromórfica considera um estágio conversor analógico-digital (ADC), seguido por um filtro passa-faixa e um estágio de extração de envelope (método Teeger-Kaiser). Finalmente, uma operação de limite é realizada para extrair o ToF. Omitimos o cálculo do ITD com base no ToF e a conversão para a posição angular estimada, pois isso ocorre uma vez para cada medição (ver Métodos). Assumindo uma taxa de amostragem de 250 kHz em ambos os canais (receptores pMUT), 18 operações de filtro passa-banda, 3 operações de extração de envelope e 1 operação de limite por amostra, o consumo total de energia é estimado em 245 microwatts. Isso utiliza o modo de baixo consumo de energia do microcontrolador69, que é ativado quando os algoritmos não estão em execução, o que reduz o consumo de energia para 10,8 µW. O consumo de energia da solução de processamento de sinal de formação de feixe proposta na referência. 31, com receptores 5 pMUT e 11 feixes distribuídos uniformemente no plano azimutal [-50°, +50°], é 11,71 mW (veja a seção Métodos para detalhes). Além disso, relatamos o consumo de energia de um codificador de diferença de tempo (TDE) baseado em FPGA47 estimado em 1,5 mW como um substituto para o modelo Jeffress para localização de objetos. Com base nessas estimativas, a abordagem neuromórfica proposta reduz o consumo de energia em cinco ordens de grandeza em comparação com um microcontrolador usando técnicas clássicas de formação de feixe para operações de localização de objetos. A adoção de uma abordagem neuromórfica para processamento de sinal em um microcontrolador clássico reduz o consumo de energia em cerca de duas ordens de grandeza. A eficácia do sistema proposto pode ser explicada pela combinação de um circuito analógico de memória resistiva assíncrono capaz de realizar cálculos na memória e pela falta de conversão analógico-digital necessária para perceber os sinais.
a Resolução angular (azul) e consumo de energia (verde) da operação de localização dependendo do número de módulos de CD. A barra horizontal azul escura representa a precisão angular do PMUT e a barra horizontal azul clara representa a precisão angular do gráfico computacional neuromórfico. b Consumo de energia do sistema proposto e comparação com as duas implementações de microcontroladores discutidas e implementação digital do Codificador de Diferença de Tempo (TDE)47 FPGA.
Para minimizar o consumo de energia do sistema de localização de alvo, concebemos, projetamos e implementamos um circuito neuromórfico eficiente, baseado em RRAM, orientado a eventos, que processa as informações de sinal geradas pelos sensores integrados para calcular a posição do objeto alvo em tempo real. tempo. . Enquanto os métodos de processamento tradicionais coletam continuamente amostras de sinais detectados e realizam cálculos para extrair informações úteis, a solução neuromórfica proposta realiza cálculos de forma assíncrona à medida que informações úteis chegam, maximizando a eficiência energética do sistema em cinco ordens de magnitude. Além disso, destacamos a flexibilidade dos circuitos neuromórficos baseados em RRAM. A capacidade da RRAM de alterar a condutância de maneira não volátil (plasticidade) compensa a variabilidade inerente dos circuitos sinápticos e neurais do DPI analógico de potência ultrabaixa. Isso torna este circuito baseado em RRAM versátil e poderoso. Nosso objetivo não é extrair funções ou padrões complexos de sinais, mas localizar objetos em tempo real. Nosso sistema também pode compactar o sinal com eficiência e, eventualmente, enviá-lo para etapas de processamento adicionais para tomar decisões mais complexas quando necessário. No contexto de aplicações de localização, nossa etapa de pré-processamento neuromórfico pode fornecer informações sobre a localização de objetos. Esta informação pode ser usada, por exemplo, para detecção de movimento ou reconhecimento de gestos. Enfatizamos a importância de combinar sensores de potência ultrabaixa, como pMUTs, com eletrônicos de potência ultrabaixa. Para isso, as abordagens neuromórficas têm sido fundamentais, pois nos levaram a desenvolver novas implementações de circuitos de métodos computacionais de inspiração biológica, como o modelo de Jeffress. No contexto de aplicações de fusão de sensores, nosso sistema pode ser combinado com vários sensores diferentes baseados em eventos para obter informações mais precisas. Embora as corujas sejam excelentes em encontrar presas no escuro, elas têm excelente visão e realizam uma busca auditiva e visual combinada antes de capturar a presa70. Quando um determinado neurônio auditivo dispara, a coruja recebe a informação necessária para determinar em que direção iniciar sua busca visual, concentrando assim sua atenção em uma pequena parte da cena visual. Uma combinação de sensores visuais (câmera DVS) e um sensor de escuta proposto (baseado em pMUT) deve ser explorada para o desenvolvimento de futuros agentes autônomos.
O sensor pMUT está localizado em uma placa de circuito impresso com dois receptores separados por aproximadamente 10 cm e o transmissor está localizado entre os receptores. Neste trabalho, cada membrana é uma estrutura bimorfa suspensa composta por duas camadas de nitreto de alumínio piezoelétrico (AlN) com 800 nm de espessura imprensadas entre três camadas de molibdênio (Mo) com 200 nm de espessura e revestidas com uma camada de 200 nm de espessura. a camada superior de SiN passivante conforme descrito na referência. 71. Os eletrodos interno e externo são aplicados nas camadas inferior e superior do molibdênio, enquanto o eletrodo intermediário de molibdênio não é padronizado e é usado como aterramento, resultando em uma membrana com quatro pares de eletrodos.
Esta arquitetura permite o uso de uma deformação de membrana comum, resultando em melhor sensibilidade de transmissão e recepção. Tal pMUT normalmente exibe uma sensibilidade de excitação de 700 nm/V como emissor, fornecendo uma pressão superficial de 270 Pa/V. Como receptor, um filme pMUT exibe uma sensibilidade de curto-circuito de 15 nA/Pa, que está diretamente relacionada ao coeficiente piezoelétrico de AlN. A variabilidade técnica da tensão na camada AlN leva a uma mudança na frequência de ressonância, que pode ser compensada aplicando uma polarização DC ao pMUT. A sensibilidade DC foi medida a 0,5 kHz/V. Para caracterização acústica, um microfone é utilizado na frente do pMUT.
Para medir o pulso de eco, colocamos uma placa retangular com área de cerca de 50 cm2 na frente do pMUT para refletir as ondas sonoras emitidas. Tanto a distância entre as placas quanto o ângulo em relação ao plano pMUT são controlados por meio de suportes especiais. Uma fonte de tensão Tectronix CPX400DP polariza três membranas pMUT, sintonizando a frequência de ressonância em 111,9 kHz31, enquanto os transmissores são acionados por um gerador de pulsos Tectronix AFG 3102 sintonizado na frequência de ressonância (111,9 kHz) e um ciclo de trabalho de 0,01. As correntes lidas nas quatro portas de saída de cada receptor pMUT são convertidas em tensões usando uma arquitetura diferencial especial de corrente e tensão, e os sinais resultantes são digitalizados pelo sistema de aquisição de dados Spektrum. O limite de detecção foi caracterizado pela aquisição do sinal pMUT sob diferentes condições: movemos o refletor para diferentes distâncias [30, 40, 50, 60, 80, 100] cm e alteramos o ângulo de suporte pMUT ([0, 20, 40] o ) A Figura 2b mostra a resolução temporal de detecção de ITD dependendo da posição angular correspondente em graus.
Este artigo usa dois circuitos RRAM diferentes disponíveis no mercado. O primeiro é um conjunto de 16.384 (16.000) dispositivos (128 × 128 dispositivos) em uma configuração 1T1R com um transistor e um resistor. O segundo chip é a plataforma neuromórfica mostrada na Fig. A célula RRAM consiste em um filme de HfO2 de 5 nm de espessura incorporado em uma pilha de TiN/HfO2/Ti/TiN. A pilha RRAM é integrada ao back-of-line (BEOL) do processo CMOS padrão de 130 nm. Os circuitos neuromórficos baseados em RRAM apresentam um desafio de projeto para sistemas eletrônicos totalmente analógicos nos quais dispositivos RRAM coexistem com a tecnologia CMOS tradicional. Em particular, o estado de condução do dispositivo RRAM deve ser lido e utilizado como uma variável de função para o sistema. Para tanto, foi projetado, fabricado e testado um circuito que lê a corrente do dispositivo quando um pulso de entrada é recebido e utiliza esta corrente para ponderar a resposta de uma sinapse do integrador de par diferencial (DPI). Este circuito é mostrado na Figura 3a, que representa os blocos básicos de construção da plataforma neuromórfica na Figura 4a. Um pulso de entrada ativa a porta do dispositivo 1T1R, induzindo uma corrente através da RRAM proporcional à condutância G do dispositivo (Iweight = G(Vtop – Vx)). A entrada inversora do circuito do amplificador operacional (amplificador operacional) tem uma tensão de polarização CC constante Vtop. O feedback negativo do amplificador operacional fornecerá Vx = Vtop, fornecendo corrente igual de M1. O Iweight atual recuperado do dispositivo é injetado na sinapse DPI. Uma corrente mais forte resultará em mais despolarização, de modo que a condutância RRAM implementa efetivamente pesos sinápticos. Esta corrente sináptica exponencial é injetada através do capacitor de membrana dos neurônios Leaky Integration and Excitation (LIF), onde é integrada como uma voltagem. Se a tensão limite da membrana (a tensão de comutação do inversor) for ultrapassada, a parte de saída do neurônio é ativada, produzindo um pico de saída. Esse pulso retorna e desvia o capacitor de membrana do neurônio para o terra, causando sua descarga. Este circuito é então complementado com um expansor de pulso (não mostrado na Fig. 3a), que molda o pulso de saída do neurônio LIF para a largura de pulso alvo. Multiplexadores também são integrados em cada linha, permitindo que a tensão seja aplicada aos eletrodos superior e inferior do dispositivo RRAM.
Os testes elétricos incluem a análise e registro do comportamento dinâmico de circuitos analógicos, bem como a programação e leitura de dispositivos RRAM. Ambas as etapas requerem ferramentas especiais, todas conectadas à placa do sensor ao mesmo tempo. O acesso aos dispositivos RRAM em circuitos neuromórficos é realizado a partir de ferramentas externas através de um multiplexador (MUX). O MUX separa a célula 1T1R do restante do circuito ao qual ela pertence, permitindo que o dispositivo seja lido e/ou programado. Para programar e ler dispositivos RRAM, uma máquina Keithley 4200 SCS é usada em conjunto com um microcontrolador Arduino: o primeiro para geração precisa de pulso e leitura de corrente, e o segundo para acesso rápido a elementos 1T1R individuais no array de memória. A primeira operação é formar o dispositivo RRAM. As células são selecionadas uma por uma e uma voltagem positiva é aplicada entre os eletrodos superior e inferior. Neste caso, a corrente é limitada à ordem de dezenas de microamperes devido ao fornecimento da tensão de porta correspondente ao transistor seletor. A célula RRAM pode então alternar entre um estado de baixa condutividade (LCS) e um estado de alta condutividade (HCS) usando operações RESET e SET, respectivamente. A operação SET é realizada aplicando um pulso de tensão retangular com duração de 1 μs e uma tensão de pico de 2,0-2,5 V ao eletrodo superior, e um pulso de sincronização de formato semelhante com uma tensão de pico de 0,9-1,3 V para a porta do transistor seletor. Esses valores permitem modular a condutância RRAM em intervalos de 20-150 µs. Para RESET, um pulso de pico de 3 V de largura de 1 µs é aplicado ao eletrodo inferior (linha de bits) da célula quando a tensão da porta está na faixa de 2,5-3,0 V. As entradas e saídas dos circuitos analógicos são sinais dinâmicos . Para entrada, intercalamos dois geradores de pulso HP 8110 com geradores de sinal Tektronix AFG3011. O pulso de entrada tem uma largura de 1 µs e uma borda de subida/descida de 50 ns. Este tipo de pulso é considerado uma falha típica em circuitos analógicos baseados em falhas. Quanto ao sinal de saída, o sinal de saída foi registrado utilizando um osciloscópio Teledyne LeCroy de 1 GHz. Foi comprovado que a velocidade de aquisição de um osciloscópio não é um fator limitante na análise e aquisição de dados do circuito.
Usar a dinâmica da eletrônica analógica para simular o comportamento de neurônios e sinapses é uma solução elegante e eficiente para melhorar a eficiência computacional. A desvantagem desta base computacional é que ela varia de esquema para esquema. Quantificamos a variabilidade de neurônios e circuitos sinápticos (Figura 2a, b suplementar). De todas as manifestações de variabilidade, aquelas associadas às constantes de tempo e ao ganho de entrada têm o maior impacto no nível do sistema. A constante de tempo do neurônio LIF e da sinapse DPI é determinada por um circuito RC, onde o valor de R é controlado por uma tensão de polarização aplicada à porta do transistor (Vlk para o neurônio e Vtau para a sinapse), determinando o taxa de vazamento. O ganho de entrada é definido como o pico de tensão alcançado pelos capacitores de membrana sináptica e neuronal estimulados por um pulso de entrada. O ganho de entrada é controlado por outro transistor de polarização que modula a corrente de entrada. Uma simulação de Monte Carlo calibrada no processo de 130 nm da ST Microelectronics foi realizada para coletar algumas estatísticas de ganho de entrada e constante de tempo. Os resultados são apresentados na Figura Suplementar 2, onde o ganho de entrada e a constante de tempo são quantificados em função da tensão de polarização que controla a taxa de vazamento. Os marcadores verdes quantificam o desvio padrão da constante de tempo em relação à média. Tanto os neurônios quanto os circuitos sinápticos foram capazes de expressar uma ampla faixa de constantes de tempo na faixa de 10-5-10-2 s, como mostrado no esquema da Figura Complementar. A amplificação de entrada (Figura 2e, d suplementar) da variabilidade neuronal e sinapse foi de aproximadamente 8% e 3%, respectivamente. Tal deficiência está bem documentada na literatura: várias medições foram realizadas no conjunto de chips DYNAP para avaliar a incompatibilidade entre populações de neurônios LIF63. As sinapses no chip de sinal misto BrainScale foram medidas e suas inconsistências analisadas, e um procedimento de calibração foi proposto para reduzir o efeito da variabilidade no nível do sistema64.
A função da RRAM em circuitos neuromórficos é dupla: definição de arquitetura (roteamento de entradas para saídas) e implementação de pesos sinápticos. A última propriedade pode ser usada para resolver o problema da variabilidade dos circuitos neuromórficos modelados. Desenvolvemos um procedimento de calibração simples que envolve a reprogramação do dispositivo RRAM até que o circuito em análise atenda a determinados requisitos. Para uma determinada entrada, a saída é monitorada e a RRAM é reprogramada até que o comportamento alvo seja alcançado. Um tempo de espera de 5 s foi introduzido entre as operações de programação para resolver o problema de relaxamento da RRAM resultando em flutuações transitórias de condutância (Informação Suplementar). Os pesos sinápticos são ajustados ou calibrados de acordo com os requisitos do circuito neuromórfico que está sendo modelado. O procedimento de calibração é resumido em algoritmos adicionais [1, 2] que se concentram em duas características fundamentais das plataformas neuromórficas, linhas de atraso e CD insensível à direção. Para um circuito com uma linha de atraso, o comportamento alvo é fornecer um pulso de saída com um atraso Δt. Se o atraso real do circuito for menor que o valor alvo, o peso sináptico de G3 deverá ser reduzido (G3 deverá ser redefinido e então definido para uma corrente correspondente Icc mais baixa). Por outro lado, se o atraso real for maior que o valor alvo, a condutância de G3 deverá ser aumentada (G3 deve primeiro ser redefinido e depois definido para um valor Icc mais alto). Este processo é repetido até que o atraso gerado pelo circuito corresponda ao valor alvo e uma tolerância seja definida para interromper o processo de calibração. Para CDs insensíveis à orientação, dois dispositivos RRAM, G1 e G3, estão envolvidos no processo de calibração. Este circuito possui duas entradas, Vin0 e Vin1, atrasadas em dt. O circuito deve responder apenas a atrasos abaixo da faixa de correspondência [0,dtCD]. Se não houver pico de saída, mas o pico de entrada estiver próximo, ambos os dispositivos RRAM deverão ser reforçados para ajudar o neurônio a atingir o limite. Por outro lado, se o circuito responder a um atraso que exceda a faixa alvo do dtCD, a condutância deverá ser reduzida. Repita o processo até obter o comportamento correto. A corrente de conformidade pode ser modulada pelo circuito analógico integrado na ref. 72,73. Com este circuito integrado, tais procedimentos podem ser realizados periodicamente para calibrar o sistema ou reutilizá-lo para outra aplicação.
Avaliamos o consumo de energia de nossa abordagem de processamento de sinal neuromórfico em um microcontrolador padrão de 32 bits . Nesta avaliação, assumimos operação com a mesma configuração deste artigo, com um transmissor pMUT e dois receptores pMUT. Este método utiliza um filtro passa-banda, seguido por uma etapa de extração de envelope (Teeger-Kaiser) e, finalmente, uma operação de limiarização é aplicada ao sinal para extrair o tempo de voo. O cálculo do ITD e sua conversão em ângulos de detecção são omitidos na avaliação. Consideramos uma implementação de filtro passa-faixa usando um filtro de resposta ao impulso infinito de 4ª ordem, exigindo 18 operações de ponto flutuante. A extração de envelope usa mais três operações de ponto flutuante e a última operação é usada para definir o limite. Um total de 22 operações de ponto flutuante são necessárias para pré-processar o sinal. O sinal transmitido é uma rajada curta de forma de onda senoidal de 111,9 kHz gerada a cada 10 ms, resultando em uma frequência operacional de posicionamento de 100 Hz. Usamos uma taxa de amostragem de 250 kHz para cumprir Nyquist e uma janela de 6 ms para cada medição para capturar um alcance de 1 metro. Observe que 6 milissegundos é o tempo de vôo de um objeto que está a 1 metro de distância. Isso fornece um consumo de energia de 180 µW para conversão A/D a 0,5 MSPS. O pré-processamento do sinal é de 6,60 MIPS (instruções por segundo), gerando 0,75 mW. No entanto, o microcontrolador pode mudar para um modo de baixo consumo de energia 69 quando o algoritmo não está em execução. Este modo fornece um consumo de energia estática de 10,8 μW e um tempo de despertar de 113 μs. Dada uma frequência de clock de 84 MHz, o microcontrolador completa todas as operações do algoritmo neuromórfico em 10 ms, e o algoritmo calcula um ciclo de trabalho de 6,3%, usando assim um modo de baixo consumo de energia. A dissipação de energia resultante é 244,7 μW. Observe que omitimos a saída ITD do ToF e a conversão para ângulo de detecção, subestimando assim o consumo de energia do microcontrolador. Isto proporciona um valor adicional para a eficiência energética do sistema proposto. Como condição adicional de comparação, avaliamos o consumo de energia dos métodos clássicos de formação de feixe propostos na referência. 31,54 quando incorporado no mesmo microcontrolador68 na tensão de alimentação de 1,8V. Cinco membranas pMUT uniformemente espaçadas são usadas para adquirir dados para formação de feixe. Quanto ao processamento em si, o método de formação de feixe utilizado é a soma de atrasos. Consiste simplesmente em aplicar às faixas um atraso que corresponde à diferença esperada nos tempos de chegada entre uma faixa e a faixa de referência. Se os sinais estiverem em fase, a soma desses sinais terá uma energia alta após uma mudança de tempo. Se estiverem fora de fase, a interferência destrutiva limitará a energia de sua soma. em uma relação. Na fig. 31, uma taxa de amostragem de 2 MHz é selecionada para deslocar os dados no tempo em um número inteiro de amostras. Uma abordagem mais modesta é manter uma taxa de amostragem mais grosseira de 250 kHz e usar um filtro de resposta de impulso finito (FIR) para sintetizar atrasos fracionários. Assumiremos que a complexidade do algoritmo de formação de feixe é determinada principalmente pela mudança de tempo, uma vez que cada canal é convolvido com um filtro FIR com 16 derivações em cada direção. Para calcular o número de MIPS necessários para esta operação, consideramos uma janela de 6ms por medição para capturar um alcance de 1 metro, 5 canais, 11 direções de formação de feixe (alcance +/- 50° em passos de 10°). 75 medições por segundo levaram o microcontrolador ao máximo de 100 MIPS. Link. 68, resultando em uma dissipação de potência de 11,26 mW para uma dissipação de potência total de 11,71 mW após adicionar a contribuição ADC integrada.
Os dados que apoiam os resultados deste estudo estão disponíveis no respectivo autor, FM, mediante solicitação razoável.
Indiveri, G. & Sandamirskaya, Y. A importância do espaço e do tempo para o processamento de sinais em agentes neuromórficos: O desafio de desenvolver agentes autônomos de baixa potência que interajam com o ambiente. Indiveri, G. & Sandamirskaya, Y. A importância do espaço e do tempo para o processamento de sinais em agentes neuromórficos: O desafio de desenvolver agentes autônomos de baixa potência que interajam com o ambiente.Indiveri G. e Sandamirskaya Y. A importância do espaço e do tempo para o processamento de sinais em agentes neuromórficos: o desafio de desenvolver agentes autônomos de baixa potência interagindo com o meio ambiente. Indiveri, G. & Sandamirskaya, Y.主代理的挑战。 Indiveri, G. e Sandamirskaya, Y.Indiveri G. e Sandamirskaya Y. A importância do espaço e do tempo para o processamento de sinais em agentes neuromórficos: o desafio de desenvolver agentes autônomos de baixa potência interagindo com o meio ambiente.Processamento de sinal IEEE. Diário 36, 16–28 (2019).
Thorpe, SJ Horário de pico de chegada: um esquema de codificação de rede neural eficiente. em Eckmiller, R., Hartmann, G. & Hauske, G. (eds.). em Eckmiller, R., Hartmann, G. & Hauske, G. (eds.).em Eckmiller, R., Hartmann, G. e Hauske, G. (eds.).Em Eckmiller, R., Hartmann, G. e Hauske, G. (eds.). Processamento paralelo em sistemas neurais e computadores 91–94 (North-Holland Elsevier, 1990).
Levy, WB & Calvert, VG A comunicação consome 35 vezes mais energia do que a computação no córtex humano, mas ambos os custos são necessários para prever o número de sinapses. Levy, WB & Calvert, VG A comunicação consome 35 vezes mais energia do que a computação no córtex humano, mas ambos os custos são necessários para prever o número de sinapses.Levy, WB e Calvert, WG A comunicação consome 35 vezes mais energia do que a computação no córtex humano, mas ambos os custos são necessários para prever o número de sinapses. Levy, WB e Calvert, VG Communication Levy, WB e Calvert, VG ComunicaçãoLevy, WB e Calvert, WG A comunicação consome 35 vezes mais energia do que a computação no córtex humano, mas ambos os custos exigem a previsão do número de sinapses.processo. Academia Nacional de Ciências. a ciência. US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Computação neuromórfica inspirada em insetos. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Computação neuromórfica inspirada em insetos.Dalgati, T., Vianello, E., DeSalvo, B. e Casas, J. Computação neuromórfica inspirada em insetos.Dalgati T., Vianello E., DeSalvo B. e Casas J. Computação neuromórfica inspirada em insetos. Atual. Opinião. Ciência dos insetos. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Rumo à inteligência de máquina baseada em picos com computação neuromórfica. Roy, K., Jaiswal, A. & Panda, P. Rumo à inteligência de máquina baseada em picos com computação neuromórfica. Roy, K., Jaiswal, A. & Panda, P. Rumo à inteligência de máquina baseada em Spike com computação neuromórfica.Roy K, Jaiswal A e Panda P. Inteligência artificial baseada em pulso usando computação neuromórfica. Natureza 575, 607–617 (2019).
Indiveri, G. e Liu, S.-C. Indiveri, G. e Liu, S.-C.Indiveri, G. e Liu, S.-K. Indiveri, G. e Liu, S.-C. Indiveri, G. e Liu, S.-C.Indiveri, G. e Liu, S.-K.Memória e processamento de informação em sistemas neuromórficos. processo. IEEE 103, 1379–1397 (2015).
Akopyan F. et al. Truenorth: Projeto e kit de ferramentas para um chip sináptico programável de 65 mW e 1 milhão de neurônios. Transações IEEE. Projeto computacional de sistemas de circuitos integrados. 34, 1537–1557 (2015).
Schemmel, J. et al. Demonstração ao vivo: versão reduzida do sistema neuromórfico BrainScaleS em escala de placa. Simpósio Internacional IEEE de 2012 sobre Circuitos e Sistemas (ISCAS), (IEEE ed.) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Uma arquitetura multicore escalável com estruturas de memória heterogêneas para processadores assíncronos neuromórficos dinâmicos (DYNAPs). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Uma arquitetura multicore escalável com estruturas de memória heterogêneas para processadores assíncronos neuromórficos dinâmicos (DYNAPs).Moradi S., Qiao N., Stefanini F. e Indiviri G. Uma arquitetura multicore escalável com estruturas de memória heterogêneas para processadores assíncronos neuromórficos dinâmicos (DYNAP). Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G.存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Um tipo de arquitetura multi-core expansível, com uma estrutura de memória única para processamento neural dinâmico (DYNAP).Moradi S., Qiao N., Stefanini F. e Indiviri G. Uma arquitetura multicore escalável com estruturas de memória heterogêneas para processadores assíncronos neuromórficos dinâmicos (DYNAP).Transações IEEE em ciências biomédicas. sistema elétrico. 12, 106–122 (2018).
Davis, M. et al. Loihi: Um processador neuromórfico multi-core com aprendizagem incorporada. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA O projeto SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA O projeto SpiNNaker.Projeto Ferber SB, Galluppi F., Temple S. e Plana LA SpiNNaker.Projeto Ferber SB, Galluppi F., Temple S. e Plana LA SpiNNaker. processo. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Sistemas sensoriais neuromórficos. & Delbruck, T. Sistemas sensoriais neuromórficos.e Delbrück T. Sistemas sensoriais neuromórficos. & Delbruck, T. 神经形态感觉系统。 & Delbruck, T.e Delbrück T. Sistema sensorial neuromórfico.Atual. Opinião. Neurobiologia. 20, 288–295 (2010).
Chope, T. et al. Integração sensorial neuromórfica para localização combinada de fontes sonoras e prevenção de colisões. Em 2019, na Conferência IEEE sobre Circuitos e Sistemas Biomédicos (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Uma arquitetura neuromórfica baseada em picos de visão estéreo. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Uma arquitetura neuromórfica baseada em picos de visão estéreo.Risi N, Aymar A, Donati E, Solinas S e Indiveri G. Uma arquitetura de estereovisão neuromórfica baseada em picos. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S e Indiveri G. Arquitetura neuromórfica baseada em Spike para visão estéreo.frente. Neurorobótica 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Um modelo de rede neural de aumento de percepção 3D para sistemas de visão estéreo neuromórfica baseados em eventos. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Um modelo de rede neural de aumento de percepção 3D para sistemas de visão estéreo neuromórfica baseados em eventos.Oswald, M., Ieng, S.-H., Benosman, R., e Indiveri, G. Um modelo de percepção de rede neural pulsada 3D para sistemas de visão estéreo neuromórfica baseados em eventos. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R., e Indiveri, G. Modelo de rede neural de percepção 3D cravada para um sistema de visão estéreo neuromórfica baseado em eventos.a ciência. Relatório 7, 1–11 (2017).
Dalgaty, T. et al. A detecção básica de movimento inspirada em insetos inclui memória resistiva e redes neurais em rajadas. Sistema biohíbrido biônico. 10928, 115–128 (2018).
D'Angelo, G. et al. Detecção de movimento excêntrico baseada em eventos usando codificação diferencial temporal. frente. Neurologia. 14.451 (2020).
Horário da postagem: 17 de novembro de 2022