Aktualności

Aplikacje do przetwarzania danych w świecie rzeczywistym wymagają kompaktowych systemów obliczeniowych o niskim opóźnieniu i małej mocy. Dzięki możliwościom obliczeniowym sterowanym zdarzeniami komplementarne, hybrydowe, memrystywne architektury neuromorficzne oparte na metalach, tlenkach i półprzewodnikach stanowią idealną podstawę sprzętową do takich zadań. Aby zademonstrować pełny potencjał takich systemów, proponujemy i eksperymentalnie demonstrujemy kompleksowe rozwiązanie do przetwarzania czujników do zastosowań w lokalizacji obiektów w świecie rzeczywistym. Czerpiąc inspirację z neuroanatomii płomykówki, opracowaliśmy inspirowany biologią, sterowany zdarzeniami system lokalizacji obiektów, który łączy w sobie najnowocześniejszy piezoelektryczny przetwornik mikromechaniczny z neuromorficzną pamięcią rezystancyjną opartą na wykresach obliczeniowych. Pokazujemy pomiary gotowego systemu, który obejmuje oparty na pamięci rezystancyjny detektor koincydencji, obwód linii opóźniającej i w pełni konfigurowalny przetwornik ultradźwiękowy. Wyniki eksperymentów wykorzystujemy do kalibracji symulacji na poziomie systemu. Symulacje te są następnie wykorzystywane do oceny rozdzielczości kątowej i efektywności energetycznej modelu lokalizacji obiektu. Wyniki pokazują, że nasze podejście może być o kilka rzędów wielkości bardziej energooszczędne niż mikrokontrolery wykonujące to samo zadanie.
Wkraczamy w erę wszechobecnej technologii komputerowej, w której liczba wdrażanych urządzeń i systemów rośnie wykładniczo, aby pomóc nam w codziennym życiu. Oczekuje się, że systemy te będą działać w sposób ciągły, zużywając jak najmniej energii, ucząc się interpretować dane zbierane z wielu czujników w czasie rzeczywistym i generować dane wyjściowe binarne w wyniku zadań klasyfikacji lub rozpoznawania. Jednym z najważniejszych kroków niezbędnych do osiągnięcia tego celu jest wydobycie użytecznych i zwięzłych informacji z zaszumionych i często niekompletnych danych sensorycznych. Konwencjonalne podejścia inżynieryjne zazwyczaj próbkują sygnały czujników ze stałą i dużą częstotliwością, generując duże ilości danych nawet w przypadku braku użytecznych danych wejściowych. Ponadto metody te wykorzystują złożone techniki cyfrowego przetwarzania sygnału do wstępnego przetwarzania (często zaszumionych) danych wejściowych. Zamiast tego biologia oferuje alternatywne rozwiązania przetwarzania zaszumionych danych sensorycznych przy użyciu energooszczędnych, asynchronicznych podejść opartych na zdarzeniach (skoki)2,3. Obliczenia neuromorficzne czerpią inspirację z systemów biologicznych, aby zmniejszyć koszty obliczeniowe pod względem zapotrzebowania na energię i pamięć w porównaniu z tradycyjnymi metodami przetwarzania sygnałów4,5,6. Niedawno zademonstrowano innowacyjne systemy mózgowe ogólnego przeznaczenia wdrażające impulsowe sieci neuronowe (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11). Procesory te zapewniają rozwiązania o niskim poborze mocy i małych opóźnieniach do uczenia maszynowego i modelowania obwodów korowych. Aby w pełni wykorzystać ich efektywność energetyczną, te neuromorficzne procesory muszą być bezpośrednio podłączone do czujników sterowanych zdarzeniami12,13. Jednak obecnie istnieje tylko kilka urządzeń dotykowych, które bezpośrednio dostarczają dane sterowane zdarzeniami. Wybitnymi przykładami są dynamiczne czujniki wizualne (DVS) do zastosowań wzrokowych, takich jak śledzenie i wykrywanie ruchu14,15,16,17, krzemowy ślimak18 i neuromorficzne czujniki słuchowe (NAS)19 do przetwarzania sygnału słuchowego, czujniki węchowe20 i liczne przykłady21,22 dotyku. . czujniki tekstury.
W artykule prezentujemy nowo opracowany system przetwarzania słuchowego sterowany zdarzeniami, zastosowany do lokalizacji obiektów. Tutaj po raz pierwszy opisujemy kompleksowy system lokalizacji obiektów uzyskany poprzez połączenie najnowocześniejszego piezoelektrycznego mikroobrobionego przetwornika ultradźwiękowego (pMUT) z wykresem obliczeniowym opartym na neuromorficznej pamięci rezystancyjnej (RRAM). Architektury obliczeniowe w pamięci wykorzystujące RRAM są obiecującym rozwiązaniem pozwalającym zmniejszyć zużycie energii23,24,25,26,27,28,29. Ich nieodłączna nielotność — niewymagająca zużycia energii czynnej do przechowywania lub aktualizowania informacji — doskonale pasuje do asynchronicznej, sterowanej zdarzeniami natury przetwarzania neuromorficznego, co skutkuje niemal zerowym zużyciem energii, gdy system jest bezczynny. Piezoelektryczne mikroobrobione przetworniki ultradźwiękowe (pMUT) to niedrogie, zminiaturyzowane przetworniki ultradźwiękowe na bazie krzemu, które mogą działać jako nadajniki i odbiorniki30,31,32,33,34. Aby przetwarzać sygnały odbierane przez wbudowane czujniki, czerpaliśmy inspirację z neuroanatomii płomykówki35,36,37. Płomykówka Tyto alba znana jest ze swoich niezwykłych zdolności do nocnych polowań dzięki bardzo wydajnemu systemowi lokalizacji słuchowej. Aby obliczyć lokalizację ofiary, system lokalizacji płomykówki koduje czas lotu (ToF), kiedy fale dźwiękowe ofiary docierają do każdego z uszu lub receptorów dźwięku sowy. Biorąc pod uwagę odległość między uszami, różnica między dwoma pomiarami ToF (różnica czasu międzyusznego, ITD) umożliwia analityczne obliczenie położenia azymutu celu. Chociaż systemy biologiczne słabo nadają się do rozwiązywania równań algebraicznych, mogą bardzo skutecznie rozwiązywać problemy lokalizacyjne. Układ nerwowy płomykówki wykorzystuje zestaw neuronów z detektorem koincydencji (CD)35 (tj. neuronów zdolnych do wykrywania korelacji czasowych między impulsami, które propagują w dół do zbieżnych zakończeń pobudzających)38,39 zorganizowanych w wykresy obliczeniowe w celu rozwiązywania problemów z pozycjonowaniem.
Poprzednie badania wykazały, że uzupełniający się sprzęt metalowo-tlenkowo-półprzewodnikowy (CMOS) i sprzęt neuromorficzny oparty na pamięci RRAM inspirowany wzgórkiem dolnym („korą słuchową”) płomykówki to skuteczna metoda obliczania pozycji przy użyciu ITD13, 40, 41, 42, 43, 44, 45, 46. Jednakże potencjał kompletnych systemów neuromorficznych, które łączą sygnały słuchowe z neuromorficznymi wykresy obliczeniowe nie zostały jeszcze zademonstrowane. Głównym problemem jest nieodłączna zmienność analogowych obwodów CMOS, która wpływa na dokładność wykrywania dopasowań. Niedawno zademonstrowano alternatywne implementacje numeryczne szacunków ITD47. W tym artykule proponujemy wykorzystanie zdolności pamięci RRAM do zmiany wartości przewodności w sposób nieulotny, aby przeciwdziałać zmienności w obwodach analogowych. Zaimplementowaliśmy układ eksperymentalny składający się z jednej membrany nadawczej pMUT pracującej na częstotliwości 111,9 kHz, dwóch membran odbiorczych (czujników) symulujących uszy płomykówki oraz jednej membrany odbiorczej pMUT. Eksperymentalnie scharakteryzowaliśmy system detekcji pMUT i wykres obliczeniowy ITD oparty na pamięci RRAM, aby przetestować nasz system lokalizacji i ocenić jego rozdzielczość kątową.
Porównujemy naszą metodę z cyfrową implementacją na mikrokontrolerze wykonującym to samo zadanie lokalizacyjne przy użyciu konwencjonalnych metod kształtowania wiązki lub metod neuromorficznych, a także z programowalną tablicą bramek (FPGA) do estymacji ITD zaproponowaną w publikacji. 47. Porównanie to podkreśla konkurencyjną efektywność energetyczną proponowanego analogowego systemu neuromorficznego opartego na pamięci RRAM.
Jeden z najbardziej uderzających przykładów dokładnego i wydajnego systemu lokalizacji obiektów można znaleźć u płomykówki35,37,48. O zmierzchu i o świcie płomykówka (Tyto Alba) polega przede wszystkim na biernym słuchaniu, aktywnie wyszukując małe ofiary, takie jak norniki lub myszy. Ci eksperci od słuchu potrafią zlokalizować sygnały słuchowe ofiary z zadziwiającą dokładnością (około 2°)35, jak pokazano na ryc. 1a. Płomykówki wnioskują o lokalizacji źródeł dźwięku w płaszczyźnie azymutalnej (poziomej) na podstawie różnicy w czasie lotu przychodzącego (ITD) od źródła dźwięku do obu uszu. Mechanizm obliczeniowy ITD został zaproponowany przez Jeffressa49,50 i opiera się na geometrii neuronów i wymaga dwóch kluczowych elementów: aksonu, włókna nerwowego neuronu działającego jako linia opóźnienia oraz układu neuronów wykrywających koincydencję zorganizowanych w system obliczeniowy. wykres jak pokazano na rysunku 1b. Dźwięk dociera do ucha z opóźnieniem czasowym zależnym od azymutu (ITD). Dźwięk jest następnie przekształcany w wzór kolców w każdym uchu. Aksony lewego i prawego ucha działają jak linie opóźniające i zbiegają się w neuronach CD. Teoretycznie tylko jeden neuron w szeregu dopasowanych neuronów będzie odbierał sygnał wejściowy na raz (w przypadku, gdy opóźnienie dokładnie się znosi) i będzie uruchamiał się z maksymalną mocą (sąsiednie komórki również będą uruchamiane, ale z niższą częstotliwością). Aktywacja niektórych neuronów koduje pozycję celu w przestrzeni bez dalszego przekształcania ITD na kąty. Koncepcję tę podsumowano na rysunku 1c: na przykład, jeśli dźwięk dobiega z prawej strony, gdy sygnał wejściowy z prawego ucha pokonuje dłuższą drogę niż droga z lewego ucha, kompensując na przykład liczbę ITD, kiedy neuron 2 pasuje. Innymi słowy, każda płyta CD reaguje na określony ITD (znany również jako opóźnienie optymalne) z powodu opóźnienia aksonalnego. W ten sposób mózg przekształca informację czasową w informację przestrzenną. Znaleziono anatomiczne dowody na ten mechanizm37,51. Neurony makrojądrowe ze zsynchronizowaną fazą przechowują tymczasowe informacje o przychodzących dźwiękach: jak sama nazwa wskazuje, aktywują się w określonych fazach sygnału. Neurony detektora koincydencji modelu Jeffressa można znaleźć w rdzeniu laminarnym. Otrzymują informacje od neuronów makrojądrowych, których aksony działają jak linie opóźniające. Wielkość opóźnienia zapewnianego przez linię opóźnienia można wyjaśnić długością aksonu, a także innym wzorem mielinizacji, który zmienia prędkość przewodzenia. Zainspirowani układem słuchowym płomykówki opracowaliśmy biomimetyczny system lokalizacji obiektów. Dwoje uszu jest reprezentowanych przez dwa odbiorniki pMUT. Źródłem dźwięku jest umieszczony pomiędzy nimi nadajnik pMUT (rys. 1a), a wykres obliczeniowy tworzy siatka obwodów CD opartych na pamięci RRAM (rys. 1b, kolor zielony), pełniących rolę neuronów CD, których wejścia są opóźnione. w obwodzie linie opóźnienia (niebieskie) działają jak aksony w biologicznym odpowiedniku. Zaproponowany układ sensoryczny różni się częstotliwością pracy od układu słuchowego sowy, której narząd słuchu pracuje w zakresie 1–8 kHz, lecz w tej pracy wykorzystywane są czujniki pMUT pracujące w częstotliwości około 117 kHz. Dobór przetwornika ultradźwiękowego uwzględnia się w oparciu o kryteria techniczne i optymalizacyjne. Po pierwsze, ograniczenie pasma odbioru do jednej częstotliwości idealnie poprawia dokładność pomiaru i upraszcza etap przetwarzania końcowego. Dodatkowo praca w ultradźwiękach ma tę zaletę, że emitowane impulsy są niesłyszalne, dlatego nie przeszkadzają ludziom, gdyż ich zakres słyszalności wynosi ~20-20 kHz.
płomykówka odbiera fale dźwiękowe od celu, w tym przypadku poruszającej się ofiary. Czas lotu (ToF) fali dźwiękowej jest inny dla każdego ucha (chyba że ofiara znajduje się bezpośrednio przed sową). Linia przerywana pokazuje drogę, którą fale dźwiękowe docierają do uszu płomykówki. Ofiarę można dokładnie zlokalizować w płaszczyźnie poziomej w oparciu o różnicę długości między dwiema ścieżkami akustycznymi i odpowiednią międzyuszną różnicę czasu (ITD) (zdjęcie po lewej inspirowane ref. 74, Copyright 2002, Society for Neuroscience). W naszym systemie nadajnik pMUT (ciemnoniebieski) generuje fale dźwiękowe, które odbijają się od celu. Odbite fale ultradźwiękowe są odbierane przez dwa odbiorniki pMUT (jasnozielony) i przetwarzane przez procesor neuromorficzny (po prawej). b Model obliczeniowy ITD (Jeffress) opisujący, w jaki sposób dźwięki dochodzące do uszu płomykówki są najpierw kodowane jako impulsy ze zsynchronizowaną fazą w dużym jądrze (NM), a następnie przy użyciu geometrycznie ułożonej siatki dopasowanych neuronów detektorowych w jądrze blaszkowatym. Przetwarzanie (Holandia) (po lewej). Ilustracja wykresu obliczeniowego neuroITD łączącego linie opóźnienia i neurony detektora koincydencji. System biosensorów sowy można modelować przy użyciu obwodów neuromorficznych opartych na pamięci RRAM (po prawej). c Schemat głównego mechanizmu Jeffressa, ze względu na różnicę w ToF, dwoje uszu odbiera bodźce dźwiękowe w różnym czasie i wysyła aksony z obu końców do detektora. Aksony wchodzą w skład szeregu neuronów detektorów koincydencji (CD), z których każdy reaguje selektywnie na sygnały wejściowe silnie skorelowane w czasie. W rezultacie maksymalnie wzbudzone są tylko płyty CD, których wejścia docierają z najmniejszą różnicą czasu (ITD jest dokładnie kompensowane). Płyta CD następnie zakoduje położenie kątowe celu.
Piezoelektryczne mikromechaniczne przetworniki ultradźwiękowe to skalowalne przetworniki ultradźwiękowe, które można zintegrować z zaawansowaną technologią CMOS31,32,33,52 i charakteryzują się niższym napięciem początkowym i zużyciem energii niż tradycyjne przetworniki wolumetryczne53. W naszej pracy średnica membrany wynosi 880 µm, a częstotliwość rezonansowa rozkłada się w zakresie 110–117 kHz (rys. 2a, szczegóły w rozdziałach Metody). W partii dziesięciu urządzeń testowych średni współczynnik jakości wyniósł około 50 (ref. 31). Technologia osiągnęła dojrzałość przemysłową i sama w sobie nie jest inspirowana biologią. Łączenie informacji z różnych warstw pMUT jest dobrze znaną techniką, a informacje o kącie można uzyskać z pMUT, na przykład za pomocą technik kształtowania wiązki31,54. Jednakże przetwarzanie sygnału wymagane do wyodrębnienia informacji o kącie nie jest odpowiednie dla pomiarów o małej mocy. Proponowany system łączy neuromorficzny obwód wstępnego przetwarzania danych pMUT z neuromorficznym wykresem obliczeniowym opartym na pamięci RRAM, inspirowanym modelem Jeffressa (rysunek 2c), zapewniając alternatywne, energooszczędne i ograniczone pod względem zasobów rozwiązanie sprzętowe. Przeprowadziliśmy eksperyment, w którym dwa czujniki pMUT umieszczono w odległości około 10 cm od siebie, aby wykorzystać różne dźwięki ToF odbierane przez dwie membrany odbiorcze. Jeden pMUT pełniący rolę nadajnika znajduje się pomiędzy odbiornikami. Celem była płyta PCV o szerokości 12 cm, umieszczona w odległości D przed urządzeniem pMUT (ryc. 2b). Odbiornik rejestruje dźwięk odbity od obiektu i reaguje w miarę możliwości podczas przejścia fali dźwiękowej. Powtórz doświadczenie, zmieniając położenie obiektu wyznaczone przez odległość D i kąt θ. Zainspirowany linkiem. 55, proponujemy neuromorficzne przetwarzanie wstępne surowych sygnałów pMUT w celu przekształcenia fal odbitych w wartości szczytowe w celu wprowadzenia neuromorficznego wykresu obliczeniowego. ToF odpowiadający amplitudzie piku jest wyodrębniany z każdego z dwóch kanałów i kodowany jako dokładny moment wystąpienia poszczególnych pików. Na ryc. 2c przedstawia obwody wymagane do połączenia czujnika pMUT z wykresem obliczeniowym opartym na pamięci RRAM: dla każdego z dwóch odbiorników pMUT surowy sygnał jest filtrowany pasmowo w celu wygładzenia, skorygowania, a następnie przekazany do nieszczelnego integratora w trybie pokonywania. próg dynamiczny (ryc. 2d) tworzy neuron zdarzenia wyjściowego (skok) i neuron odpalający (LIF): czas szczytu wyjściowego koduje wykryty czas lotu. Próg LIF jest kalibrowany względem odpowiedzi pMUT, zmniejszając w ten sposób zmienność pMUT w zależności od urządzenia. Dzięki takiemu podejściu zamiast przechowywać całą falę dźwiękową w pamięci i przetwarzać ją później, po prostu generujemy szczyt odpowiadający ToF fali dźwiękowej, który stanowi dane wejściowe do wykresu obliczeniowego pamięci rezystancyjnej. Skoki są wysyłane bezpośrednio do linii opóźniających i równolegle z modułami wykrywania dopasowań na wykresach obliczeń neuromorficznych. Ponieważ są one wysyłane do bramek tranzystorów, nie jest wymagany żaden dodatkowy obwód wzmacniający (szczegóły patrz rys. 4 uzupełniający). Aby ocenić dokładność kątową lokalizacji zapewnianą przez pMUT i proponowaną metodę przetwarzania sygnału, zmierzyliśmy ITD (to znaczy różnicę w czasie między zdarzeniami szczytowymi generowanymi przez dwa odbiorniki) w miarę zmiany odległości i kąta obiektu. Analizę ITD następnie przeliczono na kąty (patrz Metody) i wykreślono w funkcji położenia obiektu: niepewność zmierzonego ITD wzrastała wraz z odległością i kątem do obiektu (ryc. 2e, f). Głównym problemem jest stosunek wartości szczytowej do szumu (PNR) w odpowiedzi pMUT. Im dalej obiekt, tym niższy sygnał akustyczny, zmniejszając w ten sposób PNR (rys. 2f, zielona linia). Spadek PNR prowadzi do wzrostu niepewności oszacowania ITD, co skutkuje wzrostem dokładności lokalizacji (ryc. 2f, linia niebieska). Dla obiektu znajdującego się w odległości 50 cm od nadajnika dokładność kątowa systemu wynosi około 10°. To ograniczenie narzucone przez charakterystykę czujnika można poprawić. Na przykład można zwiększyć ciśnienie wysyłane przez emiter, zwiększając w ten sposób napięcie napędzające membranę pMUT. Innym rozwiązaniem wzmocnienia transmitowanego sygnału jest podłączenie wielu nadajników 56. Rozwiązania te zwiększą zasięg detekcji kosztem zwiększonych kosztów energii. Dodatkowe ulepszenia można wprowadzić po stronie odbiorczej. Poziom szumów odbiornika pMUT można znacznie zmniejszyć poprzez poprawę połączenia pomiędzy pMUT a wzmacniaczem pierwszego stopnia, co obecnie odbywa się za pomocą połączeń przewodowych i kabli RJ45.
a Obraz kryształu pMUT z sześcioma membranami 880 µm zintegrowanymi w odstępie 1,5 mm. b Schemat układu pomiarowego. Cel znajduje się w pozycji azymutalnej θ i w odległości D. Nadajnik pMUT generuje sygnał o częstotliwości 117,6 kHz, który odbija się od celu i dociera do dwóch odbiorników pMUT o różnym czasie przelotu (ToF). Różnica ta, zdefiniowana jako międzyuszna różnica czasu (ITD), koduje położenie obiektu i można ją oszacować poprzez oszacowanie szczytowej odpowiedzi dwóch czujników odbiornika. c Schemat etapów wstępnego przetwarzania do konwersji surowego sygnału pMUT na sekwencje szczytowe (tj. dane wejściowe do wykresu obliczeń neuromorficznych). Stworzono i przetestowano czujniki pMUT i neuromorficzne wykresy obliczeniowe, a wstępne przetwarzanie neuromorficzne opiera się na symulacji oprogramowania. d Odpowiedź błony pMUT po otrzymaniu sygnału i jego przekształceniu w domenę kolców. e Eksperymentalna dokładność kątowa lokalizacji w funkcji kąta obiektu (Θ) i odległości (D) od obiektu docelowego. Metoda ekstrakcji ITD wymaga minimalnej rozdzielczości kątowej około 4°C. f Dokładność kątowa (niebieska linia) i odpowiedni stosunek wartości szczytowej do szumu (zielona linia) w zależności od odległości obiektu dla Θ = 0.
Pamięć rezystancyjna przechowuje informacje w nieulotnym stanie przewodzącym. Podstawową zasadą metody jest to, że modyfikacja materiału na poziomie atomowym powoduje zmianę jego przewodności elektrycznej57. Używamy tutaj pamięci rezystancyjnej na bazie tlenku, składającej się z 5 nm warstwy dwutlenku hafnu umieszczonej pomiędzy górną i dolną elektrodą tytanową i azotku tytanu. Przewodność urządzeń RRAM można zmieniać poprzez zastosowanie kształtu fali prądu/napięcia, który tworzy lub przerywa przewodzące włókna wakatów tlenowych pomiędzy elektrodami. Zintegrowaliśmy takie urządzenia58 ze standardowym procesem CMOS 130 nm, aby stworzyć wytworzony, rekonfigurowalny obwód neuromorficzny implementujący detektor koincydencji i obwód linii opóźniającej (ryc. 3a). Nieulotna i analogowa natura urządzenia w połączeniu ze sterowanym zdarzeniami charakterem obwodu neuromorficznego minimalizuje zużycie energii. Obwód posiada funkcję natychmiastowego włączania/wyłączania: działa natychmiast po włączeniu, umożliwiając całkowite wyłączenie zasilania, gdy obwód jest bezczynny. Główne elementy proponowanego schematu pokazano na ryc. 3b. Składa się z N równoległych struktur z pojedynczym rezystorem i pojedynczym tranzystorem (1T1R), które kodują masy synaptyczne, z których pobierane są ważone prądy, wstrzykiwane do wspólnej synapsy integratora par różnicowych (DPI)59 i ostatecznie wstrzykiwane do synapsy z integracją i wyciek. aktywowany (LIF) neuron 60 (szczegóły patrz Metody). Udary wejściowe podawane są na bramkę struktury 1T1R w postaci sekwencji impulsów napięciowych o czasie trwania rzędu setek nanosekund. Pamięć rezystancyjną można wprowadzić w stan wysokiego przewodzenia (HCS) poprzez przyłożenie zewnętrznego dodatniego odniesienia do Vtop, gdy Vbottom jest uziemiony, i zresetować do stanu niskiego przewodzenia (LCS) poprzez przyłożenie dodatniego napięcia do Vbottom, gdy Vtop jest uziemiony. Średnią wartość HCS można kontrolować, ograniczając prąd programowania (zgodność) SET (ICC) przez napięcie bramka-źródło tranzystora szeregowego (ryc. 3c). Funkcje pamięci RRAM w obwodzie są dwojakie: kierują i ważą impulsy wejściowe.
Obraz ze skaningowego mikroskopu elektronowego (SEM) niebieskiego urządzenia HfO2 1T1R RRAM zintegrowanego w technologii 130 nm CMOS z tranzystorami selekcyjnymi (szerokość 650 nm) w kolorze zielonym. b Podstawowe elementy proponowanego schematu neuromorficznego. Impulsy napięcia wejściowego (szczyty) Vin0 i Vin1 pobierają prąd Iweight, który jest proporcjonalny do stanów przewodzenia G0 i G1 konstrukcji 1T1R. Prąd ten jest wstrzykiwany do synaps DPI i pobudza neurony LIF. RRAM G0 i G1 są instalowane odpowiednio w HCS i LCS. c Funkcja skumulowanej gęstości przewodności dla grupy urządzeń 16K RRAM w funkcji dopasowania prądu ICC, które skutecznie kontroluje poziom przewodzenia. d Pomiary obwodu w (a) pokazują, że G1 (w LCS) skutecznie blokuje wejście z Vin1 (zielony), i rzeczywiście napięcie membrany neuronu wyjściowego reaguje tylko na niebieskie wejście z Vin0. RRAM skutecznie określa połączenia w obwodzie. e Pomiar obwodu w (b) pokazujący wpływ wartości przewodności G0 na napięcie membrany Vmem po przyłożeniu impulsu napięcia Vin0. Im większa przewodność, tym silniejsza odpowiedź: w ten sposób urządzenie RRAM implementuje ważenie połączeń we/wy. Dokonano pomiarów na obwodzie i wykazano podwójną funkcję pamięci RRAM, routing i ważenie impulsów wejściowych.
Po pierwsze, ponieważ istnieją dwa podstawowe stany przewodzenia (HCS i LCS), pamięci RRAM mogą blokować lub pomijać impulsy wejściowe, gdy znajdują się odpowiednio w stanach LCS lub HCS. W rezultacie pamięć RRAM skutecznie określa połączenia w obwodzie. Jest to podstawa do możliwości rekonfiguracji architektury. Aby to zademonstrować, opiszemy wykonaną implementację obwodu bloku obwodu na ryc. 3b. Pamięć RRAM odpowiadająca G0 jest programowana w HCS, a druga pamięć RRAM G1 jest programowana w LCS. Impulsy wejściowe są podawane zarówno na Vin0, jak i Vin1. Przeanalizowano wpływ dwóch sekwencji impulsów wejściowych na neurony wyjściowe, zbierając napięcie błony neuronu i sygnał wyjściowy za pomocą oscyloskopu. Eksperyment zakończył się sukcesem, gdy do impulsu neuronu podłączono jedynie urządzenie HCS (G0) w celu stymulacji napięcia błony. Pokazano to na rysunku 3d, gdzie ciąg niebieskich impulsów powoduje narastanie napięcia membranowego na kondensatorze membranowym, podczas gdy ciąg impulsów zielonych utrzymuje stałe napięcie membrany.
Drugą ważną funkcją pamięci RRAM jest implementacja wag połączeń. Korzystając z analogowej regulacji przewodności RRAM, można odpowiednio wyważyć połączenia we/wy. W drugim eksperymencie urządzenie G0 zostało zaprogramowane na różne poziomy HCS, a impuls wejściowy został podany na wejście VIn0. Impuls wejściowy pobiera z urządzenia prąd (Iwaga), który jest proporcjonalny do przewodności i odpowiadającego mu spadku potencjału Vtop – Vbot. Ten ważony prąd jest następnie wstrzykiwany do synaps DPI i neuronów wyjściowych LIF. Napięcie błonowe neuronów wyjściowych rejestrowano za pomocą oscyloskopu i przedstawiono na rys. 3d. Szczyt napięcia błony neuronowej w odpowiedzi na pojedynczy impuls wejściowy jest proporcjonalny do przewodności pamięci rezystancyjnej, co pokazuje, że pamięć RRAM może służyć jako programowalny element masy synaptycznej. Te dwa wstępne testy pokazują, że proponowana platforma neuromorficzna oparta na pamięci RRAM jest w stanie zaimplementować podstawowe elementy podstawowego mechanizmu Jeffressa, czyli linię opóźniającą i obwód detektora koincydencji. Platformę obwodów buduje się poprzez ułożenie obok siebie kolejnych bloków, takich jak bloki na rysunku 3b, i połączenie ich bramek ze wspólną linią wejściową. Zaprojektowaliśmy, wyprodukowaliśmy i przetestowaliśmy platformę neuromorficzną składającą się z dwóch neuronów wyjściowych otrzymujących dwa wejścia (ryc. 4a). Schemat obwodu pokazano na rysunku 4b. Górna macierz RRAM 2×2 umożliwia kierowanie impulsów wejściowych do dwóch neuronów wyjściowych, natomiast dolna macierz 2×2 umożliwia rekurencyjne połączenia dwóch neuronów (N0, N1). Pokazujemy, że tej platformy można używać z konfiguracją linii opóźniającej i dwiema różnymi funkcjami detektora koincydencji, jak pokazano w pomiarach eksperymentalnych na rys. 4c-e.
Schemat obwodu utworzony przez dwa neurony wyjściowe N0 i N1 otrzymujące dwa wejścia 0 i 1. Cztery górne urządzenia tablicy definiują połączenia synaptyczne od wejścia do wyjścia, a cztery dolne komórki definiują powtarzające się połączenia między neuronami. Kolorowe pamięci RRAM reprezentują urządzenia skonfigurowane w HCS po prawej stronie: urządzenia w HCS umożliwiają połączenia i reprezentują wagi, podczas gdy urządzenia w LCS blokują impulsy wejściowe i uniemożliwiają połączenia z wyjściami. b Schemat obwodu (a) z ośmioma modułami RRAM zaznaczonymi na niebiesko. c Linie opóźnienia powstają po prostu poprzez wykorzystanie dynamiki synaps DPI i neuronów LIF. Zielona pamięć RRAM jest ustawiona na wystarczająco wysoką przewodność, aby móc wywołać zakłócenie na wyjściu po opóźnieniu wejściowym Δt. d Schematyczna ilustracja niewrażliwego na kierunek wykrywania CD sygnałów zależnych od czasu. Neuron wyjściowy 1, N1, uruchamia wejścia 0 i 1 z krótkim opóźnieniem. e Obwód CD czuły na kierunek, obwód wykrywający, kiedy wejście 1 zbliża się do wejścia 0 i pojawia się po wejściu 0. Wyjście obwodu jest reprezentowane przez neuron 1 (N1).
Linia opóźnienia (rysunek 4c) po prostu wykorzystuje dynamiczne zachowanie synaps DPI i neuronów LIF do odtworzenia impulsu wejściowego z Vin1 do Vout1 poprzez opóźnienie Tdel. Tylko pamięć G3 RRAM podłączona do Vin1 i Vout1 jest zaprogramowana w HCS, reszta pamięci RRAM jest zaprogramowana w LCS. Urządzenie G3 zaprogramowano na czas 92,6 µs, aby zapewnić, że każdy impuls wejściowy zwiększa napięcie błony neuronu wyjściowego w stopniu wystarczającym do osiągnięcia progu i wygenerowania opóźnionego impulsu wyjściowego. Opóźnienie Tdel jest określone przez synaptyczne i neuronowe stałe czasowe. Detektory koincydencji wykrywają występowanie skorelowanych czasowo, ale rozproszonych przestrzennie sygnałów wejściowych. CD niewrażliwe na kierunek opiera się na indywidualnych sygnałach wejściowych zbiegających się do wspólnego neuronu wyjściowego (rysunek 4d). Dwie pamięci RRAM łączące odpowiednio Vin0 i Vin1 z Vout1, G2 i G4 są zaprogramowane na wysokie przewodnictwo. Jednoczesne pojawienie się impulsów na Vin0 i Vin1 zwiększa napięcie błony neuronu N1 powyżej progu wymaganego do wygenerowania impulsu wyjściowego. Jeżeli oba wejścia są zbyt odległe w czasie, ładunek napięcia membrany zgromadzony przez pierwsze wejście może mieć czas na zanik, uniemożliwiając osiągnięcie przez potencjał membrany N1 wartości progowej. G1 i G2 są zaprogramowane na około 65 µs, co gwarantuje, że pojedynczy udar wejściowy nie zwiększy napięcia membrany na tyle, aby spowodować udar wyjściowy. Wykrywanie zbieżności zdarzeń rozproszonych w przestrzeni i czasie jest podstawową operacją stosowaną w szerokim zakresie zadań związanych z wykrywaniem, takich jak omijanie przeszkód w oparciu o przepływ optyczny i lokalizacja źródła dźwięku. Zatem obliczanie płyt CD czułych i niewrażliwych na kierunek jest podstawowym elementem konstrukcyjnym konstruowania systemów lokalizacji wizualnej i dźwiękowej. Jak pokazują charakterystyki stałych czasowych (patrz rys. uzupełniający 2), proponowany obwód implementuje odpowiedni zakres czterech rzędów wielkości skal czasowych. Dzięki temu może jednocześnie spełniać wymagania systemów wizualnych i dźwiękowych. Kierunkowo czuły CD to obwód wrażliwy na przestrzenną kolejność nadejścia impulsów: od prawej do lewej i odwrotnie. Jest to podstawowy element podstawowej sieci detekcji ruchu układu wzrokowego Drosophila, wykorzystywanej do obliczania kierunków ruchu i wykrywania kolizji62. Aby uzyskać CD czuły na kierunek, dwa wejścia muszą być skierowane do dwóch różnych neuronów (N0, N1) i musi zostać ustanowione między nimi połączenie kierunkowe (rys. 4e). Po odebraniu pierwszego sygnału wejściowego NO reaguje, zwiększając napięcie na swojej membranie powyżej wartości progowej i wysyłając impuls. To zdarzenie wyjściowe z kolei uruchamia N1 dzięki połączeniu kierunkowemu podświetlonemu na zielono. Jeśli nadejdzie zdarzenie wejściowe Vin1 i zasili N1, gdy napięcie jego membrany jest nadal wysokie, N1 generuje zdarzenie wyjściowe wskazujące, że znaleziono dopasowanie między dwoma wejściami. Połączenia kierunkowe pozwalają N1 na emisję sygnału wyjściowego tylko wtedy, gdy wejście 1 następuje po wejściu 0. G0, G3 i G7 są zaprogramowane odpowiednio na 73,5 µS, 67,3 µS i 40,2 µS, zapewniając, że pojedynczy impuls na wejściu Vin0 powoduje opóźnione impuls wyjściowy, podczas gdy potencjał błonowy N1 osiąga próg dopiero wtedy, gdy oba impulsy wejściowe zostaną zsynchronizowane. .
Zmienność jest źródłem niedoskonałości modelowanych układów neuromorficznych63,64,65. Prowadzi to do heterogenicznego zachowania neuronów i synaps. Przykłady takich wad obejmują 30% (średnie odchylenie standardowe) zmienność wzmocnienia wejściowego, stałej czasowej i okresu refrakcji, żeby wymienić tylko kilka (patrz Metody). Problem ten jest jeszcze bardziej wyraźny, gdy połączonych jest ze sobą wiele obwodów neuronowych, na przykład w przypadku wrażliwej na orientację płyty CD składającej się z dwóch neuronów. Aby działały prawidłowo, stałe czasowe wzmocnienia i zaniku obu neuronów powinny być jak najbardziej podobne. Na przykład duża różnica we wzmocnieniu wejściowym może spowodować, że jeden neuron będzie nadmiernie reagował na impuls wejściowy, podczas gdy drugi neuron będzie ledwo reagował. Na ryc. Rysunek 5a pokazuje, że losowo wybrane neurony reagują inaczej na ten sam impuls wejściowy. Ta zmienność neuronalna jest istotna na przykład dla funkcji płyt CD czułych na kierunek. Na schemacie pokazanym na ryc. 5b, c, wzmocnienie wejściowe neuronu 1 jest znacznie wyższe niż wzmocnienie neuronu 0. Zatem neuron 0 wymaga trzech impulsów wejściowych (zamiast 1), aby osiągnąć próg, a neuron 1, zgodnie z oczekiwaniami, potrzebuje dwóch zdarzeń wejściowych. Wdrożenie plastyczności biomimetycznej (STDP) zależnej od czasu skoku jest możliwym sposobem na złagodzenie wpływu nieprecyzyjnych i powolnych obwodów neuronowych i synaptycznych na wydajność systemu43. Tutaj proponujemy wykorzystanie plastycznego zachowania pamięci rezystancyjnej jako sposobu wpływania na wzmocnienie sygnału wejściowego neuronowego i zmniejszania skutków zmienności obwodów neuromorficznych. Jak pokazano na ryc. 4e, poziomy przewodnictwa związane z masą synaptyczną RRAM skutecznie modulowały odpowiednią odpowiedź napięciową błony nerwowej. Stosujemy iteracyjną strategię programowania RRAM. Dla danego wejścia wartości przewodnictwa wag synaptycznych są przeprogramowywane, aż do uzyskania docelowego zachowania obwodu (patrz Metody).
a Eksperymentalne pomiary odpowiedzi dziewięciu losowo wybranych pojedynczych neuronów na ten sam impuls wejściowy. Reakcja jest różna w zależności od populacji, wpływając na wzmocnienie wejściowe i stałą czasową. b Eksperymentalne pomiary wpływu neuronów na zmienność neuronów wpływających na CD wrażliwe na kierunek. Dwa wrażliwe na kierunek neurony wyjściowe CD reagują odmiennie na bodźce wejściowe ze względu na zmienność między neuronami. Neuron 0 ma mniejsze wzmocnienie wejściowe niż neuron 1, więc do wytworzenia impulsu wyjściowego potrzebne są trzy impulsy wejściowe (zamiast 1). Zgodnie z oczekiwaniami neuron 1 osiąga próg po dwóch zdarzeniach wejściowych. Jeśli wejście 1 nadejdzie Δt = 50 µs po odpaleniu neuronu 0, CD pozostaje ciche, ponieważ Δt jest większe niż stała czasowa neuronu 1 (około 22 µs). c jest zmniejszane o Δt = 20 µs, tak że wejście 1 osiąga szczyt, gdy pobudzenie neuronu 1 jest nadal wysokie, co skutkuje jednoczesnym wykryciem dwóch zdarzeń wejściowych.
Dwa elementy używane w kolumnie obliczeniowej ITD to linia opóźniająca i CD niewrażliwy na kierunek. Obydwa obwody wymagają precyzyjnej kalibracji, aby zapewnić dobrą wydajność pozycjonowania obiektu. Linia opóźniająca musi dostarczać dokładnie opóźnioną wersję szczytu wejściowego (rys. 6a), a CD musi być aktywowany tylko wtedy, gdy wejście znajdzie się w zakresie detekcji celu. Dla linii opóźnienia przeprogramowano wagi synaptyczne połączeń wejściowych (G3 na ryc. 4a) aż do uzyskania docelowego opóźnienia. Ustaw tolerancję wokół docelowego opóźnienia, aby zatrzymać program: im mniejsza tolerancja, tym trudniej jest pomyślnie ustawić linię opóźnienia. Na ryc. Rysunek 6b przedstawia wyniki procesu kalibracji linii opóźnienia: widać, że proponowany schemat może dokładnie zapewnić wszystkie opóźnienia wymagane w schemacie projektowym (od 10 do 300 μs). Maksymalna liczba iteracji kalibracji wpływa na jakość procesu kalibracji: 200 iteracji może zredukować błąd do mniej niż 5%. Jedna iteracja kalibracji odpowiada operacji ustawiania/resetowania komórki RRAM. Proces dostrajania ma również kluczowe znaczenie dla poprawy dokładności wykrywania zdarzeń natychmiastowego zamknięcia modułu CD. Aby osiągnąć prawdziwie dodatni współczynnik (tj. częstość zdarzeń prawidłowo zidentyfikowanych jako istotne) powyżej 95% (niebieska linia na rysunku 6c), potrzeba było dziesięciu iteracji kalibracji. Jednakże proces dostrajania nie wpłynął na zdarzenia fałszywie dodatnie (tj. częstotliwość zdarzeń, które błędnie uznano za istotne). Inną obserwowaną w układach biologicznych metodą pokonywania ograniczeń czasowych szybko aktywujących ścieżek jest redundancja (to znaczy, że do pełnienia danej funkcji wykorzystuje się wiele kopii tego samego obiektu). Zainspirowani biologią66, umieściliśmy kilka obwodów CD w każdym module CD, pomiędzy dwiema liniami opóźniającymi, aby zmniejszyć wpływ fałszywych alarmów. Jak pokazano na ryc. 6c (zielona linia), umieszczenie trzech elementów CD w każdym module CD może zmniejszyć liczbę fałszywych alarmów do mniej niż 10–2.
a Wpływ zmienności neuronów na obwody linii opóźniającej. b Obwody linii opóźniającej można skalować do dużych opóźnień, ustawiając stałe czasowe odpowiednich neuronów LIF i synaps DPI na duże wartości. Zwiększenie liczby iteracji procedury kalibracji pamięci RRAM pozwoliło znacząco poprawić dokładność docelowego opóźnienia: 200 iteracji zmniejszyło błąd do niecałych 5%. Jedna iteracja odpowiada operacji SET/RESET na komórce RRAM. Każdy moduł CD w modelu c Jeffress może zostać zaimplementowany przy użyciu N równoległych elementów CD, co zapewnia większą elastyczność w przypadku awarii systemu. d Więcej iteracji kalibracji pamięci RRAM zwiększa częstotliwość prawdziwie dodatnią (niebieska linia), podczas gdy częstotliwość fałszywie dodatnich jest niezależna od liczby iteracji (linia zielona). Umieszczenie większej liczby elementów CD równolegle pozwala uniknąć fałszywego wykrycia dopasowań modułów CD.
Teraz oceniamy wydajność i zużycie energii kompleksowego zintegrowanego systemu lokalizacji obiektów pokazanego na rysunku 2, korzystając z pomiarów właściwości akustycznych czujnika pMUT, CD i obwodów linii opóźniającej, które tworzą wykres obliczeń neuromorficznych. Model Jeffressa (ryc. 1a). Jeśli chodzi o wykres obliczeń neuromorficznych, im większa liczba modułów CD, tym lepsza rozdzielczość kątowa, ale także większa energia układu (rys. 7a). Kompromis można osiągnąć porównując dokładność poszczególnych elementów (czujniki pMUT, neurony i obwody synaptyczne) z dokładnością całego układu. Rozdzielczość linii opóźnienia jest ograniczona stałymi czasowymi symulowanych synaps i neuronów, które w naszym schemacie przekraczają 10 µs, co odpowiada rozdzielczości kątowej 4° (patrz Metody). Bardziej zaawansowane węzły z technologią CMOS pozwolą na projektowanie obwodów neuronowych i synaptycznych o niższych stałych czasowych, co przełoży się na większą dokładność elementów linii opóźniającej. Jednakże w naszym systemie dokładność jest ograniczona błędem pMUT w oszacowaniu położenia kątowego, czyli 10° (niebieska pozioma linia na rys. 7a). Ustaliliśmy liczbę modułów CD na 40, co odpowiada rozdzielczości kątowej około 4°, tj. dokładności kątowej wykresu obliczeniowego (jasnoniebieska pozioma linia na ryc. 7a). Na poziomie systemu daje to rozdzielczość 4° i dokładność 10° dla obiektów znajdujących się w odległości 50 cm przed systemem czujnika. Wartość ta jest porównywalna z neuromorficznymi systemami lokalizacji dźwięku opisanymi w ref. 67. Porównanie proponowanego systemu ze stanem techniki można znaleźć w tabeli uzupełniającej 1. Dodanie dodatkowych jednostek pMUT, zwiększenie poziomu sygnału akustycznego i redukcja szumu elektronicznego to możliwe sposoby dalszej poprawy dokładności lokalizacji. ) szacuje się na 9,7. nz. 55. Biorąc pod uwagę 40 jednostek CD na wykresie obliczeniowym, symulacja SPICE oszacowała energię na operację (tj. energię pozycjonowania obiektu) na 21,6 nJ. Układ neuromorficzny aktywuje się dopiero w momencie nadejścia zdarzenia wejściowego, czyli gdy fala akustyczna dotrze do dowolnego odbiornika pMUT i przekroczy próg detekcji, w przeciwnym razie pozostaje nieaktywna. Pozwala to uniknąć niepotrzebnego zużycia energii, gdy nie ma sygnału wejściowego. Biorąc pod uwagę częstotliwość operacji lokalizacji wynoszącą 100 Hz i okres aktywacji 300 µs na operację (maksymalny możliwy ITD), pobór mocy wykresu obliczeń neuromorficznych wynosi 61,7 nW. Dzięki neuromorficznemu przetwarzaniu wstępnemu zastosowanemu w każdym odbiorniku pMUT pobór mocy całego systemu sięga 81,6 nW. Aby zrozumieć efektywność energetyczną proponowanego podejścia neuromorficznego w porównaniu z konwencjonalnym sprzętem, porównaliśmy tę liczbę z energią wymaganą do wykonania tego samego zadania na nowoczesnym mikrokontrolerze małej mocy przy użyciu umiejętności neuromorficznego lub konwencjonalnego kształtowania wiązki68. Podejście neuromorficzne uwzględnia etap przetwornika analogowo-cyfrowego (ADC), po którym następuje filtr pasmowo-przepustowy i etap ekstrakcji obwiedni (metoda Teegera-Kaisera). Na koniec wykonywana jest operacja progowa w celu wyodrębnienia ToF. Pominęliśmy obliczanie ITD na podstawie ToF i konwersję na szacowane położenie kątowe, ponieważ ma to miejsce raz dla każdego pomiaru (patrz Metody). Zakładając częstotliwość próbkowania 250 kHz na obu kanałach (odbiorniki pMUT), 18 operacji filtru środkowoprzepustowego, 3 operacje ekstrakcji obwiedni i 1 operację progową na próbkę, całkowite zużycie energii szacuje się na 245 mikrowatów. Wykorzystuje to tryb niskiego poboru mocy mikrokontrolera69, który włącza się, gdy algorytmy nie są wykonywane, co zmniejsza zużycie energii do 10,8 µW. Pobór mocy rozwiązania do przetwarzania sygnału kształtującego wiązkę zaproponowanego w odnośniku. 31, z 5 odbiornikami pMUT i 11 wiązkami równomiernie rozmieszczonymi w płaszczyźnie azymutu [-50°, +50°], wynosi 11,71 mW (szczegóły w sekcji Metody). Ponadto podajemy zużycie energii przez koder różnicy czasu (TDE) oparty na FPGA47, oszacowany na 1,5 mW jako zamiennik modelu Jeffressa do lokalizacji obiektów. W oparciu o te szacunki zaproponowane podejście neuromorficzne zmniejsza zużycie energii o pięć rzędów wielkości w porównaniu z mikrokontrolerem wykorzystującym klasyczne techniki kształtowania wiązki do operacji lokalizacji obiektów. Przyjęcie neuromorficznego podejścia do przetwarzania sygnału w klasycznym mikrokontrolerze zmniejsza zużycie energii o około dwa rzędy wielkości. Skuteczność proponowanego systemu można wytłumaczyć połączeniem asynchronicznego obwodu analogowego z pamięcią rezystancyjną, zdolnego do wykonywania obliczeń w pamięci, oraz brakiem konwersji analogowo-cyfrowej wymaganej do odbioru sygnałów.
a Rozdzielczość kątowa (kolor niebieski) i pobór mocy (kolor zielony) operacji lokalizacji w zależności od liczby modułów CD. Ciemnoniebieski poziomy pasek przedstawia dokładność kątową PMUT, a jasnoniebieski poziomy pasek przedstawia dokładność kątową neuromorficznego wykresu obliczeniowego. b Pobór mocy proponowanego układu i porównanie z dwiema omawianymi implementacjami mikrokontrolerów i cyfrową implementacją enkodera różnicy czasu (TDE)47 FPGA.
Aby zminimalizować zużycie energii przez system lokalizacji celu, opracowaliśmy, zaprojektowaliśmy i wdrożyliśmy wydajny, sterowany zdarzeniami obwód neuromorficzny oparty na pamięci RRAM, który przetwarza informacje o sygnale generowane przez wbudowane czujniki w celu obliczenia położenia obiektu docelowego w rzeczywistości czas. . Podczas gdy tradycyjne metody przetwarzania w sposób ciągły próbkują wykryte sygnały i wykonują obliczenia w celu wyodrębnienia przydatnych informacji, proponowane rozwiązanie neuromorficzne wykonuje obliczenia asynchronicznie w miarę nadejścia użytecznych informacji, maksymalizując wydajność energetyczną systemu o pięć rzędów wielkości. Ponadto podkreślamy elastyczność obwodów neuromorficznych opartych na RRAM. Zdolność pamięci RRAM do zmiany przewodności w sposób nieulotny (plastyczność) kompensuje nieodłączną zmienność obwodów synaptycznych i neuronowych analogowego DPI o bardzo małej mocy. Dzięki temu ten obwód oparty na pamięci RRAM jest wszechstronny i wydajny. Naszym celem nie jest wydobywanie skomplikowanych funkcji czy wzorców z sygnałów, ale lokalizacja obiektów w czasie rzeczywistym. Nasz system może również skutecznie kompresować sygnał i ostatecznie wysłać go do dalszych etapów przetwarzania, aby w razie potrzeby podjąć bardziej złożone decyzje. W kontekście zastosowań lokalizacyjnych nasz etap wstępnego przetwarzania neuromorficznego może dostarczyć informacji o lokalizacji obiektów. Informacje te można wykorzystać na przykład do wykrywania ruchu lub rozpoznawania gestów. Podkreślamy znaczenie łączenia czujników o ultraniskim poborze mocy, takich jak pMUT, z elektroniką o ultraniskim poborze mocy. W tym celu kluczowe okazały się podejścia neuromorficzne, ponieważ doprowadziły nas do opracowania nowych implementacji obwodów metod obliczeniowych inspirowanych biologią, takich jak model Jeffressa. W kontekście zastosowań związanych z fuzją czujników nasz system można połączyć z kilkoma różnymi czujnikami opartymi na zdarzeniach, aby uzyskać dokładniejsze informacje. Chociaż sowy doskonale odnajdują zdobycz w ciemności, mają doskonały wzrok i przed złapaniem ofiary przeprowadzają połączone poszukiwania słuchowe i wzrokowe70. Kiedy konkretny neuron słuchowy zostaje uruchomiony, sowa otrzymuje informację potrzebną do określenia kierunku, w którym ma rozpocząć poszukiwania wizualne, skupiając w ten sposób swoją uwagę na małej części sceny wizualnej. Należy zbadać połączenie czujników wizualnych (kamera DVS) i proponowanego czujnika podsłuchowego (opartego na pMUT) w celu opracowania przyszłych agentów autonomicznych.
Czujnik pMUT znajduje się na płytce drukowanej z dwoma odbiornikami oddalonymi od siebie o około 10 cm, a nadajnik znajduje się pomiędzy odbiornikami. W tej pracy każda membrana jest zawieszoną strukturą bimorficzną składającą się z dwóch warstw piezoelektrycznego azotku glinu (AlN) o grubości 800 nm umieszczonych pomiędzy trzema warstwami molibdenu (Mo) o grubości 200 nm i pokrytych warstwą o grubości 200 nm. górna pasywująca warstwa SiN, jak opisano w odnośniku. 71. Elektrody wewnętrzna i zewnętrzna są nałożone na dolną i górną warstwę molibdenu, natomiast środkowa elektroda molibdenowa jest bez wzoru i służy jako masa, w wyniku czego powstaje membrana z czterema parami elektrod.
Architektura ta pozwala na zastosowanie typowego odkształcenia membrany, co skutkuje lepszą czułością nadawania i odbioru. Taki pMUT zazwyczaj jako emiter wykazuje czułość wzbudzenia 700 nm/V, zapewniając ciśnienie powierzchniowe 270 Pa/V. Jako odbiornik jedna folia pMUT wykazuje czułość zwarciową wynoszącą 15 nA/Pa, co jest bezpośrednio powiązane ze współczynnikiem piezoelektrycznym AlN. Techniczna zmienność napięcia w warstwie AlN prowadzi do zmiany częstotliwości rezonansowej, którą można skompensować poprzez zastosowanie polaryzacji DC do pMUT. Czułość prądu stałego zmierzono przy 0,5 kHz/V. Do charakteryzacji akustycznej przed pMUT stosuje się mikrofon.
Aby zmierzyć impuls echa, przed pMUT umieściliśmy prostokątną płytkę o powierzchni około 50 cm2, która odbija emitowane fale dźwiękowe. Zarówno odległość pomiędzy płytkami, jak i kąt względem płaszczyzny pMUT kontrolowane są za pomocą specjalnych uchwytów. Źródło napięcia Tectronix CPX400DP polaryzuje trzy membrany pMUT, dostrajając częstotliwość rezonansową do 111,9 kHz31, podczas gdy nadajniki są napędzane przez generator impulsów Tectronix AFG 3102 dostrojony do częstotliwości rezonansowej (111,9 kHz) i współczynnika wypełnienia 0,01. Prądy odczytane z czterech portów wyjściowych każdego odbiornika pMUT są przekształcane na napięcia przy użyciu specjalnej architektury różnicowej prądu i napięcia, a powstałe sygnały są digitalizowane przez system akwizycji danych Spektrum. Granicę detekcji charakteryzowała akwizycja sygnału pMUT w różnych warunkach: przesunęliśmy reflektor na różne odległości [30, 40, 50, 60, 80, 100] cm oraz zmieniliśmy kąt podparcia pMUT ([0, 20, 40] o ) Rysunek 2b przedstawia czasową rozdzielczość detekcji ITD w zależności od odpowiedniego położenia kątowego w stopniach.
W tym artykule wykorzystano dwa różne, gotowe obwody RRAM. Pierwsza to macierz 16 384 (16 000) urządzeń (128 × 128 urządzeń) w konfiguracji 1T1R z jednym tranzystorem i jednym rezystorem. Drugi chip to platforma neuromorficzna pokazana na ryc. 4a. Komórka RRAM składa się z warstwy HfO2 o grubości 5 nm osadzonej w stosie TiN/HfO2/Ti/TiN. Stos RRAM jest zintegrowany z back-of-line (BEOL) standardowego procesu CMOS 130 nm. Obwody neuromorficzne oparte na pamięci RRAM stanowią wyzwanie projektowe dla w pełni analogowych systemów elektronicznych, w których urządzenia RRAM współistnieją z tradycyjną technologią CMOS. W szczególności należy odczytać stan przewodzenia urządzenia RRAM i wykorzystać go jako zmienną funkcyjną systemu. W tym celu zaprojektowano, wyprodukowano i przetestowano obwód, który odczytuje prąd z urządzenia po odebraniu impulsu wejściowego i wykorzystuje ten prąd do ważenia odpowiedzi synapsy integratora par różnicowych (DPI). Obwód ten pokazano na rysunku 3a, który przedstawia podstawowe elementy składowe platformy neuromorficznej na rysunku 4a. Impuls wejściowy aktywuje bramkę urządzenia 1T1R, indukując prąd w pamięci RRAM proporcjonalny do przewodności urządzenia G (Iwaga = G(Vtop – Vx)). Wejście odwracające obwodu wzmacniacza operacyjnego (wzmacniacza operacyjnego) ma stałe napięcie polaryzacji DC Vtop. Ujemne sprzężenie zwrotne wzmacniacza operacyjnego zapewni Vx = Vtop, zapewniając równy prąd z M1. Bieżąca waga Iweight pobrana z urządzenia jest wstrzykiwana do synapsy DPI. Silniejszy prąd spowoduje większą depolaryzację, więc przewodność RRAM skutecznie realizuje wagi synaptyczne. Ten wykładniczy prąd synaptyczny jest wstrzykiwany przez kondensator membranowy neuronów nieszczelnej integracji i wzbudzenia (LIF), gdzie jest integrowany jako napięcie. Jeżeli napięcie progowe membrany (napięcie przełączające falownika) zostanie przekroczone, część wyjściowa neuronu zostaje aktywowana, wytwarzając impuls wyjściowy. Impuls ten powraca i powoduje zwarcie kondensatora membranowego neuronu z masą, powodując jego rozładowanie. Obwód ten jest następnie uzupełniany o ekspander impulsów (nie pokazany na rys. 3a), który kształtuje impuls wyjściowy neuronu LIF do docelowej szerokości impulsu. W każdą linię wbudowane są również multipleksery, umożliwiające przyłożenie napięcia do górnej i dolnej elektrody urządzenia RRAM.
Testowanie elektryczne obejmuje analizę i rejestrację dynamicznego zachowania obwodów analogowych, a także programowanie i odczyt urządzeń RRAM. Obydwa etapy wymagają specjalnych narzędzi, które jednocześnie podłącza się do płytki czujnika. Dostęp do urządzeń RRAM w obwodach neuromorficznych odbywa się z narzędzi zewnętrznych poprzez multiplekser (MUX). MUX oddziela ogniwo 1T1R od reszty obwodów, do których należy, umożliwiając odczyt i/lub programowanie urządzenia. Do programowania i odczytu urządzeń RRAM używana jest maszyna Keithley 4200 SCS w połączeniu z mikrokontrolerem Arduino: pierwszy do dokładnego generowania impulsów i odczytu prądu, a drugi do szybkiego dostępu do poszczególnych elementów 1T1R w macierzy pamięci. Pierwszą operacją jest utworzenie urządzenia RRAM. Ogniwa są wybierane jedno po drugim, a pomiędzy elektrodą górną i dolną przykładane jest napięcie dodatnie. W tym przypadku prąd jest ograniczony do rzędu dziesiątek mikroamperów ze względu na dostarczenie odpowiedniego napięcia bramki do tranzystora selektora. Komórka RRAM może następnie przełączać się między stanem niskiego przewodzenia (LCS) a stanem wysokiego przewodzenia (HCS), stosując odpowiednio operacje RESET i SET. Operację SET przeprowadza się poprzez przyłożenie do górnej elektrody prostokątnego impulsu napięciowego o czasie trwania 1 μs i napięciu szczytowym 2,0-2,5 V oraz impulsu synchronizującego o podobnym kształcie o napięciu szczytowym 0,9-1,3 V do bramka tranzystora selektora. Wartości te pozwalają modulować przewodność RRAM w odstępach 20-150 µs. W celu RESETU do dolnej elektrody (linii bitowej) ogniwa przykładany jest impuls szczytowy o szerokości 1 µs i napięciu 3 V, gdy napięcie bramki mieści się w zakresie 2,5–3,0 V. Wejścia i wyjścia obwodów analogowych są sygnałami dynamicznymi . Jako sygnał wejściowy przeplataliśmy dwa generatory impulsów HP 8110 z generatorami sygnału Tektronix AFG3011. Impuls wejściowy ma szerokość 1 µs i zbocze narastające/opadające 50 ns. Zakłada się, że ten typ impulsu jest typową usterką w obwodach analogowych opartych na usterkach. Jeśli chodzi o sygnał wyjściowy, sygnał wyjściowy rejestrowano za pomocą oscyloskopu Teledyne LeCroy 1 GHz. Udowodniono, że prędkość akwizycji oscyloskopu nie jest czynnikiem ograniczającym w analizie i akwizycji danych z obwodu.
Wykorzystanie dynamiki elektroniki analogowej do symulacji zachowania neuronów i synaps to eleganckie i wydajne rozwiązanie poprawiające wydajność obliczeniową. Wadą tego podkładu obliczeniowego jest to, że będzie się różnić w zależności od schematu. Określiliśmy ilościowo zmienność neuronów i obwodów synaptycznych (rysunek uzupełniający 2a, b). Spośród wszystkich przejawów zmienności największy wpływ na poziomie systemu mają te związane ze stałymi czasowymi i wzmocnieniem wejściowym. Stała czasowa neuronu LIF i synapsy DPI jest wyznaczana przez obwód RC, w którym wartość R jest kontrolowana przez napięcie polaryzacji przyłożone do bramki tranzystora (Vlk dla neuronu i Vtau dla synapsy), określając wskaźnik wycieku. Wzmocnienie wejściowe definiuje się jako napięcie szczytowe osiągane przez kondensatory błonowe synaptyczne i neuronalne stymulowane impulsem wejściowym. Wzmocnienie wejściowe jest kontrolowane przez inny tranzystor polaryzacji, który moduluje prąd wejściowy. Przeprowadzono symulację Monte Carlo skalibrowaną w procesie 130 nm firmy ST Microelectronics w celu zebrania pewnych statystyk dotyczących wzmocnienia wejściowego i stałych czasowych. Wyniki przedstawiono na rysunku uzupełniającym 2, gdzie wzmocnienie wejściowe i stała czasowa są określane ilościowo jako funkcja napięcia polaryzacji kontrolującego szybkość upływu. Zielone znaczniki określają ilościowo odchylenie standardowe stałej czasowej od średniej. Zarówno neurony, jak i obwody synaptyczne były w stanie wyrazić szeroki zakres stałych czasowych w zakresie 10-5-10-2 s, jak pokazano na dodatkowym schemacie ryc. Wzmocnienie wejściowe (rysunek uzupełniający 2e, d) zmienności neuronów i synaps wyniosło odpowiednio około 8% i 3%. Taki niedobór jest dobrze udokumentowany w literaturze: przeprowadzono różne pomiary na macierzy chipów DYNAP, aby ocenić niedopasowanie pomiędzy populacjami neuronów LIF63. Zmierzono synapsy w chipie sygnałów mieszanych BrainScale, przeanalizowano ich niespójności i zaproponowano procedurę kalibracji w celu zmniejszenia wpływu zmienności na poziomie systemu64.
Funkcja pamięci RRAM w obwodach neuromorficznych jest dwojaka: definicja architektury (przekierowanie wejść do wyjść) i implementacja wag synaptycznych. Tę ostatnią właściwość można wykorzystać do rozwiązania problemu zmienności modelowanych obwodów neuromorficznych. Opracowaliśmy prostą procedurę kalibracji polegającą na przeprogramowaniu urządzenia RRAM do momentu, aż analizowany obwód spełni określone wymagania. Dla danego wejścia monitorowane jest wyjście, a pamięć RRAM jest przeprogramowywana, aż do osiągnięcia docelowego zachowania. Wprowadzono czas oczekiwania wynoszący 5 s pomiędzy operacjami programowania, aby rozwiązać problem relaksacji pamięci RRAM skutkującej przejściowymi wahaniami przewodności (informacje uzupełniające). Wagi synaptyczne są dostosowywane lub kalibrowane zgodnie z wymaganiami modelowanego obwodu neuromorficznego. Procedurę kalibracji podsumowano w dodatkowych algorytmach [1, 2], które koncentrują się na dwóch podstawowych cechach platform neuromorficznych, liniach opóźniających i CD niewrażliwym na kierunek. W przypadku obwodu z linią opóźniającą docelowym zachowaniem jest dostarczenie impulsu wyjściowego z opóźnieniem Δt. Jeśli rzeczywiste opóźnienie obwodu jest mniejsze niż wartość docelowa, należy zmniejszyć masę synaptyczną G3 (G3 należy zresetować, a następnie ustawić na niższy pasujący prąd Icc). I odwrotnie, jeśli rzeczywiste opóźnienie jest większe niż wartość docelowa, należy zwiększyć przewodność G3 (G3 należy najpierw zresetować, a następnie ustawić na wyższą wartość Icc). Proces ten powtarza się do momentu, aż opóźnienie generowane przez obwód będzie zgodne z wartością docelową i zostanie ustawiona tolerancja zatrzymująca proces kalibracji. W przypadku płyt CD niewrażliwych na orientację w procesie kalibracji biorą udział dwa urządzenia RRAM, G1 i G3. Obwód ten ma dwa wejścia, Vin0 i Vin1, opóźnione o dt. Obwód powinien reagować tylko na opóźnienia poniżej zakresu dopasowania [0,dtCD]. Jeśli nie ma szczytu wyjściowego, ale pik wejściowy jest blisko, oba urządzenia RRAM powinny zostać wzmocnione, aby pomóc neuronowi osiągnąć próg. I odwrotnie, jeśli obwód reaguje na opóźnienie przekraczające docelowy zakres dtCD, należy zmniejszyć przewodność. Powtarzaj proces aż do uzyskania prawidłowego zachowania. Prąd zgodności może być modulowany przez wbudowany obwód analogowy, o którym mowa w ref. 72,73. Dzięki wbudowanemu obwodowi takie procedury można wykonywać okresowo w celu kalibracji systemu lub ponownego wykorzystania go do innego zastosowania.
Oceniamy pobór mocy naszego podejścia do przetwarzania sygnałów neuromorficznych na standardowym 32-bitowym mikrokontrolerze68. W tej ocenie zakładamy działanie w takiej samej konfiguracji jak w tym artykule, z jednym nadajnikiem pMUT i dwoma odbiornikami pMUT. Metoda ta wykorzystuje filtr pasmowo-przepustowy, po którym następuje etap ekstrakcji obwiedni (Teeger-Kaiser), a na koniec do sygnału stosowana jest operacja progowania w celu wyodrębnienia czasu przelotu. W ocenie pominięto obliczenie ITD i jego przeliczenie na kąty detekcji. Rozważamy implementację filtra pasmowo-przepustowego przy użyciu filtra o nieskończonej odpowiedzi impulsowej czwartego rzędu, wymagającego 18 operacji zmiennoprzecinkowych. Ekstrakcja obwiedni wykorzystuje trzy kolejne operacje zmiennoprzecinkowe, a ostatnia operacja służy do ustawienia progu. Do wstępnego przetworzenia sygnału wymagane są łącznie 22 operacje zmiennoprzecinkowe. Przesyłany sygnał to krótki impuls sinusoidalny o częstotliwości 111,9 kHz, generowany co 10 ms, co daje częstotliwość roboczą pozycjonowania 100 Hz. Zastosowaliśmy częstotliwość próbkowania 250 kHz, aby zachować zgodność z Nyquistem, i okno 6 ms dla każdego pomiaru, aby uchwycić zakres 1 metra. Należy pamiętać, że 6 milisekund to czas lotu obiektu oddalonego o 1 metr. Zapewnia to pobór mocy 180 µW dla konwersji A/D przy 0,5 MSPS. Wstępne przetwarzanie sygnału wynosi 6,60 MIPS (instrukcji na sekundę), generując 0,75 mW. Jednakże mikrokontroler może przełączyć się w tryb niskiego poboru mocy 69, gdy algorytm nie jest uruchomiony. Tryb ten zapewnia statyczny pobór mocy na poziomie 10,8 μW i czas budzenia 113 μs. Przy częstotliwości zegara wynoszącej 84 MHz mikrokontroler wykonuje wszystkie operacje algorytmu neuromorficznego w ciągu 10 ms, a algorytm oblicza współczynnik wypełnienia wynoszący 6,3%, stosując w ten sposób tryb niskiego poboru mocy. Wynikowe straty mocy wynoszą 244,7 μW. Należy zauważyć, że pomijamy wyjście ITD z ToF i konwersję na kąt detekcji, nie doceniając w ten sposób zużycia energii przez mikrokontroler. Zapewnia to dodatkową wartość w zakresie efektywności energetycznej proponowanego systemu. Jako dodatkowy warunek porównania oceniamy pobór mocy klasycznych metod kształtowania wiązki zaproponowanych w piśmiennictwie. 31,54, gdy jest wbudowany w ten sam mikrokontroler68 przy napięciu zasilania 1,8 V. Do gromadzenia danych do kształtowania wiązki wykorzystuje się pięć równomiernie rozmieszczonych membran pMUT. Jeśli chodzi o samo przetwarzanie, stosowaną metodą kształtowania wiązki jest sumowanie opóźnień. Polega ona po prostu na zastosowaniu opóźnienia na pasach ruchu odpowiadającego oczekiwanej różnicy w czasie przyjazdu pomiędzy jednym pasem a pasem referencyjnym. Jeśli sygnały są w fazie, suma tych sygnałów będzie miała wysoką energię po przesunięciu czasowym. Jeżeli są one przesunięte w fazie, destrukcyjna interferencja ograniczy energię ich sumy. w związku. Na ryc. 31, wybiera się częstotliwość próbkowania 2 MHz, aby przesunąć w czasie dane o całkowitą liczbę próbek. Skromniejszym podejściem jest utrzymanie mniejszej częstotliwości próbkowania wynoszącej 250 kHz i użycie filtra o skończonej odpowiedzi impulsowej (FIR) do syntezy ułamkowych opóźnień. Zakładamy, że złożoność algorytmu kształtowania wiązki zależy głównie od przesunięcia czasowego, ponieważ każdy kanał jest spleciony z filtrem FIR z 16 odczepami w każdym kierunku. Aby obliczyć liczbę MIPS wymaganą do tej operacji, bierzemy pod uwagę okno o długości 6 ms na pomiar, aby uchwycić zakres 1 metra, 5 kanałów, 11 kierunków kształtowania wiązki (zakres +/- 50° w krokach co 10°). 75 pomiarów na sekundę spowodowało, że mikrokontroler osiągnął maksimum 100 MIPS. Link. 68, co skutkuje stratami mocy na poziomie 11,26 mW, co daje całkowite straty mocy na poziomie 11,71 mW po dodaniu wbudowanego wkładu ADC.
Dane potwierdzające wyniki tego badania są dostępne u odpowiedniego autora, FM, na uzasadnioną prośbę.
Indiveri, G. i Sandamirskaya, Y. Znaczenie przestrzeni i czasu dla przetwarzania sygnałów w środkach neuromorficznych: wyzwanie polegające na opracowaniu autonomicznych agentów o małej mocy, które oddziałują z otoczeniem. Indiveri, G. i Sandamirskaya, Y. Znaczenie przestrzeni i czasu dla przetwarzania sygnałów w środkach neuromorficznych: wyzwanie polegające na opracowaniu autonomicznych agentów o małej mocy, które oddziałują z otoczeniem.Indiveri G. i Sandamirskaya Y. Znaczenie przestrzeni i czasu dla przetwarzania sygnałów w środkach neuromorficznych: wyzwanie polegające na opracowaniu autonomicznych agentów małej mocy oddziałujących z otoczeniem. Indiveri, G. i Sandamirskaya, Y.空间和时间对于神经形态代理中信号处理的重要性:开发与环境交互的低功耗、自主代理的挑战。 Indiveri, G. i Sandamirskaya, Y.Indiveri G. i Sandamirskaya Y. Znaczenie przestrzeni i czasu dla przetwarzania sygnałów w środkach neuromorficznych: wyzwanie polegające na opracowaniu autonomicznych agentów małej mocy oddziałujących z otoczeniem.Przetwarzanie sygnału IEEE. Dziennik 36, 16–28 (2019).
Thorpe, SJ Szczytowy czas przybycia: wydajny schemat kodowania sieci neuronowej. w Eckmiller, R., Hartmann, G. i Hauske, G. (red.). w Eckmiller, R., Hartmann, G. i Hauske, G. (red.).w: Eckmiller, R., Hartmann, G. i Hauske, G. (red.).W Eckmiller, R., Hartmann, G. i Hauske, G. (red.). Przetwarzanie równoległe w systemach neuronowych i komputerach 91–94 (North-Holland Elsevier, 1990).
Levy, WB i Calvert, VG Komunikacja zużywa 35 razy więcej energii niż obliczenia w ludzkiej korze, ale do przewidywania liczby synaps potrzebne są oba koszty. Levy, WB i Calvert, VG Komunikacja zużywa 35 razy więcej energii niż obliczenia w ludzkiej korze, ale do przewidywania liczby synaps potrzebne są oba koszty.Levy, WB i Calvert, WG Komunikacja zużywa 35 razy więcej energii niż obliczenia w ludzkiej korze mózgowej, ale do przewidywania liczby synaps potrzebne są oba koszty. Levy, WB i Calvert, VG Communication 消耗的能量是人类皮层计算的35 dni, 但这两种成本都需要预测突触数量. Levy, WB i Calvert, Komunikacja VGLevy, WB i Calvert, WG Komunikacja zużywa 35 razy więcej energii niż obliczenia w ludzkiej korze, ale oba koszty wymagają przewidywania liczby synaps.proces. Narodowa Akademia Nauk. nauka. USA 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Obliczenia neuromorficzne inspirowane owadami. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Obliczenia neuromorficzne inspirowane owadami.Dalgati, T., Vianello, E., DeSalvo, B. i Casas, J. Obliczenia neuromorficzne inspirowane owadami.Dalgati T., Vianello E., DeSalvo B. i Casas J. Obliczenia neuromorficzne inspirowane owadami. Aktualny. Opinia. Nauka o owadach. 30, 59–66 (2018).
Roy, K., Jaiswal, A. i Panda, P. W stronę inteligencji maszynowej opartej na skokach za pomocą obliczeń neuromorficznych. Roy, K., Jaiswal, A. i Panda, P. W stronę inteligencji maszynowej opartej na skokach za pomocą obliczeń neuromorficznych. Roy, K., Jaiswal, A. i Panda, P. W kierunku inteligencji maszynowej opartej na skokach za pomocą obliczeń neuromorficznych.Roy K, Jaiswal A i Panda P. Sztuczna inteligencja oparta na impulsach wykorzystująca obliczenia neuromorficzne. Natura 575, 607–617 (2019).
Indiveri, G. i Liu, S.-C. Indiveri, G. i Liu, S.-C.Indiveri, G. i Liu, S.-K. Indiveri, G. i Liu, S.-C. Indiveri, G. i Liu, S.-C.Indiveri, G. i Liu, S.-K.Przetwarzanie pamięci i informacji w układach neuromorficznych. proces. IEEE 103, 1379–1397 (2015).
Akopyan F. i in. Truenorth: Projekt i zestaw narzędzi dla programowalnego chipa synaptycznego o mocy 65 mW i mocy 1 miliona neuronów. Transakcje IEEE. Projektowanie komputerowe układów scalonych. 34, 1537–1557 (2015).
Schemmel, J. i in. Demo na żywo: pomniejszona wersja systemu neuromorficznego BrainScaleS w skali płytkowej. Międzynarodowe sympozjum IEEE na temat obwodów i systemów 2012 (ISCAS), (red. IEEE) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. i Indiveri, G. Skalowalna architektura wielordzeniowa z heterogenicznymi strukturami pamięci dla dynamicznych neuromorficznych procesorów asynchronicznych (DYNAP). Moradi, S., Qiao, N., Stefanini, F. i Indiveri, G. Skalowalna architektura wielordzeniowa z heterogenicznymi strukturami pamięci dla dynamicznych neuromorficznych procesorów asynchronicznych (DYNAP).Moradi S., Qiao N., Stefanini F. i Indiviri G. Skalowalna architektura wielordzeniowa z heterogenicznymi strukturami pamięci dla dynamicznych neuromorficznych procesorów asynchronicznych (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. 一种可扩展的多核架构,具有用于动态神经形态异步处理器(DYNAP)的异构内存结构。 Moradi, S., Qiao, N., Stefanini, F. i Indiveri, G. Rodzaj rozszerzalnej architektury wielordzeniowej z unikalną strukturą pamięci do dynamicznego przetwarzania neuronowego (DYNAP).Moradi S., Qiao N., Stefanini F. i Indiviri G. Skalowalna architektura wielordzeniowa z heterogenicznymi strukturami pamięci dla dynamicznych neuromorficznych procesorów asynchronicznych (DYNAP).Transakcje IEEE dotyczące nauk biomedycznych. układ elektryczny. 12, 106–122 (2018).
Davis, M. i in. Loihi: neuromorficzny procesor wielordzeniowy z wbudowanym uczeniem. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, Los Angeles Projekt SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, Los Angeles Projekt SpiNNaker.Projekt Ferber SB, Galluppi F., Temple S. i Plana LA SpiNNaker.Projekt Ferber SB, Galluppi F., Temple S. i Plana LA SpiNNaker. proces. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Neuromorficzne systemy sensoryczne. & Delbruck, T. Neuromorficzne systemy sensoryczne.i Delbrück T. Neuromorficzne systemy sensoryczne. & Delbruck, T. 神经形态感觉系统. i Delbruck, T.i Delbrück T. Neuromorficzny układ sensoryczny.Aktualny. Opinia. Neurobiologia. 20, 288–295 (2010).
Chope, T. i in. Neuromorficzna integracja sensoryczna w celu połączonej lokalizacji źródła dźwięku i unikania kolizji. W 2019 r. na konferencji IEEE na temat obwodów i systemów biomedycznych (BioCAS), (wyd. IEEE) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. i Indiveri, G. Neuromorficzna architektura widzenia stereo oparta na kolcach. Risi, N., Aimar, A., Donati, E., Solinas, S. i Indiveri, G. Neuromorficzna architektura widzenia stereo oparta na kolcach.Risi N, Aymar A, Donati E, Solinas S i Indiveri G. Neuromorficzna architektura stereowizji oparta na kolcach. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构. Risi, N., Aimar, A., Donati, E., Solinas, S. i Indiveri, G.Risi N, Aimar A, Donati E, Solinas S i Indiveri G. Architektura neuromorficzna oparta na Spike dla widzenia stereo.przód. Neurorobotyka 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. i Indiveri, G. Model sieci neuronowej 3Dperception oparty na zdarzeniach dla neuromorficznych systemów widzenia stereo. Osswald, M., Ieng, S.-H., Benosman, R. i Indiveri, G. Model sieci neuronowej 3Dperception oparty na zdarzeniach dla neuromorficznych systemów widzenia stereo.Oswald, M., Ieng, S.-H., Benosman, R. i Indiveri, G. Model percepcji impulsowej sieci neuronowej 3D dla neuromorficznych stereofonicznych systemów wizyjnych opartych na zdarzeniach. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 基于事件的神经形态立体视觉系统的3Dperception 脉冲神经网络模型. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception.Oswald, M., Ieng, S.-H., Benosman, R. i Indiveri, G. Spiked 3Dperception Model sieci neuronowej dla neuromorficznego stereofonicznego systemu wizyjnego opartego na zdarzeniach.nauka. Raport 7, 1–11 (2017).
Dalgaty, T. i in. Inspirowane owadami podstawowe wykrywanie ruchu obejmuje pamięć rezystancyjną i dynamiczne sieci neuronowe. Bioniczny system biohybrydowy. 10928, 115–128 (2018).
D'Angelo, G. i in. Detekcja ruchu mimośrodowego na podstawie zdarzeń z wykorzystaniem czasowego kodowania różnicowego. przód. Neurologia. 14, 451 (2020).