Aplikasi pangolahan data ing donya nyata mbutuhake sistem komputasi sing kompak, low-latency, lan kurang daya. Kanthi kemampuan komputasi sing didhukung acara, arsitektur neuromorphic memristive hibrida metal-oksida-semikonduktor komplementer nyedhiyakake dhasar hardware sing cocog kanggo tugas kasebut. Kanggo nduduhake potensial lengkap sistem kasebut, kita ngusulake lan kanthi eksperimen nuduhake solusi pangolahan sensor sing komprehensif kanggo aplikasi lokalisasi obyek ing donya nyata. Nggambar inspirasi saka neuroanatomi burung hantu kandhang, kita wis ngembangake sistem lokalisasi obyek sing didorong dening bioinspired, sing nggabungake transduser transduser mikromekanik piezoelektrik canggih kanthi memori resistif neuromorphic berbasis grafik komputasi. Kita nuduhake pangukuran sistem digawe sing kalebu detektor kebetulan resistif adhedhasar memori, sirkuit garis tundha, lan transduser ultrasonik sing bisa disesuaikan kanthi lengkap. Kita nggunakake asil eksperimen iki kanggo kalibrasi simulasi ing tingkat sistem. Simulasi kasebut banjur digunakake kanggo ngevaluasi resolusi sudut lan efisiensi energi model lokalisasi obyek. Asil nuduhake yen pendekatan kita bisa dadi sawetara pesenan gedhene energi luwih efisien tinimbang mikrokontroler nindakake tugas sing padha.
Kita lagi mlebu jaman komputasi sing ana ing endi-endi, ing ngendi jumlah piranti lan sistem sing disebarake saya tambah akeh kanggo mbantu kita ing saben dinane. Sistem kasebut dijangkepi bisa terus-terusan, nggunakake kekuwatan sethithik nalika sinau kanggo napsirake data sing diklumpukake saka macem-macem sensor ing wektu nyata lan ngasilake output binar minangka asil saka tugas klasifikasi utawa pangenalan. Salah sawijining langkah paling penting sing dibutuhake kanggo nggayuh tujuan iki yaiku ngekstrak informasi sing migunani lan kompak saka data sensori sing rame lan asring ora lengkap. Pendekatan teknik konvensional biasane menehi conto sinyal sensor kanthi tingkat konstan lan dhuwur, ngasilake data sing akeh sanajan ora ana input sing migunani. Kajaba iku, cara kasebut nggunakake teknik pangolahan sinyal digital sing kompleks kanggo ngolah data input (asring rame). Nanging, biologi nawakake solusi alternatif kanggo ngolah data sensori rame nggunakake pendekatan sing efisien energi, asinkron, lan didorong acara (spike)2,3. Komputasi neuromorphic njupuk inspirasi saka sistem biologi kanggo nyuda biaya komputasi babagan syarat energi lan memori dibandhingake karo metode pangolahan sinyal tradisional4,5,6. Bubar, sistem basis otak tujuan umum sing inovatif sing ngetrapake jaringan saraf impuls (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11) wis dituduhake. Prosesor iki nyedhiyakake solusi daya sing sithik, latensi sing sithik kanggo sinau mesin lan pemodelan sirkuit kortikal. Kanggo ngeksploitasi efisiensi energi kanthi lengkap, prosesor neuromorphic iki kudu langsung disambungake menyang sensor sing didorong acara12,13. Nanging, saiki mung ana sawetara piranti tutul sing langsung nyedhiyakake data sing didorong acara. Conto sing penting yaiku sensor visual dinamis (DVS) kanggo aplikasi visi kayata nelusuri lan deteksi gerakan14,15,16,17 silikon koklea18 lan sensor pendengaran neuromorphic (NAS)19 kanggo pangolahan sinyal pendengaran, sensor olfaktori20 lan akeh conto21,22 sentuhan. . sensor tekstur.
Ing makalah iki, kita nampilake sistem pangolahan pendengaran sing mentas dikembangake sing ditrapake kanggo lokalisasi obyek. Ing kene, kanggo pisanan, kita njlèntrèhaké sistem end-to-end kanggo lokalisasi obyek sing dipikolehi kanthi nyambungake transduser ultrasonik micromachined piezoelektrik canggih (pMUT) kanthi grafik komputasi adhedhasar memori resistif neuromorphic (RRAM). Arsitèktur komputasi ing memori nggunakake RRAM minangka solusi sing apik kanggo nyuda konsumsi daya23,24,25,26,27,28,29. Non-volatilitas sing ora ana gandhengane - ora mbutuhake konsumsi daya aktif kanggo nyimpen utawa nganyari informasi - cocog banget karo komputasi neuromorphic sing ora sinkron, sing didorong acara, nyebabake konsumsi daya sing meh ora ana nalika sistem ora aktif. Transduser ultrasonik micromachined piezoelektrik (pMUTs) minangka transduser ultrasonik basis silikon miniatur sing murah lan bisa tumindak minangka pemancar lan panrima30,31,32,33,34. Kanggo ngolah sinyal sing ditampa dening sensor sing dibangun, kita entuk inspirasi saka neuroanatomi burung hantu lumbung35,36,37. Burung hantu kandhang Tyto alba dikenal kanthi kemampuan mburu wengi sing luar biasa amarga sistem lokalisasi pendengaran sing efisien banget. Kanggo ngetung lokasi mangsa, sistem lokalisasi manuk hantu ngode wektu penerbangan (ToF) nalika gelombang swara saka mangsa tekan saben kuping utawa reseptor swara manuk hantu. Given jarak antarane kuping, prabédan antarane loro pangukuran ToF (Interural Time Difference, ITD) ndadekake iku bisa kanggo analytically ngetung posisi azimuth saka target. Sanajan sistem biologi kurang cocog kanggo ngrampungake persamaan aljabar, sistem kasebut bisa ngatasi masalah lokalisasi kanthi efektif. Sistem saraf barn owl nggunakake sakumpulan neuron detektor kebetulan (CD)35 (yaiku, neuron sing bisa ndeteksi korélasi temporal antarane spike sing nyebar mudhun menyang ujung eksitatoris konvergen)38,39 diatur dadi grafik komputasi kanggo ngatasi masalah posisi.
Panaliten sadurunge nuduhake manawa hardware metal-oxide-semiconductor (CMOS) pelengkap lan hardware neuromorphic berbasis RRAM sing diilhami dening colliculus inferior ("korteks auditori") saka manuk hantu kandhang minangka cara sing efisien kanggo ngitung posisi nggunakake ITD13, 40, 41, 42, 43, 44, 45, 46. Nanging, potensial sistem neuromorphic lengkap sing ngubungake isyarat pendengaran menyang grafik komputasi neuromorphic durung ditampilake. Masalah utama yaiku variasi sirkuit CMOS analog, sing mengaruhi akurasi deteksi pertandingan. Bubar, implementasi numerik alternatif saka perkiraan ITD47 wis dituduhake. Ing makalah iki, kita ngusulake nggunakake kemampuan RRAM kanggo ngganti nilai konduktansi kanthi cara non-molah malih kanggo counteract variasi ing sirkuit analog. Kita ngleksanakake sistem eksperimen sing kasusun saka siji pMUT ngirim membran operasi ing frekuensi saka 111,9 kHz, loro pMUT nampa membran (sensor) simulating kuping manuk owl, lan siji . Kita menehi ciri eksperimen sistem deteksi pMUT lan grafik komputasi ITD berbasis RRAM kanggo nguji sistem lokalisasi lan ngevaluasi resolusi sudut.
Kita mbandhingake metode kita karo implementasi digital ing mikrokontroler sing nindakake tugas lokalisasi sing padha nggunakake metode beamforming utawa neuromorphic konvensional, uga array gerbang programmable lapangan (FPGA) kanggo estimasi ITD sing diusulake ing referensi. 47. Iki comparison highlights efficiency daya competitive saka sistem neuromorphic analog basis RRAM ngajokaken.
Salah sawijining conto sistem lokalisasi obyek sing akurat lan efisien bisa ditemokake ing barn owl35,37,48. Ing wayah sore lan subuh, manuk hantu lumbung (Tyto Alba) utamane ngandelake ngrungokake pasif, kanthi aktif nggoleki mangsa cilik kayata vole utawa tikus. Pakar pendengaran iki bisa nglokalisasi sinyal pendengaran saka mangsa kanthi akurasi sing nggumunake (kira-kira 2 °)35, kaya sing ditampilake ing Gambar 1a. Barn owls nyimpulake lokasi sumber swara ing bidang azimuth (horizontal) saka prabédan incoming time of flight (ITD) saka sumber swara menyang rong kuping. Mekanisme komputasi ITD diusulake dening Jeffress49,50 sing gumantung ing geometri saraf lan mbutuhake rong komponen utama: akson, serat saraf neuron sing tumindak minangka garis tundha, lan susunan neuron detektor kebetulan sing diatur dadi sistem komputasi. grafik minangka ditampilake ing Figure 1b. Swara tekan kuping kanthi wektu tundha gumantung azimuth (ITD). Swara kasebut banjur diowahi dadi pola spike ing saben kuping. Akson kuping kiwa lan tengen tumindak minangka garis tundha lan konvergen ing neuron CD. Secara teoritis, mung siji neuron ing macem-macem neuron sing cocog bakal nampa input sekaligus (ing wektu tundha dibatalake persis) lan bakal murub kanthi maksimal (sel tetangga uga bakal murub, nanging kanthi frekuensi sing luwih murah). Ngaktifake neuron tartamtu ngodhe posisi target ing papan tanpa ngowahi ITD dadi sudut. Konsep iki diringkes ing Figure 1c: contone, yen swara teka saka sisih tengen nalika sinyal input saka kuping tengen lelungan path luwih dawa tinimbang path saka kuping kiwa, menehi ganti rugi kanggo nomer ITDs, contone,. nalika neuron 2 cocog. Ing tembung liyane, saben CD nanggapi ITD tartamtu (uga dikenal minangka tundha optimal) amarga tundha axonal. Mangkono, otak ngowahi informasi temporal dadi informasi spasial. Bukti anatomi kanggo mekanisme iki wis ditemokake37,51. Neuron macronucleus sing dikunci fase nyimpen informasi temporal babagan swara sing mlebu: miturut jenenge, padha murub ing fase sinyal tartamtu. Neuron detektor kebetulan saka model Jeffress bisa ditemokake ing inti laminar. Dheweke nampa informasi saka neuron macronuclear, sing akson tumindak minangka garis tundha. Jumlah wektu tundha sing diwenehake dening garis tundha bisa diterangake kanthi dawa akson, uga pola mielinasi liyane sing ngganti kecepatan konduksi. Diilhami dening sistem pendengaran manuk hantu kandhang, kita wis ngembangake sistem biomimetik kanggo lokalisasi obyek. Loro kuping diwakili dening rong panrima pMUT. Sumber swara punika pemancar pMUT dumunung ing antarane wong-wong mau (Fig. 1a), lan grafik komputasi kawangun dening kothak sirkuit CD basis RRAM (Fig. 1b, ijo), muter peran neuron CD sing input wis telat. liwat sirkuit, garis tundha (biru) tumindak kaya akson ing pasangan biologi. Sistem sensori sing diusulake beda-beda ing frekuensi operasi saka manuk hantu, sing sistem pendengaran beroperasi ing kisaran 1-8 kHz, nanging sensor pMUT sing beroperasi ing babagan 117 kHz digunakake ing karya iki. Pamilihan transduser ultrasonik dianggep miturut kriteria teknis lan optimalisasi. Kaping pisanan, mbatesi bandwidth nampa menyang frekuensi siji saenipun nambah akurasi pangukuran lan nyederhanakake langkah pasca-proses. Kajaba iku, operasi ing ultrasonik nduweni kaluwihan yen pulsa sing dipancarake ora bisa dirungokake, mula ora ngganggu wong, amarga jangkauan pendengaran yaiku ~ 20-20 kHz.
manuk hantu lumbung nampa gelombang swara saka target, ing kasus iki obah mangsa. Wektu penerbangan (ToF) gelombang swara beda-beda kanggo saben kuping (kajaba mangsane langsung ing ngarep manuk hantu). Garis putus-putus nuduhake dalan sing ditempuh ombak nganti tekan kuping manuk hantu. Prey bisa dilokalisasi kanthi akurat ing bidang horisontal adhedhasar prabédan dawa antarane rong jalur akustik lan prabédan wektu interaural sing cocog (ITD) (gambar kiwa sing diilhami dening ref. 74, hak cipta 2002, Society for Neuroscience). Ing sistem kita, pemancar pMUT (biru peteng) ngasilake gelombang swara sing mumbul saka target. Gelombang ultrasonik sing dibayangke ditampa dening rong panrima pMUT (ijo cahya) lan diproses dening prosesor neuromorphic (tengen). b Model komputasi ITD (Jeffress) sing njlèntrèhaké cara swara sing mlebu ing kuping manuk hantu lumbung pisanan dikode minangka spike sing dikunci fase ing inti gedhe (NM) lan banjur nggunakake kothak sing disusun kanthi geometris saka neuron detektor sing cocog ing inti lamellar. Pangolahan (Belanda) (kiwa). Ilustrasi grafik komputasi neuroITD sing nggabungake garis tundha lan neuron detektor kebetulan, sistem biosensor burung hantu bisa dimodelake nggunakake sirkuit neuromorphic berbasis RRAM (tengen). c Skema mekanisme Jeffress utama, amarga bedane ToF, kuping loro nampa rangsangan swara ing wektu sing beda lan ngirim akson saka ujung loro menyang detektor. Akson minangka bagéan saka seri neuron detektor kebetulan (CD), sing saben-saben nanggapi kanthi selektif marang input sing ana hubungane karo wektu. Akibaté, mung CD sing input teka karo prabédan wektu paling cilik paling bungah (ITD persis menehi ganti rugi). CD banjur bakal encode posisi sudut target.
Transduser ultrasonik mikromekanik piezoelektrik minangka transduser ultrasonik sing bisa diukur sing bisa digabungake karo teknologi CMOS canggih31,32,33,52 lan nduweni voltase awal lan konsumsi daya sing luwih murah tinimbang transduser volumetrik tradisional53. Ing karya kita, diameter membran yaiku 880 µm, lan frekuensi resonansi disebarake ing kisaran 110-117 kHz (Gambar 2a, deleng Metode kanggo rincian). Ing kumpulan sepuluh piranti tes, faktor kualitas rata-rata kira-kira 50 (ref. 31). Teknologi wis tekan kadewasan industri lan ora bioinspired per se. Nggabungake informasi saka film pMUT sing beda-beda minangka teknik sing kondhang, lan informasi sudut bisa dipikolehi saka pMUT nggunakake, contone, teknik beamforming31,54. Nanging, pangolahan sinyal sing dibutuhake kanggo ngekstrak informasi sudut ora cocog kanggo pangukuran daya sing sithik. Sistem sing diusulake nggabungake sirkuit preprocessing data neuromorphic pMUT karo grafik komputasi neuromorphic berbasis RRAM sing diilhami dening model Jeffress (Gambar 2c), nyedhiyakake solusi hardware alternatif sing efisien energi lan sumber daya. Kita nindakake eksperimen ing ngendi rong sensor pMUT diselehake kira-kira 10 cm kanggo ngeksploitasi swara ToF sing beda sing ditampa dening rong membran panampa. Siji pMUT tumindak minangka pemancar lenggah ing antarane panrima. Sasaran yaiku piring PVC kanthi ambane 12 cm, dumunung ing jarak D ing ngarep piranti pMUT (Gambar 2b). Panrima nyathet swara sing dibayangke saka obyek lan nanggepi sabisane sajrone gelombang swara. Baleni eksperimen kanthi ngganti posisi obyek, ditemtokake dening jarak D lan sudut θ. Inspirasi dening link. 55, kita ngusulake pra-proses neuromorfik sinyal mentah pMUT kanggo ngowahi gelombang sing dibayangke dadi puncak kanggo nglebokake grafik komputasi neuromorphic. ToF sing cocog karo amplitudo puncak diekstrak saka saben rong saluran lan dikode minangka wektu sing tepat saka puncak individu. Ing anjir. 2c nuduhake sirkuit sing dibutuhake kanggo antarmuka sensor pMUT karo grafik komputasi basis RRAM: kanggo saben loro panrima pMUT, sinyal mentah disaring band-pass kanggo Gamelan, mbenerake, banjur diterusake menyang integrator bocor ing mode ngatasi. batesan dinamis (Fig. 2d) nggawe acara output (spike) lan diperlokaké (LIF) neuron: wektu spike output encode wektu pesawat dideteksi. Ambang LIF dikalibrasi marang respon pMUT, saéngga nyuda variasi pMUT saka piranti menyang piranti. Kanthi pendekatan iki, tinimbang nyimpen kabeh gelombang swara ing memori lan ngolah mengko, kita mung ngasilake puncak sing cocog karo ToF gelombang swara, sing dadi input menyang grafik komputasi memori resistif. Spike dikirim langsung menyang garis tundha lan paralel karo modul deteksi match ing grafik komputasi neuromorphic. Amarga dikirim menyang gerbang transistor, ora perlu sirkuit amplifikasi tambahan (pirsani Gambar Tambahan 4 kanggo rincian). Kanggo ngevaluasi akurasi sudut lokalisasi sing diwenehake dening pMUT lan metode pangolahan sinyal sing diusulake, kita ngukur ITD (yaiku, prabédan wektu antarane acara puncak sing digawe dening rong panrima) amarga jarak lan sudut obyek kasebut beda-beda. Analisis ITD banjur diowahi dadi sudut (ndeleng Metode) lan direncanakake marang posisi obyek: kahanan sing durung mesthi ing ITD sing diukur tambah kanthi jarak lan sudut menyang obyek (Fig. 2e, f). Masalah utama yaiku rasio puncak-kanggo-noise (PNR) ing respon pMUT. Sing luwih adoh obyek, sinyal akustik luwih murah, saéngga nyuda PNR (Gambar 2f, garis ijo). A nyuda ing PNR ndadékaké kanggo Tambah ing kahanan sing durung mesthi ing ngira ITD, asil ing Tambah ing akurasi lokalisasi (Fig. 2f, garis biru). Kanggo obyek ing jarak 50 cm saka pemancar, akurasi sudut sistem kira-kira 10 °. Watesan iki dileksanakake dening karakteristik sensor bisa apik. Contone, meksa dikirim dening emitor bisa tambah, mangkono nambah voltase nyopir membran pMUT. Solusi liyane kanggo nggedhekake sinyal sing ditularake yaiku nyambungake sawetara pemancar 56. Solusi kasebut bakal nambah jangkauan deteksi kanthi biaya energi sing tambah. dandan tambahan bisa digawe ing sisih nampa. Lantai swara panrima pMUT bisa dikurangi sacara signifikan kanthi nambah sambungan antarane pMUT lan amplifier tahap pertama, sing saiki ditindakake kanthi sambungan kabel lan kabel RJ45.
Gambar saka kristal pMUT kanthi enem membran 880 µm terintegrasi ing pitch 1,5 mm. b. Diagram pengukuran. Sasaran dumunung ing posisi azimuth θ lan ing jarak D. Pemancar pMUT ngasilake sinyal 117,6 kHz sing mumbul saka target lan tekan rong panrima pMUT kanthi wektu penerbangan (ToF) sing beda. Prabédan iki, ditetepake minangka prabédan wektu antar-aural (ITD), ngodhe posisi obyek lan bisa dikira kanthi ngira-ngira respon puncak saka loro sensor panrima. c Skema langkah pra-proses kanggo ngowahi sinyal pMUT mentah dadi urutan spike (yaiku input menyang grafik komputasi neuromorphic). Sensor pMUT lan grafik komputasi neuromorphic wis digawe lan diuji, lan pra-proses neuromorphic adhedhasar simulasi piranti lunak. d Response saka membran pMUT nalika nampa sinyal lan transformasi menyang domain spike. e Akurasi sudut lokalisasi eksperimen minangka fungsi sudut obyek (Θ) lan jarak (D) menyang obyek target. Cara ekstraksi ITD mbutuhake resolusi sudut minimal kira-kira 4°C. f Akurasi sudut (garis biru) lan rasio puncak-kanggo-noise sing cocog (garis ijo) versus jarak obyek kanggo Θ = 0.
Memori resistif nyimpen informasi ing negara konduktif non-molah malih. Prinsip dhasar metode kasebut yaiku modifikasi materi ing tingkat atom nyebabake owah-owahan ing konduktivitas listrik57. Ing kene kita nggunakake memori resistif adhedhasar oksida sing kasusun saka lapisan hafnium dioksida 5nm sing dipasang ing antarane elektroda titanium lan titanium nitrida ndhuwur lan ngisor. Konduktivitas piranti RRAM bisa diganti kanthi nggunakake gelombang saiki / voltase sing nggawe utawa ngilangi filamen konduktif saka lowongan oksigen ing antarane elektroda. We co-Integrated devices58 kuwi menyang standar 130 nm proses CMOS kanggo nggawe sirkuit neuromorphic reconfigurable fabricated ngleksanakake detector ketepakan lan sirkuit line tundha (Fig. 3a). Sifat non-molah malih lan analog saka piranti, digabungake karo alam acara-mimpin sirkuit neuromorphic, minimalake konsumsi daya. Sirkuit nduweni fungsi on/off cepet: bisa langsung diuripake, supaya daya bisa dipateni kanthi lengkap nalika sirkuit ora aktif. Blok bangunan utama skema sing diusulake ditampilake ing anjir. 3b. Iki kasusun saka struktur N paralel resistor tunggal transistor tunggal (1T1R) sing ngode bobot sinaptik saka ngendi arus bobot dijupuk, disuntikake menyang sinaps umum saka integrator pasangan diferensial (DPI)59, lan pungkasane disuntikake menyang sinaps kanthi integrasi lan bocor. aktif (LIF) neuron 60 (ndeleng Metode kanggo rincian). Lonjakan input ditrapake ing gerbang struktur 1T1R ing wangun urutan pulsa voltase kanthi durasi ing urutan atusan nanodetik. Memori resistif bisa diselehake ing negara konduktif dhuwur (HCS) dening aplikasi referensi positif external kanggo Vtop nalika Vbottom wis grounded, lan ngreset menyang negara konduktif kurang (LCS) dening aplikasi voltase positif kanggo Vbottom nalika Vtop wis diukum. Nilai rata-rata saka HCS bisa kontrol dening matesi saiki program (selaras) saka SET (ICC) dening voltase gerbang-sumber saka transistor seri (Fig. 3c). Fungsi RRAM ing sirkuit ana loro: padha ngarahake lan bobot pulsa input.
Scanning electron microscope (SEM) gambar piranti HfO2 1T1R RRAM biru sing terintegrasi ing teknologi CMOS 130 nm kanthi transistor pemilih (jembaré 650 nm) kanthi warna ijo. b Blok bangunan dhasar saka skema neuromorfik sing diusulake. Pulsa voltase input (puncak) Vin0 lan Vin1 nganggo Iweight saiki, sing sebanding karo konduksi negara G0 lan G1 saka struktur 1T1R. Saiki iki disuntikake menyang sinapsis DPI lan nyenengake neuron LIF. RRAM G0 lan G1 dipasang ing HCS lan LCS. c Fungsi Kapadhetan konduktansi kumulatif kanggo klompok piranti 16K RRAM minangka fungsi saka cocog saiki ICC, kang èfèktif ngontrol tingkat konduksi. d Circuit pangukuran ing (a) nuduhake yen G1 (ing LCS) èfèktif pamblokiran input saka Vin1 (ijo), lan voltase membran neuron output mung nanggepi input biru saka Vin0. RRAM èfèktif nemtokake sambungan ing sirkuit. e Pangukuran sirkuit ing (b) nuduhake efek saka Nilai konduktansi G0 ing voltase membran Vmem sawise aplikasi pulsa voltase Vin0. Konduktansi luwih akeh, respon sing luwih kuat: kanthi mangkono, piranti RRAM ngetrapake bobot sambungan I / O. Pangukuran digawe ing sirkuit lan nduduhake fungsi dual RRAM, nuntun lan bobot saka pulsa input.
Pisanan, amarga ana rong negara konduksi dhasar (HCS lan LCS), RRAM bisa mblokir utawa kantun pulsa input nalika ana ing negara LCS utawa HCS. Akibaté, RRAM èfèktif nemtokake sambungan ing sirkuit. Iki minangka basis kanggo bisa ngatur ulang arsitektur. Kanggo nduduhake iki, kita bakal njlèntrèhaké implementasine sirkuit fabricated saka pamblokiran sirkuit ing Fig.. 3b. RRAM sing cocog karo G0 diprogram menyang HCS, lan RRAM G1 kapindho diprogram menyang LCS. Pulsa input ditrapake kanggo Vin0 lan Vin1. Efek saka rong urutan pulsa input dianalisis ing neuron output kanthi ngumpulake voltase membran neuron lan sinyal output nggunakake oscilloscope. Eksperimen kasebut sukses nalika mung piranti HCS (G0) sing disambungake menyang pulsa neuron kanggo ngrangsang ketegangan membran. Iki dituduhake ing Figure 3d, ngendi Sepur pulsa biru nimbulaké voltase membran kanggo mbangun munggah ing kapasitor membran, nalika Sepur pulsa ijo tansah voltase membran pancet.
Fungsi penting kapindho RRAM yaiku implementasine bobot sambungan. Nggunakake pangaturan konduktansi analog RRAM, sambungan I / O bisa ditimbang. Ing eksperimen kapindho, piranti G0 diprogram menyang tingkat HCS sing beda-beda, lan pulsa input ditrapake ing input VIn0. Pulsa input narik arus (bobot) saka piranti, sing sebanding karo konduktansi lan potensial drop Vtop - Vbot sing cocog. Arus bobot iki banjur disuntikake menyang sinapsis DPI lan neuron output LIF. Tegangan membran saka neuron output direkam nggunakake oscilloscope lan ditampilake ing Fig. 3d. Puncak voltase membran neuron kanggo nanggepi pulsa input siji sebanding karo konduktansi memori resistif, nuduhake yen RRAM bisa digunakake minangka unsur sing bisa diprogram saka bobot sinaptik. Iki loro tes pambuka nuduhake yen platform neuromorphic basis RRAM ngajokaken bisa kanggo ngleksanakake unsur dhasar saka mekanisme Jeffress dhasar, yaiku garis wektu tundha lan sirkuit detector ketepakan. Platform sirkuit dibangun kanthi numpuk blok berturut-turut, kayata blok ing Gambar 3b, lan nyambungake gerbang menyang garis input umum. Kita ngrancang, nggawe, lan nguji platform neuromorphic sing dumadi saka rong neuron output sing nampa rong input (Gambar 4a). Diagram sirkuit ditampilake ing Figure 4b. Matriks 2 × 2 RRAM ndhuwur ngidini pulsa input diarahake menyang rong neuron output, nalika matriks 2 × 2 ngisor ngidini sambungan ambalan saka rong neuron (N0, N1). We nduduhake sing platform iki bisa digunakake karo konfigurasi line tundha lan loro fungsi detector ketepakan beda, minangka ditampilake dening pangukuran eksperimen ing Fig. 4c-e.
Diagram sirkuit kawangun dening loro neuron output N0 lan N1 nampa loro input 0 lan 1. Papat piranti ndhuwur Uploaded nemtokake sambungan sinaptik saka input kanggo output, lan papat sel ngisor nemtokake sambungan ambalan antarane neuron. RRAMs colored makili piranti sing dikonfigurasi ing HCS ing sisih tengen: piranti ing HCS ngidini sambungan lan makili bobot, nalika piranti ing LCS mblokir pulsa input lan mateni sambungan kanggo output. b Diagram sirkuit (a) karo wolung modul RRAM disorot biru. c Garis tundha dibentuk kanthi mung nggunakake dinamika sinapsis DPI lan neuron LIF. RRAM ijo disetel kanggo konduktansi cukup dhuwur supaya bisa nyebabake kesalahan ing output sawise wektu tundha input Δt. d Ilustrasi skematis deteksi CD sing ora sensitif arah sinyal gumantung wektu. Output neuron 1, N1, murub ing input 0 lan 1 kanthi wektu tundha cendhak. e Sirkuit CD sensitif arah, sirkuit sing ndeteksi nalika input 1 nyedhaki input 0 lan tekan sawise input 0. Output sirkuit diwakili dening neuron 1 (N1).
Garis tundha (Gambar 4c) mung nggunakake prilaku dinamis sinapsis DPI lan neuron LIF kanggo ngasilake spike input saka Vin1 nganti Vout1 kanthi nundha Tdel. Mung G3 RRAM disambungake kanggo Vin1 lan Vout1 wis diprogram ing HCS, liyane saka RRAMs diprogram ing LCS. Piranti G3 diprogram kanggo 92.6 µs kanggo mesthekake yen saben pulsa input nambah voltase membran neuron output kanthi cukup kanggo nggayuh ambang lan ngasilake pulsa output sing telat. Wektu tundha Tdel ditemtokake dening konstanta wektu sinaptik lan saraf. Detektor kebetulan ndeteksi kedadeyan sinyal input sing digandhengake sacara temporal nanging disebarake sacara spasial. CD sing ora sensitif arah gumantung ing input individu sing konvergen menyang neuron output umum (Gambar 4d). Loro RRAM nyambungake Vin0 lan Vin1 kanggo Vout1, G2 lan G4 mungguh diprogram kanggo konduksi dhuwur. Tekane spike bebarengan ing Vin0 lan Vin1 nambah voltase membran neuron N1 ing ndhuwur ambang sing dibutuhake kanggo ngasilake spike output. Yen loro input adoh banget ing wektu, pangisian daya ing voltase membran sing diklumpukake dening input pisanan bisa uga duwe wektu kanggo bosok, nyegah potensial membran N1 tekan nilai ambang. G1 lan G2 diprogram kira-kira 65 µs, sing mesthekake yen lonjakan input siji ora nambah voltase membran sing cukup kanggo nyebabake lonjakan output. Deteksi ketepakan antarane acara sing disebarake ing papan lan wektu minangka operasi dhasar sing digunakake ing macem-macem tugas sensing kayata panyegahan alangan adhedhasar aliran optik lan lokalisasi sumber swara. Dadi, komputasi CD sing sensitif arah lan ora sensitif minangka blok bangunan dhasar kanggo mbangun sistem lokalisasi visual lan audio. Minangka ditampilake dening karakteristik saka konstanta wektu (pirsani Fig. 2 Tambahan), sirkuit ngajokaken ngleksanakake sawetara cocok saka papat urutan skala wektu gedhene. Mangkono, bisa uga nyukupi syarat sistem visual lan swara. CD sing sensitif arah yaiku sirkuit sing sensitif marang urutan spasial kedatangan pulsa: saka tengen ngiwa lan kosok balene. Iki minangka blok bangunan dhasar ing jaringan deteksi gerakan dhasar saka sistem visual Drosophila, digunakake kanggo ngetung arah gerakan lan ndeteksi tabrakan62. Kanggo entuk CD sing sensitif arah, rong input kudu diarahake menyang rong neuron sing beda (N0, N1) lan sambungan arah kudu diadegake ing antarane (Fig. 4e). Nalika input pisanan ditampa, NO nanggepi kanthi nambah voltase ing membran ndhuwur nilai ambang lan ngirim mundhak. Acara output iki, ing siji, murub N1 thanks kanggo sambungan arah disorot ing ijo. Yen acara input Vin1 teka lan energizes N1 nalika voltase membran isih dhuwur, N1 njedulake acara output nuduhake yen cocog wis ketemu antarane loro input. Sambungan arah ngidini N1 ngetokake output mung yen input 1 teka sawise input 0. G0, G3, lan G7 diprogram dadi 73,5 µS, 67.3 µS, lan 40.2 µS, masing-masing, mesthekake yen spike siji ing input Vin0 nyebabake keterlambatan. spike output, nalika potensial membran N1 mung tekan ambang nalika loro input bledosan teka ing sinkronisasi. .
Variabilitas minangka sumber ketidaksempurnaan ing sistem neuromorfik model63,64,65. Iki ndadékaké prilaku heterogen saka neuron lan sinapsis. Conto cacat kuwi kalebu 30% (tegese standar deviasi) variabilitas ing gain input, wektu konstan, lan periode refractory, kanggo jeneng nanging sawetara (ndeleng Metode). Masalah iki luwih jelas nalika sawetara sirkuit saraf disambungake bebarengan, kayata CD sensitif orientasi sing dumadi saka rong neuron. Kanggo bisa mlaku kanthi bener, konstanta wektu gain lan bosok saka rong neuron kudu padha. Contone, prabédan gedhe ing gain input bisa nimbulaké siji neuron overreacted menyang pulsa input nalika neuron liyane lagi wae responsif. Ing anjir. Gambar 5a nuduhake yen neuron sing dipilih kanthi acak nanggapi beda karo pulsa input sing padha. Variabilitas saraf iki cocog, contone, kanggo fungsi CD sing sensitif arah. Ing skema sing ditampilake ing anjir. 5b, c, gain input neuron 1 luwih dhuwur tinimbang neuron 0. Mangkono, neuron 0 mbutuhake telung pulsa input (tinimbang 1) kanggo nggayuh ambang, lan neuron 1, kaya sing dikarepake, mbutuhake rong acara input. Ngleksanakake spike time-dependent biomimetic plasticity (STDP) minangka cara sing bisa kanggo nyuda pengaruh sirkuit saraf lan sinaptik sing ora akurat lan alon ing kinerja sistem43. Ing kene kita ngusulake nggunakake prilaku plastik saka memori resistif minangka sarana kanggo mengaruhi paningkatan input saraf lan nyuda efek variasi ing sirkuit neuromorphic. Minangka ditampilake ing anjir. 4e, tingkat konduktansi sing ana gandhengane karo massa sinaptik RRAM kanthi efektif ngowahi respon voltase membran saraf sing cocog. Kita nggunakake strategi program RRAM iteratif. Kanggo input sing diwenehake, nilai konduktansi saka bobot sinaptik diprogram ulang nganti prilaku target sirkuit dipikolehi (pirsani Metode).
Pangukuran eksperimental saka respon sangang neuron individu sing dipilih kanthi acak kanggo pulsa input sing padha. Tanggepan beda-beda ing antarane populasi, mengaruhi gain input lan konstanta wektu. b Pangukuran eksperimen saka pengaruh neuron ing variabilitas neuron sing mengaruhi CD sensitif arah. Loro neuron output CD sensitif arah nanggapi kanthi beda kanggo rangsangan input amarga variasi neuron-kanggo-neuron. Neuron 0 duwe gain input sing luwih murah tinimbang neuron 1, mula butuh telung pulsa input (tinimbang 1) kanggo nggawe spike output. Kaya sing dikarepake, neuron 1 tekan ambang kanthi rong acara input. Yen input 1 tekan Δt = 50 µs sawise neuron 0 murub, CD tetep meneng amarga Δt luwih gedhe tinimbang konstanta wektu neuron 1 (udakara 22 µs). c dikurangi dening Δt = 20 µs, supaya input 1 puncak nalika nembak neuron 1 isih dhuwur, nyebabake deteksi simultan saka rong acara input.
Loro unsur sing digunakake ing kolom pitungan ITD yaiku garis tundha lan CD sing ora sensitif arah. Loro sirkuit mbutuhake kalibrasi sing tepat kanggo njamin kinerja posisi obyek sing apik. Baris tundha kudu ngirim versi telat sabenere saka puncak input (Fig. 6a), lan CD kudu diaktifake mung nalika input tumiba ing sawetara deteksi target. Kanggo garis tundha, bobot sinaptik sambungan input (G3 ing Fig. 4a) diprogram ulang nganti tundha target dipikolehi. Nyetel toleransi sak target wektu tundha kanggo mungkasi program: sing cilik toleransi, luwih angel kanggo kasil nyetel garis wektu tundha. Ing anjir. Figure 6b nuduhake asil proses kalibrasi garis wektu tundha: bisa dideleng manawa skema sing diusulake bisa nyedhiyakake kabeh tundha sing dibutuhake ing skema desain (saka 10 nganti 300 μs). Jumlah maksimum iterasi kalibrasi mengaruhi kualitas proses kalibrasi: 200 iterasi bisa nyuda kesalahan kurang saka 5%. Siji pengulangan kalibrasi cocog karo operasi set / reset saka sel RRAM. Proses tuning uga penting kanggo nambah akurasi deteksi acara cedhak modul CD. Butuh sepuluh iterasi kalibrasi kanggo entuk tingkat positif sing bener (yaiku, tingkat acara sing diidentifikasi kanthi bener minangka relevan) ing ndhuwur 95% (garis biru ing Gambar 6c). Nanging, proses tuning ora mengaruhi acara positif palsu (yaiku frekuensi acara sing salah diidentifikasi minangka relevan). Cara liya sing diamati ing sistem biologi kanggo ngatasi watesan wektu kanthi cepet ngaktifake jalur yaiku redundansi (yaiku, akeh salinan obyek sing padha digunakake kanggo nindakake fungsi tartamtu). Diilhami dening biology66, kita nyelehake sawetara sirkuit CD ing saben modul CD ing antarane rong garis tundha kanggo nyuda pengaruh positif palsu. Minangka ditampilake ing anjir. 6c (garis ijo), nempatake telung unsur CD ing saben modul CD bisa nyuda tingkat weker palsu dadi kurang saka 10-2.
a Pengaruh variabilitas neuron ing sirkuit garis tundha. b sirkuit line tundha bisa scaled kanggo telat gedhe kanthi nyetel konstanta wektu saka neuron LIF cocog lan sinaps DPI kanggo nilai gedhe. Nambah jumlah iterasi saka prosedur kalibrasi RRAM bisa nambah akurasi tundha target kanthi signifikan: 200 iterasi nyuda kesalahan kurang saka 5%. Siji iterasi cocog karo operasi SET / RESET ing sel RRAM. Saben modul CD ing model c Jeffress bisa dipun ginakaken nggunakake unsur CD podo N kanggo keluwesan luwih bab gagal sistem. d More pengulangan kalibrasi RRAM nambah tingkat positif bener (garis biru), nalika tingkat positif palsu punika independen saka nomer iterasi (garis ijo). Nempatake luwih akeh unsur CD ing podo karo ngindhari deteksi palsu saka cocog modul CD.
Saiki kita ngevaluasi kinerja lan konsumsi daya sistem lokalisasi obyek terintegrasi end-to-end sing ditampilake ing Gambar 2 nggunakake pangukuran sifat akustik sensor pMUT, CD, lan sirkuit garis tundha sing nggawe grafik komputasi neuromorphic. Model Jeffress (Gambar 1a). Kanggo grafik komputasi neuromorphic, luwih akeh jumlah modul CD, luwih apik resolusi sudut, nanging uga energi sistem sing luwih dhuwur (Gambar 7a). Kompromi bisa ditindakake kanthi mbandhingake akurasi komponen individu (sensor pMUT, neuron, lan sirkuit sinaptik) kanthi akurasi kabeh sistem. Resolusi garis tundha diwatesi dening konstanta wektu sinapsis lan neuron simulasi, sing ing skema kita ngluwihi 10 µs, sing cocog karo resolusi sudut 4 ° (pirsani Metode). Node sing luwih maju kanthi teknologi CMOS bakal ngidini desain sirkuit saraf lan sinaptik kanthi konstanta wektu sing luwih murah, nyebabake akurasi unsur garis tundha sing luwih dhuwur. Nanging, ing sistem kita, akurasi diwatesi dening kesalahan pMUT ing ngira posisi sudut, yaiku 10 ° (garis horisontal biru ing Fig. 7a). Kita ndandani jumlah modul CD ing 40, sing cocog karo resolusi sudut kira-kira 4 °, yaiku, akurasi sudut grafik komputasi (garis horizontal biru cahya ing Gambar 7a). Ing tingkat sistem, iki menehi resolusi 4 ° lan akurasi 10 ° kanggo obyek sing dumunung 50 cm ing ngarepe sistem sensor. Nilai iki bisa dibandhingake karo sistem lokalisasi swara neuromorphic sing dilaporake ing ref. 67. A comparison saka sistem ngajokaken karo negara saka seni bisa ditemokaké ing Tabel Tambahan 1. Nambahake pMUTs tambahan, nambah tingkat sinyal akustik, lan ngurangi gangguan elektronik minangka cara sing bisa kanggo nambah akurasi lokalisasi. ) kira-kira 9,7. nz. 55. Diwenehi 40 unit CD ing grafik komputasi, simulasi SPICE ngira energi saben operasi (yaiku, energi posisi obyek) dadi 21,6 nJ. Sistem neuromorphic diaktifake mung nalika acara input teka, yaiku nalika gelombang akustik tekan panrima pMUT lan ngluwihi ambang deteksi, yen ora tetep ora aktif. Iki ngindhari konsumsi daya sing ora perlu nalika ora ana sinyal input. Ngelingi frekuensi operasi lokalisasi 100 Hz lan periode aktivasi 300 µs saben operasi (ITD maksimum sing bisa ditindakake), konsumsi daya grafik komputasi neuromorphic yaiku 61,7 nW. Kanthi pra-proses neuromorphic ditrapake kanggo saben panrima pMUT, konsumsi daya kabeh sistem tekan 81,6 nW. Kanggo mangerteni efisiensi energi saka pendekatan neuromorphic ngajokaken dibandhingake hardware conventional, kita mbandhingaké nomer iki kanggo energi dibutuhake kanggo nindakake tugas padha ing microcontroller daya kurang modern nggunakake salah siji neuromorphic utawa beamforming68 Skill konvensional. Pendekatan neuromorphic nimbang tahap analog-to-digital converter (ADC), ngiring dening band-pass filter lan tahap ekstraksi amplop (metode Teeger-Kaiser). Pungkasan, operasi ambang ditindakake kanggo ngekstrak ToF. Kita wis ngilangi pitungan ITD adhedhasar ToF lan konversi menyang taksiran posisi sudut amarga iki kedadeyan sapisan kanggo saben pangukuran (pirsani Metode). Kanthi asumsi tingkat sampling 250 kHz ing loro saluran (panrima pMUT), 18 operasi saringan band pass, 3 operasi ekstraksi amplop, lan 1 operasi ambang saben sampel, konsumsi daya total kira-kira 245 mikrowatt. Iki nggunakake mode kurang daya mikrokontroler69, sing urip nalika algoritma ora dieksekusi, sing nyuda konsumsi daya dadi 10,8 µW. Konsumsi daya saka solusi pangolahan sinyal beamforming ngajokaken ing referensi. 31, karo 5 panrima pMUT lan 11 balok seragam mbagekke ing bidang azimuth [-50 °, +50 °], punika 11,71 mW (ndeleng bagean Metode kanggo rincian). Kajaba iku, kita laporan konsumsi daya saka basis FPGA47 Time Difference Encoder (TDE) kira-kira 1,5 mW minangka panggantos kanggo model Jeffress kanggo lokalisasi obyek. Adhedhasar prakiraan kasebut, pendekatan neuromorphic sing diusulake nyuda konsumsi daya kanthi limang urutan gedhene dibandhingake karo mikrokontroler nggunakake teknik beamforming klasik kanggo operasi lokalisasi obyek. Ngadopsi pendekatan neuromorphic kanggo pangolahan sinyal ing mikrokontroler klasik nyuda konsumsi daya kira-kira rong urutan gedhene. Efektivitas sistem sing diusulake bisa diterangake kanthi kombinasi sirkuit analog resistif-memori sing ora sinkron sing bisa nindakake petungan ing memori lan kekurangan konversi analog-kanggo-digital sing dibutuhake kanggo ngerteni sinyal.
resolusi sudut (biru) lan konsumsi daya (ijo) operasi lokalisasi gumantung saka jumlah modul CD. Bar horisontal biru peteng nggambarake akurasi sudut PMUT lan garis horizontal biru cahya nggambarake akurasi sudut grafik komputasi neuromorphic. b konsumsi daya saka sistem ngajokaken lan comparison karo loro rembugan microcontroller implementasine lan implementasine digital saka Wektu Bèntenipun Encoder (TDE)47 FPGA.
Kanggo nyilikake konsumsi daya saka sistem lokalisasi target, kita ngandhut, ngrancang lan ngleksanakake sirkuit neuromorphic basis RRAM sing efisien, sing didhukung acara sing ngolah informasi sinyal sing diasilake dening sensor sing dibangun kanggo ngitung posisi obyek target kanthi nyata. wektu. . Nalika cara pangolahan tradisional terus-terusan sampel sinyal sing dideteksi lan nindakake petungan kanggo ngekstrak informasi sing migunani, solusi neuromorphic sing diusulake nindakake kalkulasi kanthi ora sinkron nalika informasi migunani teka, ngoptimalake efisiensi daya sistem kanthi limang urutan gedhene. Kajaba iku, kita nyorot keluwesan sirkuit neuromorphic basis RRAM. Kemampuan RRAM kanggo ngganti konduktansi kanthi cara sing ora molah malih (plastisitas) ngimbangi variasi sing ana ing sirkuit sinaptik lan saraf DPI analog ultra-low daya. Iki ndadekake sirkuit basis RRAM iki serbaguna lan kuat. Tujuan kita ora kanggo ngekstrak fungsi utawa pola sing rumit saka sinyal, nanging kanggo lokalisasi obyek ing wektu nyata. Sistem kita uga bisa ngompres sinyal kanthi efisien lan pungkasane dikirim menyang langkah-langkah pangolahan luwih lanjut kanggo nggawe keputusan sing luwih rumit yen dibutuhake. Ing konteks aplikasi lokalisasi, langkah preprocessing neuromorphic kita bisa menehi informasi babagan lokasi obyek. Informasi iki bisa digunakake, contone, kanggo deteksi gerakan utawa pangenalan gerakan. Kita nandheske pentinge nggabungake sensor ultra-kurang daya kayata pMUTs karo elektronik ultra-rendah. Kanggo iki, pendekatan neuromorphic wis dadi kunci amarga wis nuntun kita ngembangake implementasi sirkuit anyar saka metode komputasi sing diilhami sacara biologis kayata model Jeffress. Ing konteks aplikasi fusi sensor, sistem kita bisa digabung karo sawetara sensor adhedhasar acara sing beda kanggo entuk informasi sing luwih akurat. Sanajan manuk hantu apik banget kanggo nemokake mangsa ing peteng, dheweke duwe paningal sing apik lan nindakake gabungan pendengaran lan visual sadurunge nyekel mangsa70. Nalika neuron pendengaran tartamtu murub, manuk hantu nampa informasi sing dibutuhake kanggo nemtokake arah kanggo miwiti telusuran visual, saéngga fokus ing bagean cilik saka pemandangan visual. Kombinasi sensor visual (kamera DVS) lan sensor ngrungokake sing diusulake (adhedhasar pMUT) kudu ditliti kanggo pangembangan agen otonom ing mangsa ngarep.
Sensor pMUT dumunung ing PCB kanthi rong panrima kira-kira 10 cm, lan pemancar dumunung ing antarane panrima. Ing karya iki, saben membran minangka struktur bimorph sing digantung sing kasusun saka rong lapisan piezoelektrik aluminium nitride (AlN) 800 nm kandel sing diapit ing antarane telung lapisan molybdenum (Mo) 200 nm lan dilapisi lapisan 200 nm. lapisan SiN passivating ndhuwur minangka diterangake ing referensi. 71. Elektroda njero lan njaba ditrapake ing lapisan ngisor lan ndhuwur molybdenum, dene elektroda molybdenum tengah ora ana pola lan digunakake minangka lemah, nyebabake membran karo papat pasangan elektroda.
Arsitèktur iki ngidini panggunaan deformasi membran sing umum, saéngga ningkatake sensitivitas ngirim lan nampa. PMUT kuwi biasane nuduhake sensitivitas eksitasi 700 nm / V minangka emitor, nyedhiyakake tekanan permukaan 270 Pa / V. Minangka panrima, siji film pMUT nampilake sensitivitas sirkuit cendhak 15 nA / Pa, sing langsung ana hubungane karo koefisien piezoelektrik AlN. Variabilitas teknis voltase ing lapisan AlN nyebabake owah-owahan frekuensi resonansi, sing bisa diimbangi kanthi nggunakake bias DC menyang pMUT. Sensitivitas DC diukur ing 0,5 kHz / V. Kanggo karakterisasi akustik, mikropon digunakake ing ngarep pMUT.
Kanggo ngukur pulsa gema, kita nyelehake piring persegi panjang kanthi area sekitar 50 cm2 ing ngarep pMUT kanggo nggambarake gelombang swara sing dipancarake. Loro-lorone jarak antarane piring lan sudut relatif menyang bidang pMUT dikontrol nggunakake wadhah khusus. Sumber tegangan Tectronix CPX400DP bias telung membran pMUT, nyetel frekuensi resonansi dadi 111,9 kHz31, nalika pemancar didorong dening generator pulsa Tectronix AFG 3102 sing disetel menyang frekuensi resonansi (111,9 kHz) lan siklus tugas 0,01. Arus sing diwaca saka papat port output saben panrima pMUT diowahi dadi voltase nggunakake arsitektur saiki lan voltase diferensial khusus, lan sinyal sing diasilake didigitalisasi dening sistem akuisisi data Spektrum. Watesan deteksi ditondoi dening akuisisi sinyal pMUT ing kahanan sing beda: kita mindhah reflektor menyang jarak sing beda [30, 40, 50, 60, 80, 100] cm lan ngganti sudut dhukungan pMUT ([0, 20, 40] o ) Figure 2b nuduhake résolusi deteksi ITD temporal gumantung ing posisi sudut sing cocog ing derajat.
Artikel iki nggunakake rong sirkuit RRAM sing beda-beda. Kapisan yaiku susunan 16.384 (16.000) piranti (128 × 128 piranti) ing konfigurasi 1T1R kanthi siji transistor lan siji resistor. Chip kapindho iku platform neuromorphic ditampilake ing Fig.. 4a. Sèl RRAM kasusun saka film HfO2 nglukis 5 nm ditempelake ing tumpukan TiN / HfO2 / Ti / TiN. Tumpukan RRAM digabungake menyang back-of-line (BEOL) saka proses CMOS 130nm standar. Sirkuit neuromorphic basis RRAM menehi tantangan desain kanggo kabeh-analog sistem elektronik kang piranti RRAM coexist karo teknologi CMOS tradisional. Utamane, negara konduksi piranti RRAM kudu diwaca lan digunakake minangka variabel fungsi kanggo sistem kasebut. Kanggo tujuan iki, sirkuit dirancang, digawe lan diuji sing maca arus saka piranti nalika pulsa input ditampa lan nggunakake arus iki kanggo bobot respon sinaps integrator pasangan diferensial (DPI). Sirkuit iki ditampilake ing Figure 3a, sing makili pamblokiran bangunan dhasar saka platform neuromorphic ing Figure 4a. Pulsa input ngaktifake gerbang piranti 1T1R, nyebabake arus liwat RRAM sebanding karo konduktansi piranti G (Bebot = G(Vtop – Vx)). Input inverting saka sirkuit amplifier operasional (op-amp) nduweni tegangan bias DC konstan Vtop. Umpan balik negatif op-amp bakal nyedhiyakake Vx = Vtop kanthi nyedhiyakake arus sing padha saka M1. Iweight saiki sing dijupuk saka piranti disuntikake menyang sinaps DPI. Arus sing luwih kuat bakal nyebabake depolarisasi luwih akeh, saengga konduktansi RRAM kanthi efektif ngetrapake bobot sinaptik. Arus sinaptik eksponensial iki disuntikake liwat kapasitor membran saka neuron Leaky Integration and Excitation (LIF), sing digabungake minangka voltase. Yen voltase ambang membran (tegangan switching inverter) dikalahake, bagean output neuron diaktifake, ngasilake spike output. Pulsa iki bali lan nyuda kapasitor membran neuron menyang lemah, nyebabake ngeculake. Sirkuit iki banjur ditambah karo expander pulsa (ora ditampilake ing Fig. 3a), kang wangun pulsa output saka neuron LIF kanggo jembaré pulsa target. Multiplexer uga dibangun ing saben baris, ngidini voltase bisa Applied menyang elektrods ndhuwur lan ngisor piranti RRAM.
Tes listrik kalebu nganalisa lan ngrekam prilaku dinamis sirkuit analog, uga program lan maca piranti RRAM. Loro langkah kasebut mbutuhake alat khusus, kabeh disambungake menyang papan sensor bebarengan. Akses menyang piranti RRAM ing sirkuit neuromorphic ditindakake saka piranti eksternal liwat multiplexer (MUX). MUX misahake sel 1T1R saka sirkuit liyane sing ana, supaya piranti bisa diwaca lan/utawa diprogram. Kanggo program lan maca piranti RRAM, Keithley 4200 mesin SCS digunakake magepokan karo mikrokontroler Arduino: pisanan kanggo generasi pulsa akurat lan maca saiki, lan kaloro kanggo akses cepet kanggo unsur 1T1R individu ing Uploaded memori. Operasi pisanan kanggo mbentuk piranti RRAM. Sèl dipilih siji-siji lan voltase positif ditrapake ing antarane elektroda ndhuwur lan ngisor. Ing kasus iki, saiki diwatesi kanggo urutan puluhan microamperes amarga sumber voltase gapura cocog kanggo transistor pamilih. Sel RRAM banjur bisa siklus antarane negara konduktif kurang (LCS) lan negara konduktif dhuwur (HCS) nggunakake operasi RESET lan SET, mungguh. Operasi SET ditindakake kanthi nggunakake pulsa voltase persegi panjang kanthi durasi 1 μs lan voltase puncak 2.0-2.5 V menyang elektroda ndhuwur, lan pulsa sinkronisasi kanthi bentuk sing padha kanthi voltase puncak 0.9-1.3 V nganti gerbang transistor pemilih. Nilai kasebut ngidini modulasi konduktansi RRAM kanthi interval 20-150 µs. Kanggo RESET, pulsa puncak 1 µs lebar 3 V ditrapake ing elektroda ngisor (garis bit) sel nalika voltase gerbang ana ing kisaran 2.5-3.0 V. Input lan output sirkuit analog minangka sinyal dinamis. . Kanggo input, kita interleaved loro generator pulsa HP 8110 karo generator sinyal Tektronix AFG3011. Pulsa input nduweni ambane 1 µs lan pinggiran munggah/mudhun 50 ns. Jinis pulsa iki dianggep minangka glitch khas ing sirkuit adhedhasar glitch analog. Kanggo sinyal output, sinyal output direkam nggunakake Teledyne LeCroy 1 GHz oscilloscope. Kacepetan akuisisi oscilloscope wis kabukten ora dadi faktor watesan ing analisis lan akuisisi data sirkuit.
Nggunakake dinamika elektronik analog kanggo simulasi prilaku neuron lan sinapsis minangka solusi sing elegan lan efisien kanggo nambah efisiensi komputasi. Kerugian dhasar komputasi iki yaiku beda-beda saka skema menyang skema. Kita ngitung variabilitas neuron lan sirkuit sinaptik (Tambahan Gambar 2a, b). Saka kabeh manifestasi variabilitas, sing ana gandhengane karo konstanta wektu lan gain input duwe pengaruh paling gedhe ing tingkat sistem. Konstanta wektu neuron LIF lan sinaps DPI ditemtokake dening sirkuit RC, ing ngendi nilai R dikontrol dening tegangan bias sing ditrapake ing gerbang transistor (Vlk kanggo neuron lan Vtau kanggo sinaps), nemtokake tingkat bocor. Gain input ditetepake minangka voltase puncak sing digayuh dening kapasitor membran sinaptik lan neuron sing dirangsang dening pulsa input. Gain input dikontrol dening transistor bias liyane sing modulates arus input. Simulasi Monte Carlo sing dikalibrasi ing proses 130nm ST Microelectronics ditindakake kanggo ngumpulake sawetara gain input lan statistik konstanta wektu. Asil ditampilake ing Gambar Tambahan 2, ing ngendi gain input lan konstanta wektu diitung minangka fungsi saka voltase bias sing ngontrol tingkat bocor. Tandha ijo ngetung standar deviasi konstanta wektu saka rata-rata. Loro-lorone neuron lan sirkuit sinaptik bisa nyatakake sawetara konstanta wektu ing sawetara 10-5-10-2 s, kaya sing ditampilake ing skema Gambar Tambahan. Amplifikasi input (Gambar Tambahan 2e, d) variabilitas neuronal lan sinaps kira-kira 8% lan 3%. Kekurangan kasebut uga didokumentasikake ing literatur: macem-macem pangukuran ditindakake ing susunan chip DYNAP kanggo netepake ora cocog antarane populasi neuron LIF63. Sinapsis ing chip sinyal campuran BrainScale diukur lan ora konsistensi dianalisis, lan prosedur kalibrasi diusulake kanggo nyuda efek variabilitas tingkat sistem64.
Fungsi RRAM ing sirkuit neuromorphic ana loro: definisi arsitektur (nuntun input kanggo output) lan implementasine bobot sinaptik. Properti sing terakhir bisa digunakake kanggo ngatasi masalah variasi saka sirkuit neuromorphic sing dimodelake. Kita wis dikembangaké prosedur kalibrasi prasaja sing melu reprogramming piranti RRAM nganti sirkuit analisa meets syarat tartamtu. Kanggo input sing diwenehake, output dipantau lan RRAM diprogram ulang nganti prilaku target bisa ditindakake. Wektu ngenteni 5 s dikenalake ing antarane operasi pemrograman kanggo ngatasi masalah relaksasi RRAM sing nyebabake fluktuasi konduktansi transien (Informasi Tambahan). Bobot sinaptik diatur utawa dikalibrasi miturut syarat sirkuit neuromorphic sing dimodelake. Prosedur kalibrasi dirangkum ing algoritma tambahan [1, 2] sing fokus ing rong fitur dhasar saka platform neuromorphic, garis tundha lan CD sing ora sensitif arah. Kanggo sirkuit kanthi garis tundha, prilaku target yaiku nyedhiyakake pulsa output kanthi wektu tundha Δt. Yen wektu tundha sirkuit nyata kurang saka nilai target, bobot sinaptik G3 kudu dikurangi (G3 kudu direset banjur disetel menyang Icc saiki sing cocog). Kosok baline, yen wektu tundha nyata luwih gedhe tinimbang nilai target, konduktansi G3 kudu ditambah (G3 kudu direset dhisik banjur disetel menyang nilai Icc sing luwih dhuwur). Proses iki diulang nganti wektu tundha sing digawe dening sirkuit cocog karo nilai target lan toleransi disetel kanggo mungkasi proses kalibrasi. Kanggo CD sing ora sensitif orientasi, rong piranti RRAM, G1 lan G3, melu proses kalibrasi. Sirkuit iki wis loro input, Vin0 lan Vin1, telat dening dt. Sirkuit mung kudu nanggapi wektu tundha ing ngisor kisaran sing cocog [0,dtCD]. Yen ora ana puncak output, nanging puncak input cedhak, loro piranti RRAM kudu ditingkatake kanggo mbantu neuron tekan ambang. Kosok baline, yen sirkuit nanggapi wektu tundha sing ngluwihi sawetara target dtCD, konduktansi kudu dikurangi. Baleni proses nganti prilaku sing bener dijupuk. Compliance saiki bisa modulated dening dibangun ing sirkuit analog ing ref. 72.73. Kanthi sirkuit sing dibangun iki, prosedur kasebut bisa ditindakake kanthi periodik kanggo ngkalibrasi sistem utawa nggunakake maneh kanggo aplikasi liyane.
Kita ngevaluasi konsumsi daya pendekatan pangolahan sinyal neuromorphic ing mikrokontroler 32-bit standar68. Ing evaluasi iki, kita nganggep operasi kanthi persiyapan sing padha kaya ing kertas iki, kanthi siji pemancar pMUT lan loro panrima pMUT. Cara iki nggunakake filter bandpass, ngiring dening langkah extraction amplop (Teeger-Kaiser), lan pungkasanipun operasi batesan ditrapake kanggo sinyal kanggo extract wektu pesawat. Pitungan ITD lan konversi menyang sudut deteksi diilangi ing evaluasi. Kita nimbang implementasine filter band pass nggunakake filter respon impuls tanpa wates urutan 4 sing mbutuhake 18 operasi floating point. Ekstraksi amplop nggunakake telung operasi titik ngambang liyane, lan operasi pungkasan digunakake kanggo nyetel ambang. Gunggunge 22 operasi floating point dibutuhake kanggo ngolah sinyal kasebut. Sinyal sing ditularake yaiku bledosan cendhak gelombang sinus 111.9 kHz sing diasilake saben 10 ms sing ngasilake frekuensi operasi posisi 100 Hz. Kita nggunakake tingkat sampling 250 kHz kanggo tundhuk karo Nyquist lan jendhela 6 ms kanggo saben pangukuran kanggo njupuk sawetara 1 meter. Elinga yen 6 milidetik minangka wektu mabur obyek sing adohe 1 meter. Iki nyedhiyakake konsumsi daya 180 µW kanggo konversi A/D ing 0,5 MSPS. Preprocessing sinyal yaiku 6,60 MIPS (instruksi per detik), ngasilake 0,75 mW. Nanging, mikrokontroler bisa ngalih menyang mode daya kurang 69 nalika algoritma ora mlaku. Mode iki nyedhiyakake konsumsi daya statis 10,8 μW lan wektu tangi 113 μs. Diwenehi frekuensi jam 84 MHz, mikrokontroler ngrampungake kabeh operasi saka algoritma neuromorphic ing 10 ms, lan algoritma ngetung siklus tugas 6,3%, saéngga nggunakake mode daya kurang. Disipasi daya sing diasilake yaiku 244,7 μW. Elinga yen kita ngilangi output ITD saka ToF lan konversi menyang sudut deteksi, saéngga ngremehake konsumsi daya mikrokontroler. Iki menehi nilai tambahan kanggo efisiensi energi saka sistem sing diusulake. Minangka kondisi comparison tambahan, kita ngevaluasi konsumsi daya saka cara beamforming klasik ngajokaken ing referensi. 31.54 nalika ditempelake ing microcontroller68 padha ing voltase sumber 1.8V. Lima membran pMUT kanthi jarak rata digunakake kanggo entuk data kanggo beamforming. Dene pangolahipun piyambak, metode beamforming ingkang dipunginakaken inggih menika delay summation. Iku mung kasusun saka aplikasi wektu tundha kanggo dalan sing cocog karo prabédan samesthine ing wektu rawuh antarane siji lane lan lane referensi. Yen sinyal ana ing fase, jumlah sinyal kasebut bakal duwe energi dhuwur sawise owah-owahan wektu. Yen wis metu saka fase, gangguan sing ngrusak bakal mbatesi energi jumlahe. ing sesambetan. Ing anjir. 31, tingkat sampling 2 MHz dipilih kanggo mindhah wektu data kanthi nomer integer saka conto. Pendekatan sing luwih sederhana yaiku njaga tingkat sampel sing luwih kasar 250 kHz lan nggunakake filter Finite Impulse Response (FIR) kanggo nyintesis wektu tundha pecahan. Kita bakal nganggep sing kerumitan algoritma beamforming utamané ditemtokake dening shift wektu, amarga saben saluran convolved karo Filter FIR karo 16 tunyuk ing saben arah. Kanggo ngetung jumlah MIPS sing dibutuhake kanggo operasi iki, kita nimbang jendhela 6ms saben pangukuran kanggo njupuk sawetara 1 meter, 5 saluran, 11 arah beamforming (rentang +/- 50 ° ing 10 ° langkah). 75 pangukuran per detik nyurung mikrokontroler nganti maksimal 100 MIPS. Link. 68, nyebabake boros daya 11,26 mW kanggo boros daya total 11,71 mW sawise nambahake kontribusi ADC onboard.
Data sing ndhukung asil panaliten iki kasedhiya saka penulis masing-masing, FM, kanthi panyuwunan sing cukup.
Indiveri, G. & Sandamirskaya, Y. Pentinge papan lan wektu kanggo pangolahan sinyal ing agen neuromorphic: Tantangan ngembangaken kurang daya, agen otonom sing sesambungan karo lingkungan. Indiveri, G. & Sandamirskaya, Y. Pentinge papan lan wektu kanggo pangolahan sinyal ing agen neuromorphic: Tantangan ngembangaken kurang daya, agen otonom sing sesambungan karo lingkungan.Indiveri G. lan Sandamirskaya Y. Pentinge papan lan wektu kanggo pangolahan sinyal ing agen neuromorphic: tantangan ngembangake agen otonom sing kurang daya sesambungan karo lingkungan. Indiveri, G. & Sandamirskaya, Y.理的挑战. Indiveri, G. & Sandamirskaya, Y.Indiveri G. lan Sandamirskaya Y. Pentinge papan lan wektu kanggo pangolahan sinyal ing agen neuromorphic: tantangan ngembangake agen otonom sing kurang daya sesambungan karo lingkungan.Pangolahan Sinyal IEEE. Jurnal 36, 16–28 (2019).
Thorpe, SJ Puncak Wektu Rawuh: Skema Coding Jaringan Syaraf sing Efisien. ing Eckmiller, R., Hartmann, G. & Hauske, G. (eds). ing Eckmiller, R., Hartmann, G. & Hauske, G. (eds).ing Eckmiller, R., Hartmann, G. lan Hauske, G. (eds.).Ing Eckmiller, R., Hartmann, G., lan Hauske, G. (eds.). Pangolahan paralel ing sistem saraf lan komputer 91-94 (North-Holland Elsevier, 1990).
Levy, WB & Calvert, VG Komunikasi ngonsumsi energi kaping 35 luwih akeh tinimbang komputasi ing korteks manungsa, nanging loro-lorone biaya dibutuhake kanggo prédhiksi nomer sinaps. Levy, WB & Calvert, VG Komunikasi ngonsumsi energi kaping 35 luwih akeh tinimbang komputasi ing korteks manungsa, nanging loro-lorone biaya dibutuhake kanggo prédhiksi nomer sinaps.Levy, WB lan Calvert, WG Komunikasi nganggo energi kaping 35 luwih akeh tinimbang komputasi ing korteks manungsa, nanging loro-lorone biaya dibutuhake kanggo prédhiksi jumlah sinapsis. Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35 倍，但这两种成本都需要预测突触数量。 Levy, WB & Calvert, Komunikasi VGLevy, WB lan Calvert, WG Komunikasi ngonsumsi energi kaping 35 luwih akeh tinimbang komputasi ing korteks manungsa, nanging biaya loro kasebut mbutuhake prédhiksi jumlah sinapsis.proses. Akademi Ilmu Nasional. ngelmu. US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Komputasi neuromorphic sing diilhami serangga. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Komputasi neuromorphic sing diilhami serangga.Dalgati, T., Vianello, E., DeSalvo, B. lan Casas, J. Komputasi neuromorphic sing diilhami serangga.Dalgati T., Vianello E., DeSalvo B. lan Casas J. Komputasi neuromorphic sing diilhami serangga. saiki. panemu. Ilmu serangga. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Menuju intelijen mesin berbasis spike kanthi komputasi neuromorphic. Roy, K., Jaiswal, A. & Panda, P. Menuju intelijen mesin berbasis spike kanthi komputasi neuromorphic. Roy, K., Jaiswal, A. & Panda, P. Menuju Kecerdasan Mesin Berbasis Spike karo Komputasi Neuromorphic.Roy K, Jaiswal A, lan Panda P. Kecerdasan buatan berbasis pulsa nggunakake komputasi neuromorphic. Alam 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. lan Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. lan Liu, S.-K.Memori lan pangolahan informasi ing sistem neuromorphic. proses. IEEE 103, 1379–1397 (2015).
Akopyan F. et al. Truenorth: Desain lan toolkit kanggo chip sinaptik sing bisa diprogram 65 mW 1 yuta neuron. transaksi IEEE. Desain komputer sistem sirkuit terpadu. 34, 1537–1557 (2015).
Schemmel, J. et al. Tur langsung: versi sistem neuromorphic BrainScaleS ing skala piring. 2012 IEEE International Symposium on Circuits and Systems (ISCAS), (IEEE ed.) 702-702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Arsitektur multicore sing bisa diukur kanthi struktur memori heterogen kanggo pemroses asinkron neuromorphic dinamis (DYNAPs). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Arsitektur multicore sing bisa diukur kanthi struktur memori heterogen kanggo pemroses asinkron neuromorphic dinamis (DYNAPs).Moradi S., Qiao N., Stefanini F. lan Indiviri G. Arsitektur multicore sing bisa diukur kanthi struktur memori heterogen kanggo pemroses asinkron neuromorphic dinamis (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G.存结构. Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Jenis arsitektur multi-inti sing bisa ditambahi, kanthi struktur memori unik kanggo pangolahan saraf dinamis (DYNAP).Moradi S., Qiao N., Stefanini F. lan Indiviri G. Arsitektur multicore sing bisa diukur kanthi struktur memori heterogen kanggo pemroses asinkron neuromorphic dinamis (DYNAP).Transaksi IEEE ing Ilmu Biomedis. sistem kelistrikan. 12, 106–122 (2018).
Davis, M. et al. Loihi: A neuromorphic multi-inti prosesor karo sinau ditempelake. IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA Proyek SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA Proyek SpiNNaker.Ferber SB, Galluppi F., Temple S. lan Plana LA SpiNNaker project.Ferber SB, Galluppi F., Temple S. lan Plana LA SpiNNaker project. proses. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Sistem sensori neuromorfik. & Delbruck, T. Sistem sensori neuromorfik.lan Delbrück T. Sistem sensori neuromorfik. & Delbruck, T. 神经形态感觉系统。 & Delbruck, T.lan Delbrück T. Sistem sensori neuromorfik.saiki. panemu. Neurobiologi. 20, 288–295 (2010).
Chope, T. et al. Integrasi sensori neuromorphic kanggo gabungan lokalisasi sumber swara lan panyegahan tabrakan. Ing 2019 ing IEEE Conference on Biomedical Circuits and Systems (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. A spike-based neuromorphic architecture of stereo vision. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. A spike-based neuromorphic architecture of stereo vision.Risi N, Aymar A, Donati E, Solinas S, lan Indiveri G. A spike-based neuromorphic stereovision architecture. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S, lan Indiveri G. Arsitektur neuromorphic basis Spike kanggo visi stereo.ngarep. Neurorobotics 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. A spiking neural network model of 3Dperception for system-based neuromorphic stereo vision systems. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. A spiking neural network model of 3Dperception for system-based neuromorphic stereo vision systems.Oswald, M., Ieng, S.-H., Benosman, R., lan Indiveri, G. Model Persepsi Jaringan Syaraf Pulsed 3D kanggo Sistem Visi Stereo Neuromorphic Berbasis Acara. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R., lan Indiveri, G. Spiked 3Dperception Neural Network Model kanggo Event-Based Neuromorphic Stereo Vision System.ngelmu. Laporan 7, 1–11 (2017).
Dalgaty, T. et al. Deteksi gerakan dhasar sing diilhami serangga kalebu memori resistif lan jaringan saraf sing pecah. Sistem biohibrid bionik. 10928, 115–128 (2018).
D'Angelo, G. et al. Deteksi gerakan eksentrik adhedhasar acara nggunakake kode diferensial temporal. ngarep. Neurologi. 14, 451 (2020).
Wektu kirim: Nov-17-2022