Berita

Aplikasi pemrosesan data dunia nyata memerlukan sistem komputasi yang ringkas, latensi rendah, dan berdaya rendah. Dengan kemampuan komputasi berbasis peristiwa, arsitektur neuromorfik memristif hibrida logam-oksida-semikonduktor yang saling melengkapi memberikan landasan perangkat keras yang ideal untuk tugas-tugas tersebut. Untuk mendemonstrasikan potensi penuh dari sistem tersebut, kami mengusulkan dan secara eksperimental mendemonstrasikan solusi pemrosesan sensor yang komprehensif untuk aplikasi lokalisasi objek di dunia nyata. Mengambil inspirasi dari neuroanatomi burung hantu, kami telah mengembangkan sistem lokalisasi objek berbasis peristiwa yang terinspirasi oleh peristiwa yang menggabungkan transduser transduser mikromekanis piezoelektrik canggih dengan memori resistif neuromorfik berbasis grafik komputasi. Kami menunjukkan pengukuran sistem buatan yang mencakup detektor kebetulan resistif berbasis memori, sirkuit garis tunda, dan transduser ultrasonik yang dapat disesuaikan sepenuhnya. Kami menggunakan hasil eksperimen ini untuk mengkalibrasi simulasi di tingkat sistem. Simulasi ini kemudian digunakan untuk mengevaluasi resolusi sudut dan efisiensi energi model lokalisasi objek. Hasilnya menunjukkan bahwa pendekatan kami bisa beberapa kali lipat lebih hemat energi dibandingkan mikrokontroler yang melakukan tugas yang sama.
Kita sedang memasuki era komputasi di mana-mana di mana jumlah perangkat dan sistem yang digunakan tumbuh secara eksponensial untuk membantu kita dalam kehidupan sehari-hari. Sistem ini diharapkan dapat berjalan terus menerus, mengonsumsi daya sesedikit mungkin sambil belajar menafsirkan data yang dikumpulkan dari berbagai sensor secara real time dan menghasilkan keluaran biner sebagai hasil tugas klasifikasi atau pengenalan. Salah satu langkah terpenting yang diperlukan untuk mencapai tujuan ini adalah mengekstraksi informasi yang berguna dan ringkas dari data sensorik yang berisik dan seringkali tidak lengkap. Pendekatan teknik konvensional biasanya mengambil sampel sinyal sensor pada kecepatan yang konstan dan tinggi, menghasilkan data dalam jumlah besar bahkan tanpa adanya masukan yang berguna. Selain itu, metode ini menggunakan teknik pemrosesan sinyal digital yang kompleks untuk melakukan pra-pemrosesan data masukan (yang sering kali menimbulkan noise). Sebaliknya, biologi menawarkan solusi alternatif untuk memproses data sensorik yang bising menggunakan pendekatan (lonjakan) yang hemat energi, asinkron, dan berbasis peristiwa2,3. Komputasi neuromorfik mengambil inspirasi dari sistem biologis untuk mengurangi biaya komputasi dalam hal kebutuhan energi dan memori dibandingkan dengan metode pemrosesan sinyal tradisional4,5,6. Baru-baru ini, sistem inovatif berbasis otak tujuan umum yang mengimplementasikan jaringan saraf impuls (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11) telah dibuktikan. Prosesor ini memberikan solusi berdaya rendah dan latensi rendah untuk pembelajaran mesin dan pemodelan sirkuit kortikal. Untuk sepenuhnya memanfaatkan efisiensi energinya, prosesor neuromorfik ini harus terhubung langsung ke sensor yang digerakkan oleh peristiwa12,13. Namun, saat ini hanya ada sedikit perangkat sentuh yang secara langsung menyediakan data berbasis peristiwa. Contoh yang menonjol adalah sensor visual dinamis (DVS) untuk aplikasi penglihatan seperti pelacakan dan deteksi gerakan14,15,16,17 silikon koklea18 dan sensor pendengaran neuromorfik (NAS)19 untuk pemrosesan sinyal pendengaran, sensor penciuman20 dan banyak contoh21,22 sentuhan. . sensor tekstur.
Dalam makalah ini, kami menyajikan sistem pemrosesan pendengaran berbasis peristiwa yang baru dikembangkan yang diterapkan pada lokalisasi objek. Di sini, untuk pertama kalinya, kami menjelaskan sistem end-to-end untuk lokalisasi objek yang diperoleh dengan menghubungkan transduser ultrasonik mesin mikro piezoelektrik (pMUT) yang canggih dengan grafik komputasi berdasarkan memori resistif neuromorfik (RRAM). Arsitektur komputasi dalam memori yang menggunakan RRAM adalah solusi yang menjanjikan untuk mengurangi konsumsi daya23,24,25,26,27,28,29. Sifat non-volatilitasnya—tidak memerlukan konsumsi daya aktif untuk menyimpan atau memperbarui informasi—sangat sesuai dengan sifat komputasi neuromorfik yang asinkron dan berbasis peristiwa, sehingga hampir tidak ada konsumsi daya saat sistem dalam keadaan idle. Transduser ultrasonik mesin mikro piezoelektrik (pMUTs) adalah transduser ultrasonik berbasis silikon mini yang murah dan mampu bertindak sebagai pemancar dan penerima30,31,32,33,34. Untuk memproses sinyal yang diterima oleh sensor internal, kami mengambil inspirasi dari neuroanatomy burung hantu35,36,37. Burung hantu gudang Tyto alba dikenal karena kemampuan berburu malamnya yang luar biasa berkat sistem lokalisasi pendengaran yang sangat efisien. Untuk menghitung lokasi mangsa, sistem lokalisasi burung hantu mengkodekan waktu terbang (ToF) ketika gelombang suara dari mangsa mencapai masing-masing telinga atau reseptor suara burung hantu. Mengingat jarak antara telinga, perbedaan antara dua pengukuran ToF (Interaural Time Difference, ITD) memungkinkan penghitungan posisi azimuth target secara analitis. Meskipun sistem biologis kurang cocok untuk memecahkan persamaan aljabar, sistem ini dapat memecahkan masalah lokalisasi dengan sangat efektif. Sistem saraf burung hantu menggunakan seperangkat detektor kebetulan (CD)35 neuron (yaitu, neuron yang mampu mendeteksi korelasi temporal antara paku yang merambat ke bawah hingga ujung rangsang konvergen)38,39 disusun dalam grafik komputasi untuk memecahkan masalah penentuan posisi.
Penelitian sebelumnya telah menunjukkan bahwa perangkat keras semikonduktor oksida logam (CMOS) komplementer dan perangkat keras neuromorfik berbasis RRAM yang terinspirasi oleh kolikulus inferior (“korteks pendengaran”) burung hantu adalah metode yang efisien untuk menghitung posisi menggunakan ITD13, 40, 41, 42, 43, 44, 45, 46. Namun, potensi sistem neuromorfik lengkap yang menghubungkan isyarat pendengaran dengan grafik komputasi neuromorfik belum dapat dibuktikan. Masalah utamanya adalah variabilitas yang melekat pada rangkaian CMOS analog, yang mempengaruhi keakuratan deteksi kecocokan. Baru-baru ini, penerapan numerik alternatif dari perkiraan ITD47 telah dibuktikan. Dalam makalah ini, kami mengusulkan untuk menggunakan kemampuan RRAM untuk mengubah nilai konduktansi dengan cara non-volatil untuk melawan variabilitas dalam rangkaian analog. Kami menerapkan sistem eksperimental yang terdiri dari satu membran transmisi pMUT yang beroperasi pada frekuensi 111,9 kHz, dua membran penerima pMUT (sensor) yang mensimulasikan telinga burung hantu, dan satu membran penerima pMUT. Kami secara eksperimental mengkarakterisasi sistem deteksi pMUT dan grafik komputasi ITD berbasis RRAM untuk menguji sistem lokalisasi kami dan mengevaluasi resolusi sudutnya.
Kami membandingkan metode kami dengan implementasi digital pada mikrokontroler yang melakukan tugas lokalisasi yang sama menggunakan metode beamforming atau neuromorfik konvensional, serta field programmable gate array (FPGA) untuk estimasi ITD yang diusulkan dalam referensi. 47. Perbandingan ini menyoroti efisiensi daya kompetitif dari sistem neuromorfik analog berbasis RRAM yang diusulkan.
Salah satu contoh paling mencolok dari sistem lokalisasi objek yang akurat dan efisien dapat ditemukan di gudang burung hantu35,37,48. Saat senja dan fajar, burung hantu gudang (Tyto Alba) terutama mengandalkan pendengaran pasif, secara aktif mencari mangsa kecil seperti tikus atau mencit. Para ahli pendengaran ini dapat melokalisasi sinyal pendengaran dari mangsa dengan akurasi yang mencengangkan (sekitar 2°)35, seperti yang ditunjukkan pada Gambar 1a. Burung hantu gudang menyimpulkan letak sumber bunyi pada bidang azimuth (horizontal) dari selisih waktu terbang masuk (ITD) dari sumber bunyi ke kedua telinga. Mekanisme komputasi ITD diusulkan oleh Jeffress49,50 yang mengandalkan geometri saraf dan memerlukan dua komponen kunci: akson, serabut saraf neuron yang bertindak sebagai garis tunda, dan serangkaian neuron pendeteksi kebetulan yang disusun dalam sistem komputasi. grafik seperti yang ditunjukkan pada Gambar 1b. Suara mencapai telinga dengan waktu tunda azimuth dependen (ITD). Suara tersebut kemudian diubah menjadi pola spike di setiap telinga. Akson telinga kiri dan kanan bertindak sebagai garis tunda dan menyatu pada neuron CD. Secara teoritis, hanya satu neuron dalam array neuron yang cocok yang akan menerima masukan pada satu waktu (di mana penundaan akan hilang dengan tepat) dan akan menyala secara maksimal (sel tetangga juga akan menyala, tetapi pada frekuensi yang lebih rendah). Mengaktifkan neuron tertentu mengkodekan posisi target dalam ruang tanpa mengubah ITD menjadi sudut lebih lanjut. Konsep ini dirangkum dalam Gambar 1c: misalnya, jika suara datang dari sisi kanan ketika sinyal input dari telinga kanan menempuh jalur yang lebih panjang daripada jalur dari telinga kiri, maka akan mengkompensasi jumlah ITD, misalnya, ketika neuron 2 cocok. Dengan kata lain, setiap CD merespons ITD tertentu (juga dikenal sebagai penundaan optimal) karena penundaan aksonal. Dengan demikian, otak mengubah informasi temporal menjadi informasi spasial. Bukti anatomi untuk mekanisme ini telah ditemukan37,51. Neuron makronukleus yang terkunci fase menyimpan informasi temporal tentang suara yang masuk: sesuai dengan namanya, neuron tersebut menyala pada fase sinyal tertentu. Neuron pendeteksi kebetulan model Jeffress dapat ditemukan di inti laminar. Mereka menerima informasi dari neuron makronuklear, yang aksonnya bertindak sebagai garis tunda. Besarnya penundaan yang diberikan oleh garis penundaan dapat dijelaskan oleh panjang akson, serta pola mielinisasi lain yang mengubah kecepatan konduksi. Terinspirasi oleh sistem pendengaran burung hantu, kami telah mengembangkan sistem biomimetik untuk melokalisasi objek. Kedua telinga diwakili oleh dua penerima pMUT. Sumber suara adalah pemancar pMUT yang terletak di antara keduanya (Gbr. 1a), dan grafik komputasi dibentuk oleh kisi-kisi sirkuit CD berbasis RRAM (Gbr. 1b, hijau), yang memainkan peran neuron CD yang inputnya tertunda. melalui sirkuit, garis tunda (biru) bertindak seperti akson pada pasangan biologisnya. Sistem sensorik yang diusulkan berbeda dalam frekuensi operasi dari burung hantu, yang sistem pendengarannya beroperasi pada kisaran 1–8 kHz, tetapi sensor pMUT yang beroperasi pada sekitar 117 kHz digunakan dalam pekerjaan ini. Pemilihan transduser ultrasonik dipertimbangkan berdasarkan kriteria teknis dan optimasi. Pertama, membatasi bandwidth penerimaan ke satu frekuensi idealnya meningkatkan akurasi pengukuran dan menyederhanakan langkah pasca-pemrosesan. Selain itu, pengoperasian dengan USG mempunyai keuntungan yaitu gelombang yang dipancarkan tidak terdengar, oleh karena itu tidak mengganggu orang, karena jangkauan pendengarannya ~20-20 kHz.
burung hantu gudang menerima gelombang suara dari suatu sasaran, dalam hal ini mangsa yang bergerak. Time of flight (ToF) gelombang suara berbeda-beda pada tiap telinga (kecuali mangsanya berada tepat di depan burung hantu). Garis putus-putus menunjukkan jalur yang dilalui gelombang suara untuk mencapai telinga burung hantu. Mangsa dapat dilokalisasi secara akurat pada bidang horizontal berdasarkan perbedaan panjang antara dua jalur akustik dan perbedaan waktu interaural (ITD) yang sesuai (gambar kiri terinspirasi oleh ref. 74, hak cipta 2002, Society for Neuroscience). Di sistem kami, pemancar pMUT (biru tua) menghasilkan gelombang suara yang memantul dari target. Gelombang ultrasonik yang dipantulkan diterima oleh dua penerima pMUT (hijau muda) dan diproses oleh prosesor neuromorfik (kanan). b Model komputasi ITD (Jeffress) yang menggambarkan bagaimana suara yang memasuki telinga burung hantu pertama-tama dikodekan sebagai lonjakan fase-terkunci dalam inti besar (NM) dan kemudian menggunakan kisi-kisi neuron detektor yang cocok yang disusun secara geometris dalam inti pipih. Pemrosesan (Belanda) (kiri). Ilustrasi grafik komputasi neuroITD yang menggabungkan garis tunda dan neuron pendeteksi kebetulan, sistem biosensor burung hantu dapat dimodelkan menggunakan sirkuit neuromorfik berbasis RRAM (kanan). c Skema mekanisme utama Jeffress, karena perbedaan ToF, kedua telinga menerima rangsangan suara pada waktu yang berbeda dan mengirimkan akson dari kedua ujungnya ke detektor. Akson adalah bagian dari serangkaian neuron pendeteksi kebetulan (CD), yang masing-masing merespons secara selektif terhadap masukan yang berkorelasi kuat dengan waktu. Akibatnya, hanya CD yang inputnya tiba dengan perbedaan waktu terkecil yang tereksitasi secara maksimal (ITD mendapat kompensasi yang tepat). CD kemudian akan mengkodekan posisi sudut target.
Transduser ultrasonik mikromekanis piezoelektrik adalah transduser ultrasonik terukur yang dapat diintegrasikan dengan teknologi CMOS canggih31,32,33,52 dan memiliki voltase awal dan konsumsi daya yang lebih rendah dibandingkan transduser volumetrik tradisional53. Dalam pekerjaan kami, diameter membran adalah 880 µm, dan frekuensi resonansi didistribusikan dalam kisaran 110–117 kHz (Gbr. 2a, lihat Metode untuk rinciannya). Dalam sepuluh perangkat uji, faktor kualitas rata-rata adalah sekitar 50 (ref. 31). Teknologi ini telah mencapai kematangan industri dan tidak terinspirasi oleh bioinspirasi itu sendiri. Menggabungkan informasi dari film pMUT yang berbeda merupakan teknik yang terkenal, dan informasi sudut dapat diperoleh dari pMUT dengan menggunakan, misalnya, teknik beamforming31,54. Namun, pemrosesan sinyal yang diperlukan untuk mengekstrak informasi sudut tidak cocok untuk pengukuran daya rendah. Sistem yang diusulkan menggabungkan sirkuit prapemrosesan data neuromorfik pMUT dengan grafik komputasi neuromorfik berbasis RRAM yang terinspirasi oleh model Jeffress (Gambar 2c), memberikan solusi perangkat keras alternatif yang hemat energi dan sumber daya terbatas. Kami melakukan percobaan di mana dua sensor pMUT ditempatkan kira-kira dengan jarak 10 cm untuk memanfaatkan perbedaan suara ToF yang diterima oleh dua membran penerima. Satu pMUT yang bertindak sebagai pemancar berada di antara penerima. Sasarannya adalah pelat PVC lebar 12 cm yang terletak pada jarak D di depan perangkat pMUT (Gbr. 2b). Penerima merekam suara yang dipantulkan dari objek dan bereaksi sebanyak mungkin selama gelombang suara lewat. Ulangi percobaan dengan mengubah posisi benda yang ditentukan oleh jarak D dan sudut θ. Terinspirasi oleh sebuah tautan. 55, kami mengusulkan pra-pemrosesan neuromorfik dari sinyal mentah pMUT untuk mengubah gelombang pantulan menjadi puncak untuk memasukkan grafik komputasi neuromorfik. ToF yang sesuai dengan amplitudo puncak diekstraksi dari masing-masing dua saluran dan dikodekan sebagai waktu yang tepat dari masing-masing puncak. Pada gambar. Gambar 2c menunjukkan sirkuit yang diperlukan untuk menghubungkan sensor pMUT dengan grafik komputasi berbasis RRAM: untuk masing-masing dari dua penerima pMUT, sinyal mentah disaring melalui pita untuk menghaluskan, memperbaiki, dan kemudian diteruskan ke integrator yang bocor dalam mode mengatasi. ambang batas dinamis (Gbr. 2d) membuat peristiwa keluaran (lonjakan) dan neuron pengaktifan (LIF): waktu lonjakan keluaran mengkodekan waktu penerbangan yang terdeteksi. Ambang batas LIF dikalibrasi terhadap respons pMUT, sehingga mengurangi variabilitas pMUT dari satu perangkat ke perangkat lainnya. Dengan pendekatan ini, alih-alih menyimpan seluruh gelombang suara dalam memori dan memprosesnya nanti, kita cukup menghasilkan puncak yang sesuai dengan ToF gelombang suara, yang membentuk masukan ke grafik komputasi memori resistif. Lonjakan tersebut dikirim langsung ke jalur penundaan dan diparalelkan dengan modul deteksi kecocokan dalam grafik komputasi neuromorfik. Karena mereka dikirim ke gerbang transistor, tidak diperlukan sirkuit amplifikasi tambahan (lihat Gambar Tambahan 4 untuk detailnya). Untuk mengevaluasi akurasi sudut lokalisasi yang disediakan oleh pMUT dan metode pemrosesan sinyal yang diusulkan, kami mengukur ITD (yaitu, perbedaan waktu antara peristiwa puncak yang dihasilkan oleh dua penerima) ketika jarak dan sudut objek bervariasi. Analisis ITD kemudian dikonversi ke sudut (lihat Metode) dan diplot terhadap posisi objek: ketidakpastian dalam ITD yang diukur meningkat seiring dengan jarak dan sudut ke objek (Gbr. 2e,f). Masalah utamanya adalah peak-to-noise rasio (PNR) pada respon pMUT. Semakin jauh objek maka sinyal akustiknya semakin rendah sehingga menurunkan PNR (Gbr. 2f, garis hijau). Penurunan PNR menyebabkan peningkatan ketidakpastian dalam estimasi ITD, sehingga meningkatkan akurasi lokalisasi (Gbr. 2f, garis biru). Untuk benda pada jarak 50 cm dari pemancar, keakuratan sudut sistem kira-kira 10°. Keterbatasan yang disebabkan oleh karakteristik sensor ini dapat ditingkatkan. Misalnya, tekanan yang dikirim oleh emitor dapat ditingkatkan, sehingga meningkatkan tegangan penggerak membran pMUT. Solusi lain untuk memperkuat sinyal yang ditransmisikan adalah dengan menghubungkan beberapa pemancar (56). Solusi ini akan meningkatkan jangkauan deteksi dengan mengorbankan peningkatan biaya energi. Perbaikan tambahan dapat dilakukan di pihak penerima. Tingkat kebisingan penerima pMUT dapat dikurangi secara signifikan dengan meningkatkan koneksi antara pMUT dan amplifier tahap pertama, yang saat ini dilakukan dengan sambungan kabel dan kabel RJ45.
gambar kristal pMUT dengan enam membran 880 µm terintegrasi pada pitch 1,5 mm. b Diagram pengaturan pengukuran. Target terletak pada posisi azimuth θ dan pada jarak D. Pemancar pMUT menghasilkan sinyal 117,6 kHz yang memantul dari target dan mencapai dua penerima pMUT dengan time-of-flight (ToF) berbeda. Perbedaan ini, yang didefinisikan sebagai perbedaan waktu antar-aural (ITD), mengkodekan posisi suatu objek dan dapat diperkirakan dengan memperkirakan respons puncak dari dua sensor penerima. c Skema langkah-langkah pra-pemrosesan untuk mengubah sinyal pMUT mentah menjadi rangkaian lonjakan (yaitu masukan ke grafik komputasi neuromorfik). Sensor pMUT dan grafik komputasi neuromorfik telah dibuat dan diuji, dan pra-pemrosesan neuromorfik didasarkan pada simulasi perangkat lunak. d Respons membran pMUT setelah menerima sinyal dan mengubahnya menjadi domain spike. e Akurasi sudut lokalisasi eksperimental sebagai fungsi sudut objek (Θ) dan jarak (D) ke objek target. Metode ekstraksi ITD memerlukan resolusi sudut minimum sekitar 4°C. f Akurasi sudut (garis biru) dan rasio puncak terhadap kebisingan (garis hijau) versus jarak objek untuk Θ = 0.
Memori resistif menyimpan informasi dalam keadaan konduktif non-volatil. Prinsip dasar metode ini adalah modifikasi material pada tingkat atom menyebabkan perubahan konduktivitas listrik57. Di sini kami menggunakan memori resistif berbasis oksida yang terdiri dari lapisan hafnium dioksida 5nm yang diapit di antara elektroda titanium dan titanium nitrida atas dan bawah. Konduktivitas perangkat RRAM dapat diubah dengan menerapkan bentuk gelombang arus/tegangan yang menciptakan atau memutus filamen konduktif kekosongan oksigen di antara elektroda. Kami mengintegrasikan perangkat tersebut ke dalam proses CMOS standar 130 nm untuk membuat sirkuit neuromorfik buatan yang dapat dikonfigurasi ulang yang mengimplementasikan detektor kebetulan dan sirkuit garis tunda (Gbr. 3a). Sifat perangkat yang non-volatil dan analog, dikombinasikan dengan sifat sirkuit neuromorfik yang digerakkan oleh peristiwa, meminimalkan konsumsi daya. Sirkuit ini memiliki fungsi hidup/mati instan: ia beroperasi segera setelah dinyalakan, sehingga daya dapat dimatikan sepenuhnya saat sirkuit dalam keadaan idle. Blok bangunan utama dari skema yang diusulkan ditunjukkan pada gambar. 3b. Ini terdiri dari N struktur transistor tunggal resistor tunggal (1T1R) paralel yang mengkodekan bobot sinaptik dari mana arus tertimbang diambil, disuntikkan ke sinapsis umum dari integrator pasangan diferensial (DPI)59, dan akhirnya disuntikkan ke sinaps dengan integrasi dan kebocoran. diaktifkan (LIF) neuron 60 (lihat Metode untuk detailnya). Lonjakan masukan diterapkan ke gerbang struktur 1T1R dalam bentuk rangkaian pulsa tegangan dengan durasi sekitar ratusan nanodetik. Memori resistif dapat ditempatkan dalam keadaan konduktif tinggi (HCS) dengan menerapkan referensi positif eksternal ke Vtop ketika Vbottom dibumikan, dan mengatur ulang ke keadaan konduktif rendah (LCS) dengan menerapkan tegangan positif ke Vbottom ketika Vtop dibumikan. Nilai rata-rata HCS dapat dikontrol dengan membatasi arus pemrograman (kepatuhan) SET (ICC) dengan tegangan sumber gerbang transistor seri (Gbr. 3c). Fungsi RRAM dalam rangkaian ada dua: mengarahkan dan memberi bobot pada pulsa input.
Memindai gambar mikroskop elektron (SEM) perangkat RRAM HfO2 1T1R biru yang terintegrasi dalam teknologi CMOS 130 nm dengan transistor pemilih (lebar 650 nm) berwarna hijau. b Blok bangunan dasar dari skema neuromorfik yang diusulkan. Pulsa tegangan input (puncak) Vin0 dan Vin1 mengkonsumsi arus Iweight, yang sebanding dengan keadaan konduksi G0 dan G1 dari struktur 1T1R. Arus ini disuntikkan ke sinapsis DPI dan menggairahkan neuron LIF. RRAM G0 dan G1 masing-masing dipasang di HCS dan LCS. c Fungsi kepadatan konduktansi kumulatif untuk sekelompok perangkat 16K RRAM sebagai fungsi pencocokan arus ICC, yang secara efektif mengontrol tingkat konduksi. d Pengukuran rangkaian pada (a) menunjukkan bahwa G1 (dalam LCS) secara efektif memblokir masukan dari Vin1 (hijau), dan memang tegangan membran neuron keluaran hanya merespons masukan biru dari Vin0. RRAM secara efektif menentukan koneksi di sirkuit. e Pengukuran rangkaian pada (b) menunjukkan pengaruh nilai konduktansi G0 pada tegangan membran Vmem setelah diberikan pulsa tegangan Vin0. Semakin banyak konduktansi, semakin kuat responsnya: dengan demikian, perangkat RRAM mengimplementasikan pembobotan koneksi I/O. Pengukuran dilakukan pada sirkuit dan menunjukkan fungsi ganda RRAM, routing dan pembobotan pulsa input.
Pertama, karena ada dua keadaan konduksi dasar (HCS dan LCS), RRAM dapat memblokir atau melewatkan pulsa input ketika keduanya berada dalam keadaan LCS atau HCS. Hasilnya, RRAM secara efektif menentukan koneksi di sirkuit. Ini adalah dasar untuk dapat mengkonfigurasi ulang arsitektur. Untuk mendemonstrasikannya, kami akan menjelaskan implementasi rangkaian buatan dari blok rangkaian pada Gambar 3b. RRAM yang terkait dengan G0 diprogram ke dalam HCS, dan RRAM G1 kedua diprogram ke dalam LCS. Pulsa input diterapkan ke Vin0 dan Vin1. Efek dari dua rangkaian pulsa masukan dianalisis pada neuron keluaran dengan mengumpulkan tegangan membran neuron dan sinyal keluaran menggunakan osiloskop. Eksperimen berhasil ketika hanya perangkat HCS (G0) yang dihubungkan ke denyut neuron untuk merangsang ketegangan membran. Hal ini ditunjukkan pada Gambar 3d, di mana rangkaian pulsa biru menyebabkan tegangan membran menumpuk pada kapasitor membran, sedangkan rangkaian pulsa hijau menjaga tegangan membran tetap konstan.
Fungsi penting kedua dari RRAM adalah implementasi bobot koneksi. Dengan menggunakan penyesuaian konduktansi analog RRAM, koneksi I/O dapat diberi bobot yang sesuai. Pada percobaan kedua, perangkat G0 diprogram ke level HCS yang berbeda, dan pulsa masukan diterapkan ke masukan VIn0. Pulsa masukan menarik arus (Iweight) dari perangkat, yang sebanding dengan konduktansi dan penurunan potensial yang sesuai Vtop - Vbot. Arus tertimbang ini kemudian disuntikkan ke sinapsis DPI dan neuron keluaran LIF. Tegangan membran neuron keluaran dicatat menggunakan osiloskop dan ditampilkan pada Gambar 3d. Puncak tegangan membran neuron sebagai respons terhadap pulsa masukan tunggal sebanding dengan konduktansi memori resistif, menunjukkan bahwa RRAM dapat digunakan sebagai elemen bobot sinaptik yang dapat diprogram. Kedua uji pendahuluan ini menunjukkan bahwa platform neuromorfik berbasis RRAM yang diusulkan mampu mengimplementasikan elemen dasar mekanisme dasar Jeffress, yaitu garis tunda dan rangkaian detektor kebetulan. Platform sirkuit dibangun dengan menumpuk blok-blok yang berurutan secara berdampingan, seperti blok-blok pada Gambar 3b, dan menghubungkan gerbang-gerbangnya ke jalur input yang sama. Kami merancang, membuat, dan menguji platform neuromorfik yang terdiri dari dua neuron keluaran yang menerima dua masukan (Gbr. 4a). Diagram rangkaian ditunjukkan pada Gambar 4b. Matriks RRAM 2x2 atas memungkinkan pulsa masukan diarahkan ke dua neuron keluaran, sedangkan matriks 2x2 bawah memungkinkan koneksi berulang dua neuron (N0, N1). Kami menunjukkan bahwa platform ini dapat digunakan dengan konfigurasi garis tunda dan dua fungsi detektor kebetulan yang berbeda, seperti yang ditunjukkan oleh pengukuran eksperimental pada Gambar 4c-e.
Diagram sirkuit dibentuk oleh dua neuron keluaran N0 dan N1 yang menerima dua masukan 0 dan 1. Empat perangkat teratas dari array menentukan koneksi sinaptik dari input ke output, dan empat sel terbawah menentukan koneksi berulang antar neuron. RRAM berwarna mewakili perangkat yang dikonfigurasi dalam HCS di sebelah kanan: perangkat di HCS mengizinkan koneksi dan mewakili bobot, sedangkan perangkat di LCS memblokir pulsa input dan menonaktifkan koneksi ke output. b Diagram rangkaian (a) dengan delapan modul RRAM disorot dengan warna biru. c Garis tunda dibentuk hanya dengan menggunakan dinamika sinapsis DPI dan neuron LIF. RRAM hijau diatur ke konduktansi yang cukup tinggi untuk dapat menyebabkan kesalahan pada output setelah penundaan input Δt. d Ilustrasi skema deteksi CD yang tidak peka arah terhadap sinyal yang bergantung pada waktu. Neuron keluaran 1, N1, aktif pada masukan 0 dan 1 dengan penundaan singkat. e Rangkaian CD peka arah, rangkaian yang mendeteksi ketika masukan 1 mendekati masukan 0 dan tiba setelah masukan 0. Keluaran rangkaian diwakili oleh neuron 1 (N1).
Garis penundaan (Gambar 4c) hanya menggunakan perilaku dinamis sinapsis DPI dan neuron LIF untuk mereproduksi lonjakan masukan dari Vin1 ke Vout1 dengan menunda Tdel. Hanya RRAM G3 yang terhubung ke Vin1 dan Vout1 yang diprogram dalam HCS, RRAM lainnya diprogram dalam LCS. Perangkat G3 diprogram selama 92,6 µs untuk memastikan bahwa setiap pulsa masukan meningkatkan tegangan membran neuron keluaran secukupnya untuk mencapai ambang batas dan menghasilkan pulsa keluaran tertunda. Penundaan Tdel ditentukan oleh konstanta waktu sinaptik dan saraf. Detektor kebetulan mendeteksi kemunculan sinyal masukan yang berkorelasi secara temporal namun terdistribusi secara spasial. CD yang tidak peka terhadap arah bergantung pada masukan individu yang menyatu ke neuron keluaran umum (Gambar 4d). Dua RRAM yang menghubungkan Vin0 dan Vin1 ke Vout1, G2 dan G4 masing-masing diprogram untuk konduksi tinggi. Kedatangan lonjakan secara bersamaan pada Vin0 dan Vin1 meningkatkan tegangan membran neuron N1 di atas ambang batas yang diperlukan untuk menghasilkan lonjakan keluaran. Jika jarak kedua masukan terlalu jauh, muatan pada tegangan membran yang diakumulasikan oleh masukan pertama mungkin memiliki waktu untuk meluruh, sehingga potensial membran N1 tidak mencapai nilai ambang batas. G1 dan G2 diprogram selama sekitar 65 µs, yang memastikan bahwa lonjakan masukan tunggal tidak meningkatkan tegangan membran cukup untuk menyebabkan lonjakan keluaran. Deteksi kebetulan antara peristiwa yang didistribusikan dalam ruang dan waktu adalah operasi mendasar yang digunakan dalam berbagai tugas penginderaan seperti penghindaran rintangan berbasis aliran optik dan lokalisasi sumber suara. Dengan demikian, komputasi CD yang sensitif terhadap arah dan tidak sensitif merupakan landasan mendasar untuk membangun sistem lokalisasi visual dan audio. Seperti yang ditunjukkan oleh karakteristik konstanta waktu (lihat Gambar Tambahan 2), rangkaian yang diusulkan mengimplementasikan rentang skala waktu empat kali lipat yang sesuai. Dengan demikian, secara bersamaan dapat memenuhi persyaratan sistem visual dan suara. CD peka arah adalah rangkaian yang peka terhadap urutan spasial datangnya pulsa: dari kanan ke kiri dan sebaliknya. Ini adalah blok bangunan mendasar dalam jaringan deteksi gerakan dasar sistem visual Drosophila, yang digunakan untuk menghitung arah gerakan dan mendeteksi tabrakan62. Untuk mencapai CD yang peka terhadap arah, dua input harus diarahkan ke dua neuron berbeda (N0, N1) dan koneksi terarah harus dibuat di antara keduanya (Gbr. 4e). Ketika masukan pertama diterima, NO bereaksi dengan meningkatkan tegangan melintasi membrannya di atas nilai ambang batas dan mengirimkan lonjakan. Peristiwa keluaran ini, pada gilirannya, memicu N1 berkat koneksi terarah yang disorot dengan warna hijau. Jika kejadian masukan Vin1 tiba dan memberi energi pada N1 ketika tegangan membrannya masih tinggi, N1 menghasilkan kejadian keluaran yang menunjukkan bahwa telah ditemukan kecocokan antara kedua masukan tersebut. Koneksi terarah memungkinkan N1 mengeluarkan keluaran hanya jika masukan 1 muncul setelah masukan 0. G0, G3, dan G7 diprogram masing-masing ke 73,5 µS, 67,3 µS, dan 40,2 µS, memastikan bahwa satu lonjakan pada masukan Vin0 menyebabkan penundaan lonjakan keluaran, sedangkan potensial membran N1 hanya mencapai ambang batas ketika kedua semburan masukan tiba secara sinkron. .
Variabilitas adalah sumber ketidaksempurnaan dalam sistem neuromorfik yang dimodelkan63,64,65. Hal ini menyebabkan perilaku neuron dan sinapsis yang heterogen. Contoh kelemahan tersebut mencakup variabilitas penguatan input sebesar 30% (rata-rata deviasi), konstanta waktu, dan periode refraktori, dan masih banyak lagi (lihat Metode). Masalah ini menjadi lebih parah ketika beberapa sirkuit saraf dihubungkan bersama, seperti CD peka orientasi yang terdiri dari dua neuron. Agar dapat bekerja dengan baik, konstanta waktu perolehan dan peluruhan kedua neuron harus semirip mungkin. Misalnya, perbedaan penguatan input yang besar dapat menyebabkan satu neuron bereaksi berlebihan terhadap pulsa input sementara neuron lainnya hampir tidak responsif. Pada gambar. Gambar 5a menunjukkan bahwa neuron yang dipilih secara acak merespons secara berbeda terhadap pulsa masukan yang sama. Variabilitas saraf ini relevan, misalnya, dengan fungsi CD yang peka terhadap arah. Dalam skema yang ditunjukkan pada gambar. 5b, c, penguatan masukan neuron 1 jauh lebih tinggi dibandingkan dengan neuron 0. Jadi, neuron 0 memerlukan tiga pulsa masukan (bukan 1) untuk mencapai ambang batas, dan neuron 1, seperti yang diharapkan, memerlukan dua kejadian masukan. Menerapkan plastisitas biomimetik yang bergantung pada waktu lonjakan (STDP) adalah cara yang mungkin untuk mengurangi dampak sirkuit saraf dan sinaptik yang tidak tepat dan lamban terhadap kinerja sistem43. Di sini kami mengusulkan untuk menggunakan perilaku plastik memori resistif sebagai cara untuk mempengaruhi peningkatan input saraf dan mengurangi efek variabilitas dalam sirkuit neuromorfik. Seperti yang ditunjukkan pada gambar. 4e, tingkat konduktansi yang terkait dengan massa sinaptik RRAM secara efektif memodulasi respons tegangan membran saraf yang sesuai. Kami menggunakan strategi pemrograman RRAM berulang. Untuk masukan tertentu, nilai konduktansi dari bobot sinaptik diprogram ulang hingga perilaku target rangkaian diperoleh (lihat Metode).
a Pengukuran eksperimental respons sembilan neuron individu yang dipilih secara acak terhadap pulsa input yang sama. Responsnya bervariasi antar populasi, mempengaruhi perolehan input dan konstanta waktu. b Pengukuran eksperimental pengaruh neuron terhadap variabilitas neuron yang mempengaruhi CD peka arah. Neuron keluaran CD yang sensitif terhadap dua arah merespons secara berbeda terhadap rangsangan masukan karena variabilitas neuron-ke-neuron. Neuron 0 memiliki penguatan masukan yang lebih rendah dibandingkan neuron 1, sehingga dibutuhkan tiga pulsa masukan (bukan 1) untuk membuat lonjakan keluaran. Seperti yang diharapkan, neuron 1 mencapai ambang batas dengan dua peristiwa masukan. Jika input 1 tiba Δt = 50 µs setelah neuron 0 aktif, CD tetap diam karena Δt lebih besar dari konstanta waktu neuron 1 (sekitar 22 µs). c dikurangi sebesar Δt = 20 µs, sehingga masukan 1 mencapai puncaknya ketika penyalaan neuron 1 masih tinggi, sehingga menghasilkan deteksi dua peristiwa masukan secara bersamaan.
Dua elemen yang digunakan pada kolom perhitungan ITD adalah garis tunda dan CD tidak peka arah. Kedua sirkuit memerlukan kalibrasi yang tepat untuk memastikan kinerja pemosisian objek yang baik. Garis tunda harus mengirimkan versi puncak masukan yang tertunda secara tepat (Gbr. 6a), dan CD harus diaktifkan hanya ketika masukan berada dalam jangkauan deteksi target. Untuk garis penundaan, bobot sinaptik dari koneksi input (G3 pada Gambar 4a) diprogram ulang hingga penundaan target diperoleh. Tetapkan toleransi di sekitar target penundaan untuk menghentikan program: semakin kecil toleransi, semakin sulit untuk berhasil menetapkan garis penundaan. Pada gambar. Gambar 6b ​​menunjukkan hasil proses kalibrasi garis tunda: terlihat bahwa skema yang diusulkan dapat secara tepat menyediakan semua penundaan yang diperlukan dalam skema desain (dari 10 hingga 300 s). Jumlah maksimum iterasi kalibrasi mempengaruhi kualitas proses kalibrasi: 200 iterasi dapat mengurangi kesalahan hingga kurang dari 5%. Satu iterasi kalibrasi berhubungan dengan operasi set/reset sel RRAM. Proses penyetelan juga penting untuk meningkatkan akurasi deteksi peristiwa penutupan instan modul CD. Diperlukan sepuluh iterasi kalibrasi untuk mencapai tingkat positif sebenarnya (yaitu, tingkat kejadian yang diidentifikasi dengan benar sebagai relevan) di atas 95% (garis biru pada Gambar 6c). Namun, proses penyesuaian tidak mempengaruhi kejadian positif palsu (yaitu, frekuensi kejadian yang secara keliru diidentifikasi sebagai relevan). Metode lain yang diamati dalam sistem biologis untuk mengatasi kendala waktu dalam pengaktifan jalur dengan cepat adalah redundansi (yaitu, banyak salinan dari objek yang sama digunakan untuk melakukan fungsi tertentu). Terinspirasi oleh biologi66, kami menempatkan beberapa sirkuit CD di setiap modul CD di antara dua garis tunda untuk mengurangi dampak positif palsu. Seperti yang ditunjukkan pada gambar. 6c (garis hijau), menempatkan tiga elemen CD di setiap modul CD dapat mengurangi tingkat alarm palsu menjadi kurang dari 10–2.
a Pengaruh variabilitas saraf pada rangkaian garis tunda. b Sirkuit garis tunda dapat diskalakan ke penundaan yang besar dengan mengatur konstanta waktu dari neuron LIF dan sinapsis DPI yang sesuai ke nilai yang besar. Peningkatan jumlah iterasi prosedur kalibrasi RRAM telah meningkatkan akurasi penundaan target secara signifikan: 200 iterasi mengurangi kesalahan hingga kurang dari 5%. Satu iterasi berhubungan dengan operasi SET/RESET pada sel RRAM. Setiap modul CD dalam model c Jeffress dapat diimplementasikan menggunakan N elemen CD paralel untuk fleksibilitas yang lebih besar terhadap kegagalan sistem. d Semakin banyak iterasi kalibrasi RRAM meningkatkan laju positif sebenarnya (garis biru), sedangkan laju positif palsu tidak bergantung pada jumlah iterasi (garis hijau). Menempatkan lebih banyak elemen CD secara paralel menghindari deteksi kesalahan kecocokan modul CD.
Kami sekarang mengevaluasi kinerja dan konsumsi daya dari sistem lokalisasi objek terintegrasi ujung ke ujung yang ditunjukkan pada Gambar 2 menggunakan pengukuran sifat akustik sensor pMUT, CD, dan sirkuit garis tunda yang membentuk grafik komputasi neuromorfik. Model Jeffress (Gbr. 1a). Sedangkan untuk grafik komputasi neuromorfik, semakin banyak jumlah modul CD, semakin baik resolusi sudutnya, tetapi juga semakin tinggi energi sistem (Gbr. 7a). Kompromi dapat dicapai dengan membandingkan keakuratan masing-masing komponen (sensor pMUT, neuron, dan sirkuit sinaptik) dengan keakuratan keseluruhan sistem. Resolusi garis tunda dibatasi oleh konstanta waktu sinapsis dan neuron yang disimulasikan, yang dalam skema kami melebihi 10 µs, yang sesuai dengan resolusi sudut 4° (lihat Metode). Node yang lebih canggih dengan teknologi CMOS akan memungkinkan desain sirkuit saraf dan sinaptik dengan konstanta waktu yang lebih rendah, sehingga menghasilkan akurasi elemen garis tunda yang lebih tinggi. Namun, dalam sistem kami, keakuratannya dibatasi oleh kesalahan pMUT dalam memperkirakan posisi sudut, yaitu 10° (garis horizontal biru pada Gambar 7a). Kami menetapkan jumlah modul CD pada 40, yang sesuai dengan resolusi sudut sekitar 4°, yaitu akurasi sudut grafik komputasi (garis horizontal biru muda pada Gambar 7a). Pada tingkat sistem, ini memberikan resolusi 4° dan akurasi 10° untuk objek yang terletak 50 cm di depan sistem sensor. Nilai ini sebanding dengan sistem lokalisasi suara neuromorfik yang dilaporkan dalam ref. 67. Perbandingan sistem yang diusulkan dengan sistem tercanggih dapat ditemukan pada Tabel Tambahan 1. Menambahkan pMUT tambahan, meningkatkan level sinyal akustik, dan mengurangi kebisingan elektronik merupakan cara yang mungkin untuk lebih meningkatkan akurasi lokalisasi. ) diperkirakan sebesar 9,7. tidak. 55. Dengan adanya 40 unit CD pada grafik komputasi, simulasi SPICE memperkirakan energi per operasi (yaitu, energi pemosisian objek) menjadi 21,6 nJ. Sistem neuromorfik diaktifkan hanya ketika peristiwa masukan tiba, yaitu ketika gelombang akustik mencapai penerima pMUT mana pun dan melebihi ambang batas deteksi, jika tidak maka gelombang akustik akan tetap tidak aktif. Hal ini menghindari konsumsi daya yang tidak perlu ketika tidak ada sinyal input. Mengingat frekuensi operasi lokalisasi 100 Hz dan periode aktivasi 300 µs per operasi (ITD maksimum yang mungkin), konsumsi daya grafik komputasi neuromorfik adalah 61,7 nW. Dengan pra-pemrosesan neuromorfik yang diterapkan pada setiap penerima pMUT, konsumsi daya seluruh sistem mencapai 81,6 nW. Untuk memahami efisiensi energi dari pendekatan neuromorfik yang diusulkan dibandingkan dengan perangkat keras konvensional, kami membandingkan angka ini dengan energi yang diperlukan untuk melakukan tugas yang sama pada mikrokontroler daya rendah modern menggunakan Skill beamforming68 neuromorfik atau konvensional. Pendekatan neuromorfik mempertimbangkan tahap konverter analog-ke-digital (ADC), diikuti oleh filter band-pass dan tahap ekstraksi amplop (metode Teeger-Kaiser). Terakhir, operasi ambang batas dilakukan untuk mengekstrak ToF. Kami telah menghilangkan penghitungan ITD berdasarkan ToF dan konversi ke perkiraan posisi sudut karena ini terjadi satu kali untuk setiap pengukuran (lihat Metode). Dengan asumsi laju pengambilan sampel 250 kHz pada kedua saluran (penerima pMUT), 18 operasi filter pass band, 3 operasi ekstraksi envelope, dan 1 operasi ambang batas per sampel, total konsumsi daya diperkirakan mencapai 245 mikrowatt. Ini menggunakan mode daya rendah mikrokontroler69, yang menyala ketika algoritma tidak dijalankan, sehingga mengurangi konsumsi daya hingga 10,8 µW. Konsumsi daya dari solusi pemrosesan sinyal beamforming yang diusulkan dalam referensi. 31, dengan 5 penerima pMUT dan 11 berkas yang terdistribusi secara merata pada bidang azimuth [-50°, +50°], adalah 11,71 mW (lihat bagian Metode untuk rinciannya). Selain itu, kami melaporkan konsumsi daya Time Difference Encoder (TDE) berbasis FPGA47 yang diperkirakan mencapai 1,5 mW sebagai pengganti model Jeffress untuk lokalisasi objek. Berdasarkan perkiraan ini, pendekatan neuromorfik yang diusulkan mengurangi konsumsi daya sebesar lima kali lipat dibandingkan dengan mikrokontroler yang menggunakan teknik beamforming klasik untuk operasi lokalisasi objek. Mengadopsi pendekatan neuromorfik untuk pemrosesan sinyal pada mikrokontroler klasik mengurangi konsumsi daya sekitar dua kali lipat. Efektivitas sistem yang diusulkan dapat dijelaskan dengan kombinasi rangkaian analog memori resistif asinkron yang mampu melakukan perhitungan dalam memori dan kurangnya konversi analog-ke-digital yang diperlukan untuk memahami sinyal.
a Resolusi sudut (biru) dan konsumsi daya (hijau) dari operasi lokalisasi tergantung pada jumlah modul CD. Bilah horizontal biru tua mewakili akurasi sudut PMUT dan bilah horizontal biru muda mewakili akurasi sudut grafik komputasi neuromorfik. b Konsumsi daya dari sistem yang diusulkan dan perbandingan dengan dua implementasi mikrokontroler yang dibahas dan implementasi digital Time Difference Encoder (TDE)47 FPGA.
Untuk meminimalkan konsumsi daya sistem lokalisasi target, kami menyusun, merancang, dan mengimplementasikan sirkuit neuromorfik berbasis RRAM yang efisien dan digerakkan oleh peristiwa yang memproses informasi sinyal yang dihasilkan oleh sensor internal untuk menghitung posisi objek target secara nyata. waktu. . Sementara metode pemrosesan tradisional terus-menerus mengambil sampel sinyal yang terdeteksi dan melakukan penghitungan untuk mengekstrak informasi yang berguna, solusi neuromorfik yang diusulkan melakukan penghitungan secara asinkron saat informasi berguna tiba, sehingga memaksimalkan efisiensi daya sistem hingga lima kali lipat. Selain itu, kami menyoroti fleksibilitas sirkuit neuromorfik berbasis RRAM. Kemampuan RRAM untuk mengubah konduktansi dengan cara yang tidak mudah menguap (plastisitas) mengkompensasi variabilitas yang melekat pada sirkuit sinaptik dan saraf DPI analog berdaya sangat rendah. Hal ini membuat sirkuit berbasis RRAM ini serbaguna dan bertenaga. Tujuan kami bukan untuk mengekstraksi fungsi atau pola kompleks dari sinyal, namun untuk melokalisasi objek secara real time. Sistem kami juga dapat mengompresi sinyal secara efisien dan pada akhirnya mengirimkannya ke langkah pemrosesan lebih lanjut untuk membuat keputusan yang lebih kompleks bila diperlukan. Dalam konteks aplikasi lokalisasi, langkah prapemrosesan neuromorfik kami dapat memberikan informasi tentang lokasi objek. Informasi ini dapat digunakan, misalnya untuk deteksi gerakan atau pengenalan isyarat. Kami menekankan pentingnya menggabungkan sensor berdaya sangat rendah seperti pMUT dengan elektronik berdaya sangat rendah. Untuk ini, pendekatan neuromorfik adalah kuncinya karena telah mengarahkan kita untuk mengembangkan implementasi sirkuit baru dari metode komputasi yang diilhami secara biologis seperti model Jeffress. Dalam konteks aplikasi fusi sensor, sistem kami dapat dikombinasikan dengan beberapa sensor berbasis peristiwa yang berbeda untuk memperoleh informasi yang lebih akurat. Meskipun burung hantu sangat baik dalam menemukan mangsa dalam kegelapan, mereka memiliki penglihatan yang sangat baik dan melakukan gabungan pencarian pendengaran dan visual sebelum menangkap mangsa70. Ketika neuron pendengaran tertentu menyala, burung hantu menerima informasi yang dibutuhkannya untuk menentukan arah mana untuk memulai pencarian visualnya, sehingga memusatkan perhatiannya pada sebagian kecil pemandangan visual. Kombinasi sensor visual (kamera DVS) dan sensor pendengaran yang diusulkan (berdasarkan pMUT) harus dieksplorasi untuk pengembangan agen otonom di masa depan.
Sensor pMUT terletak pada PCB dengan dua receiver berjarak sekitar 10 cm, dan pemancar terletak di antara receiver. Dalam karya ini, setiap membran merupakan struktur bimorf tersuspensi yang terdiri dari dua lapisan piezoelektrik aluminium nitrida (AlN) setebal 800 nm yang diapit di antara tiga lapisan molibdenum (Mo) setebal 200 nm dan dilapisi dengan lapisan setebal 200 nm. lapisan SiN pasif atas seperti yang dijelaskan dalam referensi. 71. Elektroda bagian dalam dan luar diaplikasikan pada lapisan bawah dan atas molibdenum, sedangkan elektroda molibdenum tengah tidak berpola dan digunakan sebagai ground, menghasilkan membran dengan empat pasang elektroda.
Arsitektur ini memungkinkan penggunaan deformasi membran umum, sehingga meningkatkan sensitivitas transmisi dan penerimaan. PMUT seperti itu biasanya menunjukkan sensitivitas eksitasi 700 nm/V sebagai emitor, memberikan tekanan permukaan 270 Pa/V. Sebagai penerima, satu film pMUT menunjukkan sensitivitas hubung singkat sebesar 15 nA/Pa, yang berhubungan langsung dengan koefisien piezoelektrik AlN. Variabilitas teknis tegangan pada lapisan AlN menyebabkan perubahan frekuensi resonansi, yang dapat dikompensasi dengan menerapkan bias DC ke pMUT. Sensitivitas DC diukur pada 0,5 kHz/V. Untuk karakterisasi akustik, mikrofon digunakan di depan pMUT.
Untuk mengukur pulsa gema, kami menempatkan pelat persegi panjang dengan luas sekitar 50 cm2 di depan pMUT untuk memantulkan gelombang suara yang dipancarkan. Jarak antara pelat dan sudut relatif terhadap bidang pMUT dikontrol menggunakan penahan khusus. Sumber tegangan Tectronix CPX400DP membiaskan tiga membran pMUT, menyetel frekuensi resonansi menjadi 111,9 kHz31, sedangkan pemancar digerakkan oleh generator pulsa Tectronix AFG 3102 yang disetel ke frekuensi resonansi (111,9 kHz) dan siklus kerja 0,01. Arus yang dibaca dari empat port keluaran setiap penerima pMUT diubah menjadi tegangan menggunakan arsitektur arus dan tegangan diferensial khusus, dan sinyal yang dihasilkan didigitalkan oleh sistem akuisisi data Spektrum. Batas deteksi ditandai dengan perolehan sinyal pMUT dalam kondisi berbeda: kami memindahkan reflektor ke jarak berbeda [30, 40, 50, 60, 80, 100] cm dan mengubah sudut dukungan pMUT ([0, 20, 40] o ) Gambar 2b menunjukkan resolusi deteksi ITD temporal tergantung pada posisi sudut yang sesuai dalam derajat.
Artikel ini menggunakan dua sirkuit RRAM siap pakai yang berbeda. Yang pertama adalah susunan 16.384 (16.000) perangkat (128 × 128 perangkat) dalam konfigurasi 1T1R dengan satu transistor dan satu resistor. Chip kedua adalah platform neuromorfik yang ditunjukkan pada Gambar 4a. Sel RRAM terdiri dari film HfO2 setebal 5 nm yang tertanam dalam tumpukan TiN/HfO2/Ti/TiN. Tumpukan RRAM diintegrasikan ke dalam back-of-line (BEOL) dari proses CMOS standar 130nm. Sirkuit neuromorfik berbasis RRAM menghadirkan tantangan desain untuk semua sistem elektronik analog di mana perangkat RRAM hidup berdampingan dengan teknologi CMOS tradisional. Secara khusus, keadaan konduksi perangkat RRAM harus dibaca dan digunakan sebagai variabel fungsi sistem. Untuk tujuan ini, sebuah sirkuit dirancang, dibuat, dan diuji yang membaca arus dari perangkat ketika pulsa masukan diterima dan menggunakan arus ini untuk memberi bobot pada respons sinapsis integrator pasangan diferensial (DPI). Sirkuit ini ditunjukkan pada Gambar 3a, yang mewakili blok bangunan dasar platform neuromorfik pada Gambar 4a. Pulsa masukan mengaktifkan gerbang perangkat 1T1R, menginduksi arus melalui RRAM sebanding dengan konduktansi perangkat G (Iweight = G(Vtop – Vx)). Input pembalik rangkaian penguat operasional (op-amp) memiliki tegangan bias DC Vtop yang konstan. Umpan balik negatif op-amp akan memberikan Vx = Vtop dengan memberikan arus yang sama dari M1. Iweight saat ini yang diambil dari perangkat disuntikkan ke sinapsis DPI. Arus yang lebih kuat akan menghasilkan lebih banyak depolarisasi, sehingga konduktansi RRAM secara efektif mengimplementasikan bobot sinaptik. Arus sinaptik eksponensial ini disuntikkan melalui kapasitor membran neuron Leaky Integration and Exitation (LIF), yang kemudian diintegrasikan sebagai tegangan. Jika tegangan ambang batas membran (tegangan switching inverter) diatasi, bagian keluaran neuron diaktifkan, menghasilkan lonjakan keluaran. Denyut nadi ini kembali dan mengarahkan kapasitor membran neuron ke ground, menyebabkannya terlepas. Sirkuit ini kemudian dilengkapi dengan pulse expander (tidak ditunjukkan pada Gambar 3a), yang membentuk pulsa keluaran neuron LIF ke lebar pulsa target. Multiplexer juga dibangun di setiap saluran, memungkinkan tegangan diterapkan ke elektroda atas dan bawah perangkat RRAM.
Pengujian kelistrikan mencakup analisis dan pencatatan perilaku dinamis rangkaian analog, serta pemrograman dan pembacaan perangkat RRAM. Kedua langkah tersebut memerlukan alat khusus, yang semuanya terhubung ke papan sensor secara bersamaan. Akses ke perangkat RRAM di sirkuit neuromorfik dilakukan dari alat eksternal melalui multiplexer (MUX). MUX memisahkan sel 1T1R dari sirkuit lainnya, sehingga perangkat dapat dibaca dan/atau diprogram. Untuk memprogram dan membaca perangkat RRAM, mesin Keithley 4200 SCS digunakan bersama dengan mikrokontroler Arduino: yang pertama untuk pembangkitan pulsa dan pembacaan arus yang akurat, dan yang kedua untuk akses cepat ke elemen 1T1R individual dalam susunan memori. Operasi pertama adalah membentuk perangkat RRAM. Sel-sel dipilih satu per satu dan tegangan positif diterapkan antara elektroda atas dan bawah. Dalam hal ini, arus dibatasi hingga puluhan mikroampere karena suplai tegangan gerbang yang sesuai ke transistor pemilih. Sel RRAM kemudian dapat melakukan siklus antara keadaan konduktif rendah (LCS) dan keadaan konduktif tinggi (HCS) menggunakan operasi RESET dan SET. Operasi SET dilakukan dengan menerapkan pulsa tegangan persegi panjang dengan durasi 1 s dan tegangan puncak 2,0-2,5 V ke elektroda atas, dan pulsa sinkronisasi berbentuk serupa dengan tegangan puncak 0,9-1,3 V ke gerbang transistor pemilih. Nilai-nilai ini memungkinkan memodulasi konduktansi RRAM pada interval 20-150 µs. Untuk RESET, pulsa puncak 3 V dengan lebar 1 µs diterapkan ke elektroda bawah (garis bit) sel ketika tegangan gerbang berada dalam kisaran 2,5-3,0 V. Input dan output dari rangkaian analog adalah sinyal dinamis . Sebagai input, kami menyisipkan dua generator pulsa HP 8110 dengan generator sinyal Tektronix AFG3011. Pulsa masukan memiliki lebar 1 µs dan tepi naik/turun 50 ns. Jenis pulsa ini diasumsikan sebagai kesalahan umum dalam rangkaian berbasis kesalahan analog. Sedangkan untuk sinyal keluarannya, sinyal keluarannya direkam menggunakan osiloskop Teledyne LeCroy 1 GHz. Kecepatan perolehan osiloskop telah terbukti tidak menjadi faktor pembatas dalam analisis dan perolehan data rangkaian.
Menggunakan dinamika elektronik analog untuk mensimulasikan perilaku neuron dan sinapsis adalah solusi yang elegan dan efisien untuk meningkatkan efisiensi komputasi. Kerugian dari dasar komputasi ini adalah bahwa hal ini akan bervariasi dari satu skema ke skema lainnya. Kami mengukur variabilitas neuron dan sirkuit sinaptik (Gambar Tambahan 2a,b). Dari semua manifestasi variabilitas, yang terkait dengan konstanta waktu dan penguatan masukan mempunyai dampak terbesar pada tingkat sistem. Konstanta waktu neuron LIF dan sinapsis DPI ditentukan oleh rangkaian RC, di mana nilai R dikontrol oleh tegangan bias yang diterapkan ke gerbang transistor (Vlk untuk neuron dan Vtau untuk sinapsis), menentukan tingkat kebocoran. Penguatan masukan didefinisikan sebagai tegangan puncak yang dicapai oleh kapasitor membran sinaptik dan neuron yang distimulasi oleh pulsa masukan. Penguatan masukan dikendalikan oleh transistor bias lain yang memodulasi arus masukan. Simulasi Monte Carlo yang dikalibrasi pada proses 130nm ST Microelectronics dilakukan untuk mengumpulkan beberapa penguatan input dan statistik konstanta waktu. Hasilnya disajikan pada Gambar Tambahan 2, di mana penguatan input dan konstanta waktu dihitung sebagai fungsi dari tegangan bias yang mengendalikan laju kebocoran. Penanda hijau mengukur deviasi standar konstanta waktu dari mean. Baik neuron maupun sirkuit sinaptik mampu mengekspresikan berbagai konstanta waktu dalam kisaran 10-5-10-2 detik, seperti yang ditunjukkan pada skema Gambar Tambahan. Amplifikasi input (Gambar Tambahan 2e, d) variabilitas neuron dan sinapsis masing-masing sekitar 8% dan 3%. Kekurangan seperti ini didokumentasikan dengan baik dalam literatur: berbagai pengukuran dilakukan pada susunan chip DYNAP untuk menilai ketidaksesuaian antara populasi neuron LIF63. Sinapsis dalam chip sinyal campuran BrainScale diukur dan inkonsistensinya dianalisis, dan prosedur kalibrasi diusulkan untuk mengurangi efek variabilitas tingkat sistem64.
Fungsi RRAM dalam sirkuit neuromorfik ada dua: definisi arsitektur (merutekan input ke output) dan implementasi bobot sinaptik. Properti terakhir dapat digunakan untuk memecahkan masalah variabilitas sirkuit neuromorfik yang dimodelkan. Kami telah mengembangkan prosedur kalibrasi sederhana yang melibatkan pemrograman ulang perangkat RRAM hingga rangkaian yang dianalisis memenuhi persyaratan tertentu. Untuk masukan tertentu, keluaran dipantau dan RRAM diprogram ulang hingga perilaku target tercapai. Waktu tunggu 5 detik diperkenalkan antara operasi pemrograman untuk memecahkan masalah relaksasi RRAM yang mengakibatkan fluktuasi konduktansi sementara (Informasi Tambahan). Bobot sinaptik disesuaikan atau dikalibrasi sesuai dengan persyaratan sirkuit neuromorfik yang dimodelkan. Prosedur kalibrasi dirangkum dalam algoritma tambahan [1, 2] yang berfokus pada dua fitur dasar platform neuromorfik, garis tunda dan CD yang tidak peka arah. Untuk rangkaian dengan saluran tunda, perilaku targetnya adalah memberikan pulsa keluaran dengan penundaan Δt. Jika penundaan rangkaian aktual kurang dari nilai target, bobot sinaptik G3 harus dikurangi (G3 harus direset dan kemudian disetel ke arus pencocokan Icc yang lebih rendah). Sebaliknya, jika penundaan sebenarnya lebih besar dari nilai target, maka konduktansi G3 harus ditingkatkan (G3 harus direset terlebih dahulu lalu disetel ke nilai Icc yang lebih tinggi). Proses ini diulangi hingga penundaan yang dihasilkan oleh rangkaian sesuai dengan nilai target dan toleransi ditetapkan untuk menghentikan proses kalibrasi. Untuk CD yang tidak sensitif terhadap orientasi, dua perangkat RRAM, G1 dan G3, dilibatkan dalam proses kalibrasi. Rangkaian ini memiliki dua masukan, Vin0 dan Vin1, yang ditunda sebesar dt. Sirkuit hanya akan merespons penundaan di bawah kisaran pencocokan [0,dtCD]. Jika tidak ada puncak keluaran, tetapi puncak masukan dekat, kedua perangkat RRAM harus dikuatkan untuk membantu neuron mencapai ambang batas. Sebaliknya, jika rangkaian merespons penundaan yang melebihi rentang target dtCD, konduktansi harus dikurangi. Ulangi proses ini sampai diperoleh perilaku yang benar. Arus kepatuhan dapat dimodulasi oleh rangkaian analog bawaan dalam ref. 72.73. Dengan sirkuit bawaan ini, prosedur tersebut dapat dilakukan secara berkala untuk mengkalibrasi sistem atau menggunakannya kembali untuk aplikasi lain.
Kami mengevaluasi konsumsi daya dari pendekatan pemrosesan sinyal neuromorfik kami pada mikrokontroler standar 32-bit68. Dalam evaluasi ini, kami mengasumsikan pengoperasian dengan pengaturan yang sama seperti dalam makalah ini, dengan satu pemancar pMUT dan dua penerima pMUT. Metode ini menggunakan filter bandpass, diikuti dengan langkah ekstraksi envelope (Teeger-Kaiser), dan terakhir operasi ambang batas diterapkan pada sinyal untuk mengekstraksi waktu penerbangan. Perhitungan ITD dan konversinya ke sudut deteksi dihilangkan dalam evaluasi. Kami mempertimbangkan implementasi band pass filter menggunakan filter respons impuls tak terbatas urutan ke-4 yang memerlukan 18 operasi floating point. Ekstraksi amplop menggunakan tiga operasi floating point lagi, dan operasi terakhir digunakan untuk mengatur ambang batas. Sebanyak 22 operasi floating point diperlukan untuk memproses sinyal terlebih dahulu. Sinyal yang ditransmisikan merupakan semburan pendek bentuk gelombang sinus 111,9 kHz yang dihasilkan setiap 10 ms sehingga menghasilkan frekuensi operasi pemosisian 100 Hz. Kami menggunakan laju pengambilan sampel 250 kHz untuk mematuhi Nyquist dan jendela 6 ms untuk setiap pengukuran guna menangkap rentang 1 meter. Perhatikan bahwa 6 milidetik adalah waktu terbang suatu benda yang berjarak 1 meter. Ini memberikan konsumsi daya sebesar 180 µW untuk konversi A/D pada 0,5 MSPS. Pemrosesan awal sinyal adalah 6,60 MIPS (instruksi per detik), menghasilkan 0,75 mW. Namun, mikrokontroler dapat beralih ke mode daya rendah (69) ketika algoritma tidak berjalan. Mode ini memberikan konsumsi daya statis sebesar 10,8 μW dan waktu bangun 113 μs. Dengan frekuensi clock 84 MHz, mikrokontroler menyelesaikan semua operasi algoritma neuromorfik dalam waktu 10 ms, dan algoritma menghitung siklus kerja 6,3%, sehingga menggunakan mode daya rendah. Disipasi daya yang dihasilkan sebesar 244,7 μW. Perhatikan bahwa kami menghilangkan keluaran ITD dari ToF dan konversi ke sudut deteksi, sehingga meremehkan konsumsi daya mikrokontroler. Hal ini memberikan nilai tambah bagi efisiensi energi sistem yang diusulkan. Sebagai kondisi perbandingan tambahan, kami mengevaluasi konsumsi daya dari metode beamforming klasik yang diusulkan dalam referensi. 31.54 bila ditanamkan pada mikrokontroler yang sama68 pada tegangan suplai 1.8V. Lima membran pMUT dengan jarak yang sama digunakan untuk memperoleh data untuk beamforming. Sedangkan untuk pengolahannya sendiri, metode beamforming yang digunakan adalah delay summation. Ini hanya terdiri dari penerapan penundaan pada jalur yang sesuai dengan perbedaan waktu kedatangan yang diharapkan antara satu jalur dan jalur referensi. Jika sinyal-sinyal tersebut berada dalam satu fasa, jumlah sinyal-sinyal tersebut akan mempunyai energi yang tinggi setelah adanya pergeseran waktu. Jika mereka keluar dari fase, interferensi destruktif akan membatasi energi dari jumlah mereka. dalam suatu hubungan. Pada gambar. 31, laju pengambilan sampel 2 MHz dipilih untuk menggeser data berdasarkan jumlah sampel bilangan bulat. Pendekatan yang lebih sederhana adalah dengan mempertahankan laju sampel yang lebih kasar sebesar 250 kHz dan menggunakan filter Finite Impulse Response (FIR) untuk mensintesis penundaan fraksional. Kita akan berasumsi bahwa kompleksitas algoritma beamforming terutama ditentukan oleh pergeseran waktu, karena setiap saluran dikonvolusi dengan filter FIR dengan 16 tap di setiap arah. Untuk menghitung jumlah MIPS yang diperlukan untuk operasi ini, kami mempertimbangkan jendela 6ms per pengukuran untuk menangkap rentang 1 meter, 5 saluran, 11 arah beamforming (rentang +/- 50° dalam langkah 10°). 75 pengukuran per detik mendorong mikrokontroler hingga maksimum 100 MIPS. Link. 68, menghasilkan disipasi daya sebesar 11,26 mW dengan total disipasi daya sebesar 11,71 mW setelah ditambahkan kontribusi ADC onboard.
Data yang mendukung hasil penelitian ini tersedia dari penulis masing-masing, FM, berdasarkan permintaan yang masuk akal.
Indiveri, G. & Sandamirskaya, Y. Pentingnya ruang dan waktu untuk pemrosesan sinyal pada agen neuromorfik: Tantangan mengembangkan agen otonom berdaya rendah yang berinteraksi dengan lingkungan. Indiveri, G. & Sandamirskaya, Y. Pentingnya ruang dan waktu untuk pemrosesan sinyal pada agen neuromorfik: Tantangan mengembangkan agen otonom berdaya rendah yang berinteraksi dengan lingkungan.Indiveri G. dan Sandamirskaya Y. Pentingnya ruang dan waktu untuk pemrosesan sinyal pada agen neuromorfik: tantangan mengembangkan agen otonom berdaya rendah yang berinteraksi dengan lingkungan. Indiveri, G. & Sandamirskaya, Y. 空间和时间对于神经形态代理中信号处理的重要性：开发与环境交互的低功耗、自主代理的挑战。 Indiveri, G. & Sandamirskaya, Y.Indiveri G. dan Sandamirskaya Y. Pentingnya ruang dan waktu untuk pemrosesan sinyal pada agen neuromorfik: tantangan mengembangkan agen otonom berdaya rendah yang berinteraksi dengan lingkungan.Pemrosesan Sinyal IEEE. Jurnal 36, 16–28 (2019).
Thorpe, SJ Waktu Kedatangan Puncak: Skema Pengkodean Jaringan Syaraf Tiruan yang Efisien. dalam Eckmiller, R., Hartmann, G. & Hauske, G. (eds). dalam Eckmiller, R., Hartmann, G. & Hauske, G. (eds).dalam Eckmiller, R., Hartmann, G. dan Hauske, G. (eds.).Dalam Eckmiller, R., Hartmann, G., dan Hauske, G. (eds.). Pemrosesan paralel dalam sistem saraf dan komputer 91–94 (North-Holland Elsevier, 1990).
Levy, WB & Calvert, VG Komunikasi mengonsumsi energi 35 kali lebih banyak daripada komputasi di korteks manusia, namun kedua biaya tersebut diperlukan untuk memprediksi jumlah sinapsis. Levy, WB & Calvert, VG Komunikasi mengonsumsi energi 35 kali lebih banyak daripada komputasi di korteks manusia, namun kedua biaya tersebut diperlukan untuk memprediksi jumlah sinapsis.Levy, WB dan Calvert, WG Komunikasi mengkonsumsi energi 35 kali lebih banyak daripada komputasi di korteks manusia, namun kedua biaya tersebut diperlukan untuk memprediksi jumlah sinapsis. Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35 倍,但这两种成本都需要预测突触数量。 Levy, WB & Calvert, Komunikasi VGLevy, WB dan Calvert, WG Komunikasi mengkonsumsi energi 35 kali lebih banyak daripada komputasi di korteks manusia, namun kedua biaya tersebut memerlukan prediksi jumlah sinapsis.proses. Akademi Sains Nasional. ilmu pengetahuan. AS 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Komputasi neuromorfik yang terinspirasi serangga. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Komputasi neuromorfik yang terinspirasi serangga.Dalgati, T., Vianello, E., DeSalvo, B. dan Casas, J. Komputasi neuromorfik yang terinspirasi serangga.Dalgati T., Vianello E., DeSalvo B. dan Casas J. Komputasi neuromorfik yang terinspirasi serangga. Saat ini. Pendapat. Ilmu serangga. 30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Menuju kecerdasan mesin berbasis lonjakan dengan komputasi neuromorfik. Roy, K., Jaiswal, A. & Panda, P. Menuju kecerdasan mesin berbasis lonjakan dengan komputasi neuromorfik. Roy, K., Jaiswal, A. & Panda, P. Menuju Kecerdasan Mesin Berbasis Spike dengan Komputasi Neuromorfik.Roy K, Jaiswal A, dan Panda P. Kecerdasan buatan berbasis pulsa menggunakan komputasi neuromorfik. Alam 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. dan Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. dan Liu, S.-K.Memori dan pemrosesan informasi dalam sistem neuromorfik. proses. IEEE 103, 1379–1397 (2015).
Akopyan F.dkk. Truenorth: Desain dan perangkat untuk chip sinaptik yang dapat diprogram 65 mW 1 juta neuron. transaksi IEEE. Desain komputer sistem sirkuit terpadu. 34, 1537–1557 (2015).
Schemmel, J. dkk. Demo langsung: versi sistem neuromorfik BrainScaleS yang diperkecil pada skala besar. Simposium Internasional IEEE tentang Sirkuit dan Sistem (ISCAS) 2012, (Edisi IEEE) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Arsitektur multicore yang dapat diskalakan dengan struktur memori heterogen untuk prosesor asinkron neuromorfik dinamis (DYNAPs). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Arsitektur multicore yang dapat diskalakan dengan struktur memori heterogen untuk prosesor asinkron neuromorfik dinamis (DYNAPs).Moradi S., Qiao N., Stefanini F. dan Indiviri G. Arsitektur multicore yang dapat diskalakan dengan struktur memori heterogen untuk prosesor asinkron neuromorfik dinamis (DYNAP). Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. 一种可扩展的多核架构，具有用于动态神经形态异步处理器(DYNAP) 的异构内存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Semacam arsitektur multi-core yang dapat diperluas, dengan struktur memori unik untuk pemrosesan saraf dinamis (DYNAP).Moradi S., Qiao N., Stefanini F. dan Indiviri G. Arsitektur multicore yang dapat diskalakan dengan struktur memori heterogen untuk prosesor asinkron neuromorfik dinamis (DYNAP).Transaksi IEEE pada ilmu Biomedis. sistem kelistrikan. 12, 106–122 (2018).
Davis, M.dkk. Loihi: Prosesor multi-core neuromorfik dengan pembelajaran tertanam. IEEE Mikro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA Proyek SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA Proyek SpiNNaker.Ferber SB, Galluppi F., Temple S. dan proyek Plana LA SpiNNaker.Ferber SB, Galluppi F., Temple S. dan proyek Plana LA SpiNNaker. proses. IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Sistem sensorik neuromorfik. & Delbruck, T. Sistem sensorik neuromorfik.dan Delbrück T. Sistem sensorik neuromorfik. & Delbruck, T.神经形态感觉系统。 & Delbruck, T.dan Delbrück T. Sistem sensor neuromorfik.Saat ini. Pendapat. Neurobiologi. 20, 288–295 (2010).
Chope, T. dkk. Integrasi sensorik neuromorfik untuk gabungan lokalisasi sumber suara dan penghindaran tabrakan. Pada tahun 2019 di Konferensi IEEE tentang Sirkuit dan Sistem Biomedis (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Arsitektur neuromorfik penglihatan stereo berbasis lonjakan. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Arsitektur neuromorfik penglihatan stereo berbasis lonjakan.Risi N, Aymar A, Donati E, Solinas S, dan Indiveri G. Arsitektur stereovision neuromorfik berbasis lonjakan. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S, dan Indiveri G. Arsitektur neuromorfik berbasis Spike untuk penglihatan stereo.depan. Neurorobotik 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Model jaringan saraf spiking dari persepsi 3D untuk sistem visi stereo neuromorfik berbasis peristiwa. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Model jaringan saraf spiking dari persepsi 3D untuk sistem visi stereo neuromorfik berbasis peristiwa.Oswald, M., Ieng, S.-H., Benosman, R., dan Indiveri, G. Model Persepsi Jaringan Syaraf Berdenyut 3D untuk Sistem Visi Stereo Neuromorfik Berbasis Peristiwa. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 基于事件的神经形态立体视觉系统的3Dperception 脉冲神经网络模型。 Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Persepsi 3D 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R., dan Indiveri, G. Model Jaringan Syaraf Persepsi 3D Berduri untuk Sistem Visi Stereo Neuromorfik Berbasis Peristiwa.ilmu pengetahuan. Laporan 7, 1–11 (2017).
Dalgaty, T. dkk. Deteksi gerakan dasar yang terinspirasi serangga mencakup memori resistif dan jaringan saraf yang meledak. Sistem biohibrid bionik. 10928, 115–128 (2018).
D'Angelo, G. dkk. Deteksi gerakan eksentrik berbasis peristiwa menggunakan pengkodean diferensial temporal. depan. Neurologi. 14, 451 (2020).