ข่าว

แอปพลิเคชันการประมวลผลข้อมูลในโลกแห่งความเป็นจริงต้องการระบบคอมพิวเตอร์ที่มีขนาดกะทัดรัด เวลาแฝงต่ำ และใช้พลังงานต่ำ ด้วยความสามารถในการประมวลผลที่ขับเคลื่อนด้วยเหตุการณ์ สถาปัตยกรรมนิวโรมอร์ฟิคแบบไฮบริดเมทัลออกไซด์-เซมิคอนดักเตอร์เสริม มอบรากฐานฮาร์ดแวร์ที่เหมาะสำหรับงานดังกล่าว เพื่อแสดงให้เห็นถึงศักยภาพสูงสุดของระบบดังกล่าว เราจึงเสนอและสาธิตการทดลองโซลูชันการประมวลผลเซ็นเซอร์ที่ครอบคลุมสำหรับการใช้งานการแปลวัตถุในโลกแห่งความเป็นจริง ด้วยแรงบันดาลใจจากกายวิภาคศาสตร์ของนกฮูกในโรงนา เราได้พัฒนาระบบการแปลวัตถุตามเหตุการณ์ที่ได้รับแรงบันดาลใจมาจากชีวภาพ ซึ่งรวมเอาทรานสดิวเซอร์ทรานสดิวเซอร์ไมโครเมคานิกแบบเพียโซอิเล็กทริกที่ล้ำสมัยเข้ากับหน่วยความจำต้านทานนิวมอร์ฟิกที่ใช้กราฟคำนวณ เราแสดงการวัดของระบบประดิษฐ์ที่มีเครื่องตรวจจับความบังเอิญแบบต้านทานแบบใช้หน่วยความจำ วงจรดีเลย์ไลน์ และทรานสดิวเซอร์อัลตราโซนิกที่ปรับแต่งได้อย่างเต็มที่ เราใช้ผลการทดลองเหล่านี้เพื่อปรับเทียบการจำลองในระดับระบบ การจำลองเหล่านี้จะใช้เพื่อประเมินความละเอียดเชิงมุมและประสิทธิภาพการใช้พลังงานของแบบจำลองการแปลวัตถุ ผลการวิจัยพบว่าแนวทางของเราสามารถประหยัดพลังงานได้มากกว่าไมโครคอนโทรลเลอร์ที่ทำงานเดียวกันหลายเท่า
เรากำลังเข้าสู่ยุคของการใช้คอมพิวเตอร์อย่างแพร่หลาย ซึ่งจำนวนอุปกรณ์และระบบที่ใช้งานเพิ่มขึ้นอย่างทวีคูณเพื่อช่วยเราในชีวิตประจำวัน ระบบเหล่านี้คาดว่าจะทำงานอย่างต่อเนื่อง โดยใช้พลังงานน้อยที่สุดเท่าที่จะเป็นไปได้ในขณะที่เรียนรู้ที่จะตีความข้อมูลที่รวบรวมจากเซ็นเซอร์หลายตัวแบบเรียลไทม์ และสร้างเอาต์พุตไบนารี่อันเป็นผลมาจากงานจำแนกประเภทหรือการรับรู้ ขั้นตอนที่สำคัญที่สุดประการหนึ่งที่จำเป็นเพื่อให้บรรลุเป้าหมายนี้คือการดึงข้อมูลที่เป็นประโยชน์และกะทัดรัดออกจากข้อมูลทางประสาทสัมผัสที่มีเสียงดังและมักจะไม่สมบูรณ์ วิธีการทางวิศวกรรมแบบเดิมๆ โดยทั่วไปจะสุ่มตัวอย่างสัญญาณเซ็นเซอร์ในอัตราคงที่และสูง ทำให้เกิดข้อมูลจำนวนมากแม้ว่าจะไม่มีอินพุตที่มีประโยชน์ก็ตาม นอกจากนี้ วิธีการเหล่านี้ยังใช้เทคนิคการประมวลผลสัญญาณดิจิทัลที่ซับซ้อนเพื่อประมวลผลข้อมูลอินพุตล่วงหน้า (มักจะมีสัญญาณรบกวน) ในทางกลับกัน ชีววิทยาเสนอวิธีแก้ปัญหาทางเลือกสำหรับการประมวลผลข้อมูลทางประสาทสัมผัสที่มีเสียงดังโดยใช้แนวทางที่ประหยัดพลังงาน แบบอะซิงโครนัส และขับเคลื่อนด้วยเหตุการณ์ (เดือย)2,3 การประมวลผลแบบนิวโรมอร์ฟิกใช้แรงบันดาลใจจากระบบชีวภาพเพื่อลดต้นทุนการคำนวณในแง่ของความต้องการพลังงานและหน่วยความจำ เมื่อเปรียบเทียบกับวิธีการประมวลผลสัญญาณแบบเดิม4,5,6 เมื่อเร็วๆ นี้ มีการสาธิตระบบที่ใช้สมองเพื่อวัตถุประสงค์ทั่วไปที่เป็นนวัตกรรมใหม่ ซึ่งใช้โครงข่ายประสาทเทียมแบบกระตุ้น (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11) โปรเซสเซอร์เหล่านี้มอบโซลูชันพลังงานต่ำและเวลาแฝงต่ำสำหรับการเรียนรู้ของเครื่องและการสร้างแบบจำลองวงจรเยื่อหุ้มสมอง เพื่อใช้ประโยชน์จากประสิทธิภาพการใช้พลังงานอย่างเต็มที่ โปรเซสเซอร์นิวโรมอร์ฟิกเหล่านี้จะต้องเชื่อมต่อโดยตรงกับเซ็นเซอร์ที่ขับเคลื่อนด้วยเหตุการณ์12,13 อย่างไรก็ตาม ปัจจุบันมีอุปกรณ์สัมผัสเพียงไม่กี่เครื่องที่ให้ข้อมูลตามเหตุการณ์โดยตรง ตัวอย่างที่โดดเด่น ได้แก่ เซ็นเซอร์ภาพแบบไดนามิก (DVS) สำหรับการใช้งานการมองเห็น เช่น การติดตามและการตรวจจับการเคลื่อนไหว 14,15,16,17 ซิลิคอนโคเคลีย 18 และเซ็นเซอร์การได้ยินนิวโรมอร์ฟิก (NAS) 19 สำหรับการประมวลผลสัญญาณเสียง เซ็นเซอร์รับกลิ่น 20 และตัวอย่างการสัมผัสมากมาย 21,22 ตัวอย่าง - เซ็นเซอร์พื้นผิว
ในบทความนี้ เรานำเสนอระบบประมวลผลการได้ยินที่ขับเคลื่อนด้วยเหตุการณ์ที่พัฒนาขึ้นใหม่ ซึ่งนำไปใช้กับการแปลวัตถุ ในที่นี้ เป็นครั้งแรกที่เราอธิบายระบบ end-to-end สำหรับการแปลวัตถุที่ได้รับจากการเชื่อมต่อเครื่องแปลงสัญญาณอัลตราโซนิกแบบเพียโซอิเล็กทริกไมโครแมชชีน (pMUT) ที่ล้ำสมัยกับกราฟการคำนวณที่อิงจากหน่วยความจำต้านทานนิวมอร์ฟิก (RRAM) สถาปัตยกรรมการประมวลผลในหน่วยความจำที่ใช้ RRAM เป็นโซลูชันที่น่าหวังในการลดการใช้พลังงาน23,24,25,26,27,28,29 ความไม่ผันผวนโดยธรรมชาติของสิ่งเหล่านี้—ไม่จำเป็นต้องใช้พลังงานในการจัดเก็บหรืออัปเดตข้อมูล—เหมาะอย่างยิ่งกับธรรมชาติของการประมวลผลแบบนิวโรมอร์ฟิกที่ขับเคลื่อนด้วยเหตุการณ์แบบอะซิงโครนัส ส่งผลให้แทบไม่มีการใช้พลังงานเลยเมื่อระบบไม่ได้ใช้งาน ทรานสดิวเซอร์อัลตราโซนิกแบบไมโครแมชชีนแบบเพียโซอิเล็กทริก (pMUT) เป็นทรานสดิวเซอร์อัลตราโซนิคแบบซิลิคอนขนาดเล็กที่มีราคาไม่แพง สามารถทำหน้าที่เป็นตัวส่งและตัวรับได้30,31,32,33,34 ในการประมวลผลสัญญาณที่ได้รับจากเซนเซอร์ในตัว เราได้รับแรงบันดาลใจจากกายวิภาคศาสตร์ของนกฮูกในโรงนา35,36,37 นกฮูกโรงนา Tyto alba ขึ้นชื่อในด้านความสามารถในการล่าสัตว์กลางคืนที่น่าทึ่ง ด้วยระบบการฟังเสียงท้องถิ่นที่มีประสิทธิภาพมาก ในการคำนวณตำแหน่งของเหยื่อ ระบบระบุตำแหน่งของนกฮูกโรงนาจะเข้ารหัสเวลาการบิน (ToF) เมื่อคลื่นเสียงจากเหยื่อไปถึงหูหรือตัวรับเสียงของนกฮูกแต่ละตัว เมื่อพิจารณาถึงระยะห่างระหว่างหู ความแตกต่างระหว่างการวัด ToF ทั้งสองครั้ง (ความแตกต่างของเวลาระหว่างหู, ITD) ทำให้สามารถคำนวณตำแหน่งแอซิมัทของเป้าหมายในเชิงวิเคราะห์ได้ แม้ว่าระบบทางชีววิทยาไม่เหมาะกับการแก้สมการพีชคณิต แต่ก็สามารถแก้ปัญหาการแปลเป็นภาษาท้องถิ่นได้อย่างมีประสิทธิภาพมาก ระบบประสาทของนกฮูกโรงนาใช้ชุดเครื่องตรวจจับโดยบังเอิญ (CD)35 เซลล์ประสาท (กล่าวคือ เซลล์ประสาทที่สามารถตรวจจับความสัมพันธ์ชั่วคราวระหว่างเดือยที่ขยายลงด้านล่างไปสู่จุดสิ้นสุดที่กระตุ้นมาบรรจบกัน)38,39 จัดเป็นกราฟคำนวณเพื่อแก้ปัญหาการวางตำแหน่ง
การวิจัยก่อนหน้านี้แสดงให้เห็นว่าฮาร์ดแวร์โลหะ-ออกไซด์-เซมิคอนดักเตอร์ (CMOS) เสริมและฮาร์ดแวร์นิวโรมอร์ฟิกที่ใช้ RRAM ซึ่งได้รับแรงบันดาลใจจากคอลลิคูลัสที่ด้อยกว่า (“เยื่อหุ้มสมองการได้ยิน”) ของนกฮูกโรงนาเป็นวิธีที่มีประสิทธิภาพในการคำนวณตำแหน่งโดยใช้ ITD13, 40, 41, 42, 43 , 44, 45, 46 อย่างไรก็ตาม ศักยภาพของระบบประสาทแบบสมบูรณ์ที่เชื่อมโยงสัญญาณการได้ยินกับ กราฟการคำนวณทางนิวโรมอร์ฟิกยังไม่ได้แสดงให้เห็น ปัญหาหลักคือความแปรปรวนโดยธรรมชาติของวงจร CMOS แบบอะนาล็อก ซึ่งส่งผลต่อความแม่นยำของการตรวจจับการจับคู่ เมื่อเร็วๆ นี้ มีการสาธิตการใช้งานเชิงตัวเลขทางเลือกของการประมาณค่า ITD47 ในบทความนี้ เราเสนอให้ใช้ความสามารถของ RRAM เพื่อเปลี่ยนค่าสื่อกระแสไฟฟ้าในลักษณะที่ไม่ลบเลือน เพื่อลดความแปรปรวนในวงจรแอนะล็อก เราใช้ระบบการทดลองซึ่งประกอบด้วยเมมเบรนส่งสัญญาณ pMUT หนึ่งตัวที่ทำงานที่ความถี่ 111.9 kHz, เมมเบรนรับ pMUT สองตัว (เซ็นเซอร์) จำลองหูนกฮูกโรงนา และอีกหนึ่งตัว เราทำการทดลองระบุลักษณะระบบตรวจจับ pMUT และกราฟคำนวณ ITD ที่ใช้ RRAM เพื่อทดสอบระบบโลคัลไลเซชันและประเมินความละเอียดเชิงมุมของมัน
เราเปรียบเทียบวิธีการของเรากับการใช้งานดิจิทัลบนไมโครคอนโทรลเลอร์ที่ทำงานในตำแหน่งเดียวกัน โดยใช้วิธีบีมฟอร์มมิ่งหรือนิวโรมอร์ฟิกแบบเดิมๆ รวมถึง field programmable gate array (FPGA) สำหรับการประมาณค่า ITD ที่เสนอในข้อมูลอ้างอิง 47. การเปรียบเทียบนี้เน้นย้ำถึงประสิทธิภาพการใช้พลังงานที่แข่งขันได้ของระบบนิวโรมอร์ฟิคแบบอะนาล็อกที่ใช้ RRAM ที่นำเสนอ
หนึ่งในตัวอย่างที่โดดเด่นที่สุดของระบบการแปลวัตถุที่แม่นยำและมีประสิทธิภาพสามารถพบได้ในนกฮูกโรงนา35,37,48 ในเวลาพลบค่ำและรุ่งเช้า นกฮูกโรงนา (ไทโต อัลบา) อาศัยการฟังเป็นหลัก และกระตือรือร้นค้นหาเหยื่อเล็กๆ เช่น หนูพุกหรือหนู ผู้เชี่ยวชาญด้านการได้ยินเหล่านี้สามารถระบุตำแหน่งของสัญญาณเสียงจากเหยื่อได้อย่างแม่นยำอย่างน่าประหลาดใจ (ประมาณ 2°)35 ดังแสดงในรูปที่ 1a นกฮูกโรงนาอนุมานตำแหน่งของแหล่งกำเนิดเสียงในระนาบแอซิมัท (แนวนอน) จากความแตกต่างของเวลาบินขาเข้า (ITD) จากแหล่งกำเนิดเสียงไปยังหูทั้งสองข้าง กลไกการคำนวณของ ITD ได้รับการเสนอโดย Jeffress49,50 ซึ่งอาศัยเรขาคณิตของประสาทและต้องใช้องค์ประกอบหลักสองส่วน ได้แก่ แอกซอน เส้นใยประสาทของเซลล์ประสาทที่ทำหน้าที่เป็นเส้นหน่วงเวลา และอาร์เรย์ของเซลล์ประสาทตรวจจับความบังเอิญที่จัดเป็นระบบคอมพิวเตอร์ กราฟดังแสดงในรูปที่ 1b เสียงจะเข้าสู่หูโดยมีการหน่วงเวลาขึ้นอยู่กับแอซิมัท (ITD) จากนั้นเสียงจะถูกแปลงเป็นรูปแบบเสียงแหลมในหูแต่ละข้าง แอกซอนของหูซ้ายและขวาทำหน้าที่เป็นเส้นหน่วงและมาบรรจบกับเซลล์ประสาทซีดี ตามทฤษฎีแล้ว มีเพียงเซลล์ประสาทเดียวในอาร์เรย์ของเซลล์ประสาทที่ตรงกันเท่านั้นที่จะได้รับอินพุตในแต่ละครั้ง (โดยที่การหน่วงเวลาถูกยกเลิกอย่างแน่นอน) และจะเริ่มทำงานสูงสุด (เซลล์ข้างเคียงก็จะเริ่มทำงานเช่นกัน แต่ที่ความถี่ต่ำกว่า) การเปิดใช้งานเซลล์ประสาทบางตัวจะเข้ารหัสตำแหน่งของเป้าหมายในอวกาศโดยไม่ต้องแปลง ITD เป็นมุมอีกต่อไป แนวคิดนี้สรุปไว้ในรูปที่ 1c: ตัวอย่างเช่น หากเสียงมาจากด้านขวาเมื่อสัญญาณอินพุตจากหูขวาเดินทางในเส้นทางที่ยาวกว่าเส้นทางจากหูซ้าย เพื่อชดเชยจำนวน ITD เป็นต้น เมื่อ neuron 2 ตรงกัน กล่าวอีกนัยหนึ่ง ซีดีแต่ละแผ่นตอบสนองต่อ ITD ที่แน่นอน (หรือที่เรียกว่าความล่าช้าที่เหมาะสมที่สุด) เนื่องจากความล่าช้าของแอกซอน ดังนั้นสมองจึงแปลงข้อมูลชั่วคราวเป็นข้อมูลเชิงพื้นที่ พบหลักฐานทางกายวิภาคสำหรับกลไกนี้37,51 เซลล์ประสาทมาโครนิวเคลียสที่ล็อคเฟสจะเก็บข้อมูลชั่วคราวเกี่ยวกับเสียงที่เข้ามา ตามชื่อของมัน พวกมันจะส่งเสียงที่เฟสสัญญาณบางเฟส เซลล์ประสาทตรวจจับความบังเอิญของโมเดล Jeffress สามารถพบได้ในแกนลามินาร์ พวกเขาได้รับข้อมูลจากเซลล์ประสาทขนาดใหญ่ซึ่งมีแอกซอนทำหน้าที่เป็นเส้นหน่วงเวลา ปริมาณการหน่วงเวลาที่ได้จากเส้นหน่วงเวลาสามารถอธิบายได้ด้วยความยาวของแอกซอน เช่นเดียวกับรูปแบบไมอีลิเนชันอื่นที่เปลี่ยนความเร็วการนำไฟฟ้า ด้วยแรงบันดาลใจจากระบบการได้ยินของนกฮูกโรงนา เราได้พัฒนาระบบการเลียนแบบทางชีวภาพสำหรับการระบุตำแหน่งวัตถุ หูทั้งสองข้างแสดงด้วยตัวรับ pMUT สองตัว แหล่งกำเนิดเสียงคือเครื่องส่งสัญญาณ pMUT ที่อยู่ระหว่างพวกมัน (รูปที่ 1a) และกราฟการคำนวณถูกสร้างขึ้นโดยตารางของวงจรซีดีที่ใช้ RRAM (รูปที่ 1b, สีเขียว) ซึ่งเล่นบทบาทของเซลล์ประสาทซีดีที่อินพุตล่าช้า ผ่านวงจร เส้นหน่วงเวลา (สีน้ำเงิน) ทำหน้าที่เหมือนแอกซอนในคู่ทางชีววิทยา ระบบประสาทสัมผัสที่นำเสนอมีความแตกต่างในด้านความถี่ในการทำงานจากนกฮูกซึ่งระบบการได้ยินทำงานในช่วง 1–8 kHz แต่เซ็นเซอร์ pMUT ที่ทำงานที่ประมาณ 117 kHz ถูกนำมาใช้ในงานนี้ การเลือกทรานสดิวเซอร์อัลตราโซนิกจะพิจารณาตามเกณฑ์ด้านเทคนิคและการเพิ่มประสิทธิภาพ ประการแรก การจำกัดแบนด์วิดท์การรับไว้ที่ความถี่เดียวจะช่วยเพิ่มความแม่นยำในการวัดและทำให้ขั้นตอนหลังการประมวลผลง่ายขึ้น นอกจากนี้ การดำเนินการในอัลตราซาวนด์มีข้อดีว่าพัลส์ที่ปล่อยออกมานั้นไม่สามารถได้ยินได้ จึงไม่รบกวนผู้คน เนื่องจากช่วงการได้ยินของพวกเขาอยู่ที่ ~20-20 kHz
นกฮูกโรงนาจะได้รับคลื่นเสียงจากเป้าหมาย ในกรณีนี้คือเหยื่อที่กำลังเคลื่อนที่ เวลาในการบิน (ToF) ของคลื่นเสียงจะแตกต่างกันไปในแต่ละหู (เว้นแต่เหยื่อจะอยู่ตรงหน้านกฮูกโดยตรง) เส้นประแสดงเส้นทางที่คลื่นเสียงไปถึงหูของนกฮูกโรงนา เหยื่อสามารถระบุตำแหน่งได้อย่างแม่นยำในระนาบแนวนอนโดยพิจารณาจากความแตกต่างด้านความยาวระหว่างเส้นทางเสียงทั้งสองเส้นทางกับความต่างของเวลาระหว่างหู (ITD) ที่สอดคล้องกัน (ภาพด้านซ้ายได้รับแรงบันดาลใจจากการอ้างอิง 74 ลิขสิทธิ์ 2002 สมาคมประสาทวิทยาศาสตร์) ในระบบของเรา เครื่องส่ง pMUT (สีน้ำเงินเข้ม) จะสร้างคลื่นเสียงที่สะท้อนออกจากเป้าหมาย คลื่นอัลตร้าซาวด์ที่สะท้อนจะได้รับจากตัวรับ pMUT สองตัว (สีเขียวอ่อน) และประมวลผลโดยตัวประมวลผลนิวโรมอร์ฟิก (ขวา) b แบบจำลองการคำนวณของ ITD (เจฟเฟอร์ส) อธิบายว่าเสียงที่เข้าสู่หูของนกฮูกโรงนาได้รับการเข้ารหัสอย่างไรเป็นเดือยแบบล็อคเฟสในนิวเคลียสขนาดใหญ่ (NM) จากนั้นใช้ตารางที่จัดเรียงทางเรขาคณิตของเซลล์ประสาทตัวตรวจจับที่ตรงกันในนิวเคลียสลาเมลลาร์ กำลังดำเนินการ (เนเธอร์แลนด์) (ซ้าย) ภาพประกอบของกราฟการคำนวณ neuroITD ที่รวมเส้นหน่วงเวลาและเซลล์ประสาทของตัวตรวจจับความบังเอิญ ระบบไบโอเซนเซอร์ของนกฮูกสามารถสร้างแบบจำลองได้โดยใช้วงจรนิวโรมอร์ฟิกที่ใช้ RRAM (ขวา) c แผนผังของกลไก Jeffress หลัก เนื่องจากความแตกต่างใน ToF หูทั้งสองข้างจึงได้รับการกระตุ้นทางเสียงในเวลาที่ต่างกัน และส่งแอกซอนจากปลายทั้งสองข้างไปยังตัวตรวจจับ แอกซอนเป็นส่วนหนึ่งของชุดเซลล์ประสาทเครื่องตรวจจับความบังเอิญ (CD) ซึ่งแต่ละเซลล์ประสาทจะตอบสนองต่อปัจจัยนำเข้าที่สัมพันธ์กับเวลาอย่างเฉพาะเจาะจง ด้วยเหตุนี้ เฉพาะซีดีที่อินพุตมาถึงโดยมีเวลาต่างกันน้อยที่สุดเท่านั้นที่จะตื่นเต้นมากที่สุด (ITD ได้รับการชดเชยอย่างแน่นอน) จากนั้นซีดีจะเข้ารหัสตำแหน่งเชิงมุมของเป้าหมาย
ทรานสดิวเซอร์อัลตราโซนิกไมโครเมคานิกแบบเพียโซอิเล็กทริกเป็นทรานสดิวเซอร์อัลตราโซนิกที่ปรับขนาดได้ซึ่งสามารถรวมเข้ากับเทคโนโลยี CMOS ขั้นสูง31,32,33,52 และมีแรงดันไฟฟ้าเริ่มต้นและการใช้พลังงานต่ำกว่าทรานสดิวเซอร์ปริมาตรแบบดั้งเดิม53 ในงานของเรา เส้นผ่านศูนย์กลางของเมมเบรนคือ 880 µm และความถี่เรโซแนนซ์จะกระจายในช่วง 110–117 kHz (รูปที่ 2a ดูวิธีการสำหรับรายละเอียด) ในชุดอุปกรณ์ทดสอบจำนวน 10 ชิ้น ปัจจัยด้านคุณภาพโดยเฉลี่ยอยู่ที่ประมาณ 50 (อ้างอิง 31) เทคโนโลยีนี้ถึงจุดอิ่มตัวทางอุตสาหกรรมแล้ว และไม่ได้รับแรงบันดาลใจทางชีวภาพแต่อย่างใด การรวมข้อมูลจากฟิล์ม pMUT ต่างๆ เป็นเทคนิคที่รู้จักกันดี และข้อมูลมุมสามารถรับได้จาก pMUT โดยใช้ เช่น เทคนิคการสร้างลำแสง31,54 อย่างไรก็ตาม การประมวลผลสัญญาณที่จำเป็นในการดึงข้อมูลมุมไม่เหมาะสำหรับการวัดพลังงานต่ำ ระบบที่นำเสนอจะรวมวงจร pMUT การประมวลผลข้อมูล neuromorphic เข้ากับกราฟการคำนวณ neuromorphic ที่ใช้ RRAM ซึ่งได้รับแรงบันดาลใจจากโมเดล Jeffress (รูปที่ 2c) ซึ่งเป็นโซลูชันฮาร์ดแวร์ที่ประหยัดพลังงานและจำกัดทรัพยากรทางเลือก เราทำการทดลองโดยวางเซ็นเซอร์ pMUT สองตัวให้ห่างกันประมาณ 10 ซม. เพื่อใช้ประโยชน์จากเสียง ToF ที่แตกต่างกันที่ได้รับจากเมมเบรนรับสัญญาณทั้งสอง pMUT หนึ่งตัวทำหน้าที่เป็นตัวส่งสัญญาณอยู่ระหว่างตัวรับ เป้าหมายคือแผ่น PVC กว้าง 12 ซม. ซึ่งอยู่ที่ระยะ D ด้านหน้าอุปกรณ์ pMUT (รูปที่ 2b) เครื่องรับจะบันทึกเสียงที่สะท้อนจากวัตถุและตอบสนองมากที่สุดเท่าที่จะเป็นไปได้ระหว่างที่คลื่นเสียงผ่าน ทำการทดลองซ้ำโดยเปลี่ยนตำแหน่งของวัตถุ ซึ่งกำหนดโดยระยะห่าง D และมุม θ แรงบันดาลใจจากลิงค์ ในรูปที่ 55 เราขอเสนอการประมวลผลล่วงหน้าของสัญญาณ pMUT แบบ neuromorphic เพื่อแปลงคลื่นที่สะท้อนกลับเป็นจุดสูงสุดเพื่อป้อนกราฟการคำนวณของ neuromorphic ToF ที่สอดคล้องกับแอมพลิจูดพีคจะถูกแยกออกจากแต่ละแชนเนลและเข้ารหัสเป็นเวลาที่แน่นอนของแต่ละพีค บนรูป 2c แสดงวงจรที่จำเป็นในการเชื่อมต่อเซ็นเซอร์ pMUT กับกราฟการคำนวณแบบ RRAM: สำหรับตัวรับ pMUT แต่ละตัว สัญญาณดิบจะถูกกรองด้วยแบนด์พาสเพื่อทำให้เรียบ แก้ไข และส่งผ่านไปยังตัวรวมที่รั่วในโหมดเอาชนะ เกณฑ์ไดนามิก (รูปที่ 2d) สร้างเหตุการณ์เอาต์พุต (ขัดขวาง) และเซลล์ประสาทการยิง (LIF): เวลาขัดขวางเอาต์พุตเข้ารหัสเวลาบินที่ตรวจพบ เกณฑ์ LIF ได้รับการปรับเทียบกับการตอบสนอง pMUT ซึ่งช่วยลดความแปรปรวนของ pMUT จากอุปกรณ์หนึ่งไปอีกอุปกรณ์หนึ่ง ด้วยแนวทางนี้ แทนที่จะจัดเก็บคลื่นเสียงทั้งหมดไว้ในหน่วยความจำแล้วประมวลผลในภายหลัง เราเพียงแค่สร้างจุดสูงสุดที่สอดคล้องกับ ToF ของคลื่นเสียง ซึ่งสร้างอินพุตให้กับกราฟการคำนวณหน่วยความจำต้านทาน เดือยจะถูกส่งโดยตรงไปยังเส้นหน่วงเวลาและขนานกับโมดูลการตรวจจับการจับคู่ในกราฟการคำนวณนิวโรมอร์ฟิก เนื่องจากพวกมันถูกส่งไปยังประตูของทรานซิสเตอร์ จึงไม่จำเป็นต้องมีวงจรขยายเพิ่มเติม (ดูรายละเอียดเพิ่มเติมในรูปที่ 4) ในการประเมินความแม่นยำเชิงมุมของการแปลโดย pMUT และวิธีการประมวลผลสัญญาณที่นำเสนอ เราได้วัด ITD (นั่นคือความแตกต่างในเวลาระหว่างเหตุการณ์สูงสุดที่สร้างโดยเครื่องรับสองตัว) เนื่องจากระยะทางและมุมของวัตถุแตกต่างกันไป จากนั้นการวิเคราะห์ ITD จะถูกแปลงเป็นมุม (ดูวิธีการ) และพล็อตเทียบกับตำแหน่งของวัตถุ: ความไม่แน่นอนใน ITD ที่วัดได้เพิ่มขึ้นตามระยะทางและมุมของวัตถุ (รูปที่ 2e, f) ปัญหาหลักคืออัตราส่วนจุดสูงสุดต่อเสียงรบกวน (PNR) ในการตอบสนอง pMUT ยิ่งวัตถุอยู่ไกลเท่าไร สัญญาณเสียงก็จะยิ่งต่ำลง ซึ่งจะทำให้ PNR ลดลง (รูปที่ 2f เส้นสีเขียว) การลดลงของ PNR นำไปสู่ความไม่แน่นอนที่เพิ่มขึ้นในการประมาณการ ITD ส่งผลให้ความแม่นยำในการระบุตำแหน่งเพิ่มขึ้น (รูปที่ 2f เส้นสีน้ำเงิน) สำหรับวัตถุที่อยู่ห่างจากตัวส่งสัญญาณ 50 ซม. ความแม่นยำเชิงมุมของระบบจะอยู่ที่ประมาณ 10° ข้อจำกัดนี้กำหนดโดยคุณลักษณะของเซนเซอร์สามารถปรับปรุงได้ ตัวอย่างเช่น ความดันที่ส่งมาจากตัวส่งสัญญาณสามารถเพิ่มขึ้นได้ ซึ่งจะเป็นการเพิ่มแรงดันไฟฟ้าที่ขับเคลื่อนเมมเบรน pMUT วิธีแก้ปัญหาอื่นในการขยายสัญญาณที่ส่งคือการเชื่อมต่อเครื่องส่งสัญญาณหลายตัว 56 โซลูชันเหล่านี้จะเพิ่มช่วงการตรวจจับโดยเสียค่าใช้จ่ายด้านพลังงานที่เพิ่มขึ้น สามารถทำการปรับปรุงเพิ่มเติมได้ที่ฝั่งรับ ระดับเสียงรบกวนของตัวรับของ pMUT สามารถลดลงได้อย่างมากโดยการปรับปรุงการเชื่อมต่อระหว่าง pMUT และแอมพลิฟายเออร์สเตจแรก ซึ่งปัจจุบันดำเนินการด้วยการเชื่อมต่อสายไฟและสายเคเบิล RJ45
รูปภาพของผลึก pMUT ที่มีเมมเบรนขนาด 880 µm หกแผ่นรวมกันที่ระยะพิทช์ 1.5 มม. b แผนภาพการตั้งค่าการวัด เป้าหมายตั้งอยู่ที่ตำแหน่งแอซิมัท θ และที่ระยะ D เครื่องส่ง pMUT สร้างสัญญาณ 117.6 kHz ที่กระเด็นออกจากเป้าหมายและไปถึงเครื่องรับ pMUT สองตัวที่มีเวลาบิน (ToF) ต่างกัน ความแตกต่างนี้ ซึ่งกำหนดเป็นความต่างของเวลาระหว่างหู (ITD) จะเข้ารหัสตำแหน่งของวัตถุและสามารถประมาณได้โดยการประมาณการตอบสนองสูงสุดของเซ็นเซอร์รับสัญญาณทั้งสองตัว c แผนผังของขั้นตอนก่อนการประมวลผลสำหรับการแปลงสัญญาณ pMUT แบบดิบเป็นลำดับขัดขวาง (เช่น ข้อมูลเข้าไปยังกราฟการคำนวณของนิวโรมอร์ฟิก) เซ็นเซอร์ pMUT และกราฟการคำนวณนิวโรมอร์ฟิกได้รับการผลิตและทดสอบ และการประมวลผลล่วงหน้าของนิวโรมอร์ฟิกใช้การจำลองซอฟต์แวร์ d การตอบสนองของเมมเบรน pMUT เมื่อรับสัญญาณและเปลี่ยนเป็นโดเมนสไปค์ e ความแม่นยำเชิงมุมของการแปลเชิงทดลองเป็นฟังก์ชันของมุมของวัตถุ (Θ) และระยะทาง (D) ไปยังวัตถุเป้าหมาย วิธีการสกัด ITD ต้องใช้ความละเอียดเชิงมุมขั้นต่ำประมาณ 4°C f ความแม่นยำเชิงมุม (เส้นสีน้ำเงิน) และอัตราส่วนจุดสูงสุดต่อสัญญาณรบกวนที่สอดคล้องกัน (เส้นสีเขียว) เทียบกับระยะห่างของวัตถุสำหรับ Θ = 0
หน่วยความจำแบบต้านทานจะเก็บข้อมูลไว้ในสถานะนำไฟฟ้าที่ไม่ลบเลือน หลักการพื้นฐานของวิธีนี้คือการดัดแปลงวัสดุในระดับอะตอมทำให้เกิดการเปลี่ยนแปลงค่าการนำไฟฟ้า57 ที่นี่เราใช้หน่วยความจำต้านทานแบบออกไซด์ซึ่งประกอบด้วยฮาฟเนียมไดออกไซด์ชั้น 5 นาโนเมตรประกบอยู่ระหว่างไทเทเนียมด้านบนและด้านล่างและอิเล็กโทรดไทเทเนียมไนไตรด์ ค่าการนำไฟฟ้าของอุปกรณ์ RRAM สามารถเปลี่ยนได้โดยการใช้รูปคลื่นของกระแส/แรงดันไฟฟ้าที่สร้างหรือทำลายเส้นใยนำไฟฟ้าของตำแหน่งออกซิเจนที่ว่างระหว่างอิเล็กโทรด เรารวมอุปกรณ์ดังกล่าว เข้ากับกระบวนการ CMOS มาตรฐาน 130 นาโนเมตรเพื่อสร้างวงจร neuromorphic ที่ประดิษฐ์ขึ้นใหม่ได้โดยใช้เครื่องตรวจจับความบังเอิญและวงจรสายล่าช้า (รูปที่ 3a) ลักษณะไม่ลบเลือนและแอนะล็อกของอุปกรณ์ ผสมผสานกับลักษณะที่ขับเคลื่อนด้วยเหตุการณ์ของวงจรนิวโรมอร์ฟิก ช่วยลดการใช้พลังงานให้เหลือน้อยที่สุด วงจรมีฟังก์ชันเปิด/ปิดทันที โดยจะทำงานทันทีหลังจากเปิดเครื่อง ทำให้สามารถปิดเครื่องได้อย่างสมบูรณ์เมื่อวงจรไม่ได้ใช้งาน โครงสร้างหลักของโครงการที่เสนอจะแสดงไว้ในรูปที่ 1 3บี ประกอบด้วยโครงสร้างทรานซิสเตอร์เดี่ยวตัวต้านทานเดี่ยวแบบขนาน N แบบขนาน (1T1R) ที่เข้ารหัสน้ำหนักซินแนปติกที่ใช้รับกระแสถ่วงน้ำหนัก ฉีดเข้าไปในไซแนปส์ทั่วไปของตัวรวมคู่แบบดิฟเฟอเรนเชียล (DPI) 59 และสุดท้ายถูกฉีดเข้าไปในไซแนปส์ด้วยการบูรณาการและ การรั่วไหล เซลล์ประสาทที่กระตุ้นการทำงาน (LIF) 60 (ดูวิธีการสำหรับรายละเอียด) ไฟกระชากอินพุตจะถูกนำไปใช้กับประตูของโครงสร้าง 1T1R ในรูปแบบของลำดับของพัลส์แรงดันไฟฟ้าโดยมีระยะเวลาตามลำดับหลายร้อยนาโนวินาที หน่วยความจำแบบต้านทานสามารถวางให้อยู่ในสถานะนำไฟฟ้าสูง (HCS) ได้โดยใช้การอ้างอิงเชิงบวกภายนอกกับ Vtop เมื่อ Vbottom ต่อสายดิน และรีเซ็ตเป็นสถานะนำไฟฟ้าต่ำ (LCS) โดยใช้แรงดันไฟฟ้าบวกกับ Vbottom เมื่อ Vtop ต่อสายดิน ค่าเฉลี่ยของ HCS สามารถควบคุมได้โดยการจำกัดกระแสการโปรแกรม (ความสอดคล้อง) ของ SET (ICC) ด้วยแรงดันไฟฟ้าเกต-แหล่งที่มาของทรานซิสเตอร์อนุกรม (รูปที่ 3c) ฟังก์ชั่นของ RRAM ในวงจรนั้นมีสองเท่า: ทำหน้าที่ควบคุมและถ่วงน้ำหนักพัลส์อินพุต
ภาพกล้องจุลทรรศน์อิเล็กตรอนแบบส่องกราด (SEM) ของอุปกรณ์ RRAM HfO2 1T1R สีน้ำเงินที่รวมอยู่ในเทคโนโลยี CMOS 130 นาโนเมตร พร้อมด้วยทรานซิสเตอร์แบบเลือกค่า (กว้าง 650 นาโนเมตร) เป็นสีเขียว b โครงสร้างพื้นฐานของสคีมานิวโรมอร์ฟิกที่เสนอ พัลส์แรงดันไฟฟ้าอินพุต (พีค) Vin0 และ Vin1 ใช้น้ำหนัก Iweight ในปัจจุบัน ซึ่งเป็นสัดส่วนกับสถานะการนำไฟฟ้า G0 และ G1 ของโครงสร้าง 1T1R กระแสนี้ถูกฉีดเข้าไปในไซแนปส์ DPI และกระตุ้นเซลล์ประสาท LIF RRAM G0 และ G1 ได้รับการติดตั้งใน HCS และ LCS ตามลำดับ c ฟังก์ชันความหนาแน่นของสื่อกระแสไฟฟ้าสะสมสำหรับกลุ่มอุปกรณ์ RRAM 16K ที่เป็นฟังก์ชันของการจับคู่กระแส ICC ซึ่งควบคุมระดับการนำไฟฟ้าได้อย่างมีประสิทธิภาพ d การวัดวงจรใน (a) แสดงให้เห็นว่า G1 (ใน LCS) บล็อกอินพุตจาก Vin1 (สีเขียว) ได้อย่างมีประสิทธิภาพ และแน่นอนว่าแรงดันเมมเบรนของเซลล์ประสาทเอาท์พุตจะตอบสนองต่ออินพุตสีน้ำเงินจาก Vin0 เท่านั้น RRAM จะกำหนดการเชื่อมต่อในวงจรได้อย่างมีประสิทธิภาพ e การวัดวงจรใน (b) แสดงผลของค่าสื่อนําไฟฟ้า G0 ต่อแรงดันไฟฟ้าของเมมเบรน Vmem หลังจากป้อนพัลส์แรงดันไฟฟ้า Vin0 ยิ่งสื่อนำไฟฟ้ามาก การตอบสนองก็จะยิ่งแข็งแกร่งขึ้น ดังนั้น อุปกรณ์ RRAM จึงใช้การถ่วงน้ำหนักการเชื่อมต่อ I/O ทำการวัดบนวงจรและสาธิตฟังก์ชันคู่ของ RRAM, การกำหนดเส้นทางและการถ่วงน้ำหนักของพัลส์อินพุต
ประการแรก เนื่องจากมีสถานะการนำพื้นฐานสองสถานะ (HCS และ LCS) RRAM จึงสามารถบล็อกหรือพลาดพัลส์อินพุตเมื่ออยู่ในสถานะ LCS หรือ HCS ตามลำดับ เป็นผลให้ RRAM กำหนดการเชื่อมต่อในวงจรได้อย่างมีประสิทธิภาพ นี่เป็นพื้นฐานสำหรับการกำหนดค่าสถาปัตยกรรมใหม่ เพื่อสาธิตสิ่งนี้ เราจะอธิบายการใช้งานวงจรประดิษฐ์ของบล็อกวงจรในรูปที่ 3b RRAM ที่สอดคล้องกับ G0 จะถูกตั้งโปรแกรมไว้ใน HCS และ RRAM G1 ตัวที่สองจะถูกตั้งโปรแกรมไว้ใน LCS พัลส์อินพุตถูกนำไปใช้กับทั้ง Vin0 และ Vin1 ผลกระทบของพัลส์อินพุตสองลำดับได้รับการวิเคราะห์ในเซลล์ประสาทเอาท์พุตโดยการรวบรวมแรงดันไฟฟ้าของเยื่อหุ้มเซลล์ประสาทและสัญญาณเอาท์พุตโดยใช้ออสซิลโลสโคป การทดลองประสบความสำเร็จเมื่อเชื่อมต่อเฉพาะอุปกรณ์ HCS (G0) เข้ากับชีพจรของเซลล์ประสาทเพื่อกระตุ้นความตึงเครียดของเยื่อหุ้มเซลล์ สิ่งนี้แสดงให้เห็นในรูปที่ 3d โดยที่พัลส์เทรนสีน้ำเงินทำให้เกิดแรงดันไฟฟ้าของเมมเบรนสะสมบนตัวเก็บประจุเมมเบรน ในขณะที่พัลส์เทรนสีเขียวจะรักษาแรงดันไฟฟ้าของเมมเบรนให้คงที่
หน้าที่ที่สำคัญประการที่สองของ RRAM คือการนำน้ำหนักการเชื่อมต่อไปใช้ การใช้การปรับการนำไฟฟ้าแบบอะนาล็อกของ RRAM ทำให้สามารถชั่งน้ำหนักการเชื่อมต่อ I/O ได้ตามนั้น ในการทดลองครั้งที่สอง อุปกรณ์ G0 ได้รับการตั้งโปรแกรมไว้ที่ระดับต่างๆ ของ HCS และใช้พัลส์อินพุตกับอินพุต VIn0 พัลส์อินพุตจะดึงกระแส (Iweight) จากอุปกรณ์ ซึ่งเป็นสัดส่วนกับสื่อไฟฟ้าและค่า Vtop - Vbot ที่ลดลงที่สอดคล้องกัน กระแสถ่วงน้ำหนักนี้จะถูกฉีดเข้าไปในไซแนปส์ DPI และเซลล์ประสาทเอาท์พุต LIF แรงดันเมมเบรนของเซลล์ประสาทเอาท์พุตถูกบันทึกโดยใช้ออสซิลโลสโคปและแสดงในรูปที่ 3 มิติ แรงดันไฟฟ้าสูงสุดของเยื่อหุ้มเซลล์ประสาทในการตอบสนองต่อพัลส์อินพุตเดี่ยวจะเป็นสัดส่วนกับค่าสื่อไฟฟ้าของหน่วยความจำตัวต้านทาน ซึ่งแสดงให้เห็นว่า RRAM สามารถใช้เป็นองค์ประกอบที่ตั้งโปรแกรมได้ของน้ำหนักซินแนปติก การทดสอบเบื้องต้นทั้งสองนี้แสดงให้เห็นว่าแพลตฟอร์ม neuromorphic ที่ใช้ RRAM ที่เสนอนั้นสามารถนำองค์ประกอบพื้นฐานของกลไก Jeffress พื้นฐานไปใช้ ได้แก่ เส้นหน่วงเวลาและวงจรตรวจจับความบังเอิญ แท่นวงจรถูกสร้างขึ้นโดยการซ้อนบล็อกที่ต่อเนื่องกันไว้เคียงข้างกัน เช่น บล็อกในรูปที่ 3b และเชื่อมต่อเกตเข้ากับสายอินพุตทั่วไป เราออกแบบ ประดิษฐ์ และทดสอบแพลตฟอร์มนิวโรมอร์ฟิกที่ประกอบด้วยเซลล์ประสาทเอาท์พุตสองตัวที่ได้รับอินพุตสองตัว (รูปที่ 4a) แผนภาพวงจรแสดงในรูปที่ 4b เมทริกซ์ RRAM ขนาด 2 × 2 ด้านบนอนุญาตให้พัลส์อินพุตถูกส่งไปยังเซลล์ประสาทเอาท์พุตสองตัว ในขณะที่เมทริกซ์ 2 × 2 ด้านล่างอนุญาตให้มีการเชื่อมต่อที่เกิดซ้ำของเซลล์ประสาทสองตัว (N0, N1) เราแสดงให้เห็นว่าแพลตฟอร์มนี้สามารถใช้กับการกำหนดค่าเส้นหน่วงเวลาและฟังก์ชันเครื่องตรวจจับความบังเอิญที่แตกต่างกันสองฟังก์ชัน ดังแสดงโดยการวัดการทดลองในรูปที่ 4c-e
แผนภาพวงจรที่เกิดจากเซลล์ประสาทเอาท์พุตสองตัว N0 และ N1 ซึ่งรับอินพุต 0 และ 1 สองอัน อุปกรณ์สี่อันดับแรกของอาเรย์กำหนดการเชื่อมต่อซินแนปติกจากอินพุตไปยังเอาต์พุต และสี่เซลล์ด้านล่างกำหนดการเชื่อมต่อที่เกิดซ้ำระหว่างเซลล์ประสาท RRAM ที่มีสีแสดงถึงอุปกรณ์ที่กำหนดค่าใน HCS ทางด้านขวา: อุปกรณ์ใน HCS อนุญาตการเชื่อมต่อและแสดงถึงน้ำหนัก ในขณะที่อุปกรณ์ใน LCS บล็อกพัลส์อินพุตและปิดใช้งานการเชื่อมต่อกับเอาต์พุต b แผนภาพวงจร (a) ที่มีโมดูล RRAM แปดโมดูลที่ไฮไลต์ด้วยสีน้ำเงิน c เส้นหน่วงเวลาเกิดขึ้นจากการใช้ไดนามิกของไซแนปส์ DPI และเซลล์ประสาท LIF RRAM สีเขียวถูกตั้งค่าเป็นสื่อกระแสไฟฟ้าสูงพอที่จะทำให้เกิดข้อผิดพลาดที่เอาต์พุตหลังจากการหน่วงเวลาอินพุต Δt d ภาพประกอบแผนผังของการตรวจจับซีดีที่ไม่ไวต่อทิศทางของสัญญาณที่ขึ้นกับเวลา เซลล์ประสาทเอาท์พุต 1, N1 เริ่มทำงานที่อินพุต 0 และ 1 โดยมีการหน่วงเวลาสั้น ๆ e วงจรซีดีที่ไวต่อทิศทาง เป็นวงจรที่ตรวจจับเมื่ออินพุต 1 เข้าใกล้อินพุต 0 และมาถึงหลังจากอินพุต 0 เอาต์พุตของวงจรจะแสดงด้วยเซลล์ประสาท 1 (N1)
เส้นหน่วงเวลา (รูปที่ 4c) ใช้พฤติกรรมไดนามิกของ DPI synapses และเซลล์ประสาท LIF เพื่อสร้างอินพุตขัดขวางจาก Vin1 ถึง Vout1 โดยการหน่วงเวลา Tdel เฉพาะ G3 RRAM ที่เชื่อมต่อกับ Vin1 และ Vout1 เท่านั้นที่ถูกตั้งโปรแกรมใน HCS ส่วน RRAM ที่เหลือถูกตั้งโปรแกรมใน LCS อุปกรณ์ G3 ได้รับการตั้งโปรแกรมไว้ที่ 92.6 µs เพื่อให้แน่ใจว่าแต่ละพัลส์อินพุตจะเพิ่มแรงดันเมมเบรนของเซลล์ประสาทเอาท์พุตเพียงพอที่จะถึงเกณฑ์และสร้างพัลส์เอาท์พุตล่าช้า Tdel ความล่าช้าถูกกำหนดโดยค่าคงที่เวลาซินแนปติกและนิวรัล เครื่องตรวจจับความบังเอิญจะตรวจจับการเกิดสัญญาณอินพุตที่สัมพันธ์กันชั่วคราวแต่มีการกระจายเชิงพื้นที่ ซีดีที่ไม่คำนึงถึงทิศทางนั้นอาศัยอินพุตแต่ละตัวที่มาบรรจบกับเซลล์ประสาทเอาท์พุตทั่วไป (รูปที่ 4d) RRAM สองตัวที่เชื่อมต่อ Vin0 และ Vin1 กับ Vout1, G2 และ G4 ตามลำดับได้รับการตั้งโปรแกรมให้มีการนำไฟฟ้าสูง การมาถึงของเดือยพร้อมกันบน Vin0 และ Vin1 จะเพิ่มแรงดันไฟฟ้าของเยื่อหุ้มเซลล์ประสาท N1 เหนือเกณฑ์ที่จำเป็นในการสร้างเอาต์พุตขัดขวาง ถ้าอินพุตทั้งสองอยู่ห่างจากกันในเวลามากเกินไป ประจุบนแรงดันไฟฟ้าของเมมเบรนที่สะสมโดยอินพุตแรกอาจมีเวลาสลายตัว ป้องกันไม่ให้ศักย์ของเมมเบรน N1 ไปถึงค่าขีดจำกัด G1 และ G2 ได้รับการตั้งโปรแกรมไว้ประมาณ 65 µs ซึ่งช่วยให้มั่นใจได้ว่าการกระชากอินพุตเดี่ยวจะไม่เพิ่มแรงดันไฟฟ้าของเมมเบรนเพียงพอที่จะทำให้เกิดกระแสไฟกระชากเอาต์พุต การตรวจจับความบังเอิญระหว่างเหตุการณ์ที่กระจายอยู่ในอวกาศและเวลาเป็นการดำเนินการพื้นฐานที่ใช้ในงานการตรวจจับที่หลากหลาย เช่น การหลีกเลี่ยงสิ่งกีดขวางตามการไหลของแสง และการแปลแหล่งกำเนิดเสียง ดังนั้นซีดีที่ไวต่อทิศทางและไวต่อทิศทางของคอมพิวเตอร์จึงเป็นองค์ประกอบพื้นฐานสำหรับการสร้างระบบโลคัลไลเซชันภาพและเสียง ดังที่แสดงโดยลักษณะของค่าคงที่เวลา (ดูรูปที่ 2 เพิ่มเติม) วงจรที่นำเสนอจะใช้ช่วงขนาดเวลาสี่ลำดับที่เหมาะสม ดังนั้นจึงสามารถตอบสนองความต้องการของระบบภาพและเสียงไปพร้อมๆ กัน ซีดีที่ไวต่อทิศทางเป็นวงจรที่ไวต่อลำดับเชิงพื้นที่ของการมาถึงของพัลส์: จากขวาไปซ้ายและในทางกลับกัน มันเป็นองค์ประกอบพื้นฐานในเครือข่ายการตรวจจับการเคลื่อนไหวพื้นฐานของระบบการมองเห็นดรอสโซฟิล่า ซึ่งใช้ในการคำนวณทิศทางการเคลื่อนไหวและตรวจจับการชน62 เพื่อให้ได้ซีดีที่ไวต่อทิศทาง อินพุตสองตัวจะต้องถูกส่งไปยังเซลล์ประสาทที่แตกต่างกันสองตัว (N0, N1) และต้องมีการสร้างการเชื่อมต่อทิศทางระหว่างพวกมัน (รูปที่ 4e) เมื่อได้รับอินพุตแรก NO จะทำปฏิกิริยาโดยการเพิ่มแรงดันไฟฟ้าทั่วเมมเบรนให้สูงกว่าค่าเกณฑ์และส่งกระแสไฟกระชากออกไป ในทางกลับกัน เหตุการณ์เอาต์พุตนี้จะเริ่มทำงาน N1 ด้วยการเชื่อมต่อทิศทางที่ไฮไลต์ด้วยสีเขียว หากเหตุการณ์อินพุต Vin1 มาถึงและให้พลังงาน N1 ในขณะที่แรงดันไฟฟ้าเมมเบรนยังคงสูงอยู่ N1 จะสร้างเหตุการณ์เอาต์พุตที่ระบุว่าพบการจับคู่ระหว่างอินพุตทั้งสอง การเชื่อมต่อทิศทางอนุญาตให้ N1 ปล่อยเอาต์พุตเฉพาะในกรณีที่อินพุต 1 มาหลังจากอินพุต 0 G0, G3 และ G7 ได้รับการตั้งโปรแกรมไว้ที่ 73.5 µS, 67.3 µS และ 40.2 µS ตามลำดับ เพื่อให้แน่ใจว่าการขัดขวางเพียงครั้งเดียวบนอินพุต Vin0 ทำให้เกิดการหน่วงเวลา ขัดขวางการส่งออกในขณะที่ศักยภาพของเมมเบรนของ N1 ถึงขีด จำกัด เมื่ออินพุตทั้งสองระเบิดมาถึงในการซิงค์ -
ความแปรปรวนเป็นที่มาของความไม่สมบูรณ์ในระบบประสาทแบบจำลอง 63,64,65 สิ่งนี้นำไปสู่พฤติกรรมที่แตกต่างกันของเซลล์ประสาทและไซแนปส์ ตัวอย่างของข้อเสียดังกล่าว ได้แก่ ความแปรปรวน 30% (ค่าเบี่ยงเบนมาตรฐานเฉลี่ย) ในอัตราขยายของอินพุต ค่าคงที่เวลา และระยะเวลาทนไฟ และอื่นๆ อีกมากมาย (ดูวิธีการ) ปัญหานี้ยิ่งเด่นชัดมากขึ้นเมื่อมีการเชื่อมต่อวงจรประสาทหลายวงจรเข้าด้วยกัน เช่น ซีดีที่ไวต่อการวางแนวที่ประกอบด้วยเซลล์ประสาทสองตัว เพื่อให้ทำงานได้อย่างถูกต้อง ค่าคงที่เวลาเกนและสลายของเซลล์ประสาททั้งสองควรจะใกล้เคียงกันที่สุดเท่าที่จะเป็นไปได้ ตัวอย่างเช่น ความแตกต่างอย่างมากในอัตราขยายของอินพุตอาจทำให้เซลล์ประสาทหนึ่งตอบสนองต่อพัลส์อินพุตมากเกินไป ในขณะที่อีกเซลล์ประสาทหนึ่งแทบไม่ตอบสนอง บนรูป รูปที่ 5a แสดงให้เห็นว่าเซลล์ประสาทที่เลือกแบบสุ่มตอบสนองต่อพัลส์อินพุตเดียวกันแตกต่างกัน ความแปรปรวนของระบบประสาทนี้มีความเกี่ยวข้อง เช่น กับการทำงานของซีดีที่ไวต่อทิศทาง ในรูปแบบที่แสดงในรูปที่ 5b, c อัตราขยายอินพุตของเซลล์ประสาท 1 นั้นสูงกว่าเซลล์ประสาท 0 มาก ดังนั้นเซลล์ประสาท 0 จึงต้องอาศัยพัลส์อินพุตสามอัน (แทนที่จะเป็น 1) เพื่อให้ถึงเกณฑ์ และเซลล์ประสาท 1 ตามที่คาดไว้ ต้องการเหตุการณ์อินพุตสองเหตุการณ์ การใช้พลาสติกชีวภาพที่ขึ้นอยู่กับเวลาขัดขวาง (STDP) เป็นวิธีที่เป็นไปได้ในการลดผลกระทบของวงจรประสาทและซินแนปติกที่ไม่แม่นยำและซบเซาต่อประสิทธิภาพของระบบ ที่นี่เราเสนอให้ใช้พฤติกรรมพลาสติกของหน่วยความจำแบบต้านทานเพื่อมีอิทธิพลต่อการเพิ่มประสิทธิภาพของอินพุตประสาทและลดผลกระทบของความแปรปรวนในวงจรนิวโรมอร์ฟิก ดังแสดงในรูป ในรูปที่ 4e ระดับสื่อกระแสไฟฟ้าที่เกี่ยวข้องกับมวลซินแนปติก RRAM จะปรับการตอบสนองแรงดันไฟฟ้าของเยื่อหุ้มประสาทที่สอดคล้องกันได้อย่างมีประสิทธิภาพ เราใช้กลยุทธ์การเขียนโปรแกรม RRAM แบบวนซ้ำ สำหรับอินพุตที่กำหนด ค่าสื่อกระแสไฟฟ้าของน้ำหนักซินแนปติกจะถูกตั้งโปรแกรมใหม่จนกว่าจะได้พฤติกรรมเป้าหมายของวงจร (ดูวิธีการ)
การวัดเชิงทดลองของการตอบสนองของเซลล์ประสาทแต่ละตัวที่ได้รับการสุ่มเลือกเก้าเซลล์ต่อพัลส์อินพุตเดียวกัน การตอบสนองจะแตกต่างกันไปในแต่ละประชากร ซึ่งส่งผลต่อการรับอินพุตและค่าคงที่ของเวลา b การวัดการทดลองเกี่ยวกับอิทธิพลของเซลล์ประสาทต่อความแปรปรวนของเซลล์ประสาทที่ส่งผลต่อซีดีที่ไวต่อทิศทาง เซลล์ประสาทเอาต์พุตซีดีที่ไวต่อทิศทางทั้งสองตอบสนองต่อสิ่งเร้าอินพุตต่างกันเนื่องจากความแปรปรวนของเซลล์ประสาทต่อเซลล์ประสาท Neuron 0 มีอัตราขยายอินพุตต่ำกว่าเซลล์ประสาท 1 ดังนั้นจึงต้องใช้พัลส์อินพุตสามจังหวะ (แทนที่จะเป็น 1) เพื่อสร้างเอาท์พุตขัดขวาง ตามที่คาดไว้ เซลล์ประสาท 1 ถึงขีดจำกัดโดยมีเหตุการณ์อินพุตสองเหตุการณ์ หากอินพุต 1 มาถึง Δt = 50 µs หลังจากที่เซลล์ประสาท 0 เริ่มทำงาน CD จะยังคงเงียบอยู่ เนื่องจาก Δt มากกว่าค่าคงที่เวลาของเซลล์ประสาท 1 (ประมาณ 22 µs) c ลดลง Δt = 20 µs ดังนั้นอินพุต 1 พีคเมื่อการยิงของเซลล์ประสาท 1 ยังคงสูง ส่งผลให้เกิดการตรวจจับเหตุการณ์อินพุตสองรายการพร้อมกัน
สององค์ประกอบที่ใช้ในคอลัมน์การคำนวณ ITD คือเส้นหน่วงเวลาและซีดีที่ไม่คำนึงถึงทิศทาง วงจรทั้งสองต้องการการสอบเทียบที่แม่นยำเพื่อให้มั่นใจถึงประสิทธิภาพการวางตำแหน่งวัตถุที่ดี เส้นหน่วงเวลาจะต้องส่งค่าพีคอินพุตที่มีการหน่วงเวลาอย่างแม่นยำ (รูปที่ 6a) และจะต้องเปิดใช้งานซีดีเฉพาะเมื่ออินพุตอยู่ภายในช่วงการตรวจจับเป้าหมายเท่านั้น สำหรับเส้นหน่วงเวลา น้ำหนักซินแนปติกของการเชื่อมต่ออินพุต (G3 ในรูปที่ 4a) จะถูกตั้งโปรแกรมใหม่จนกว่าจะได้รับความล่าช้าเป้าหมาย ตั้งค่าพิกัดความเผื่อรอบการหน่วงเวลาเป้าหมายเพื่อหยุดโปรแกรม: ยิ่งค่าพิกัดความเผื่อน้อยเท่าใด การตั้งค่าเส้นหน่วงเวลาก็จะยิ่งยากขึ้นเท่านั้น บนรูป รูปที่ 6b แสดงผลลัพธ์ของกระบวนการสอบเทียบเส้นดีเลย์: จะเห็นได้ว่ารูปแบบที่เสนอสามารถให้ความล่าช้าทั้งหมดที่จำเป็นในโครงการออกแบบ (ตั้งแต่ 10 ถึง 300 μs) จำนวนวนซ้ำการสอบเทียบสูงสุดส่งผลต่อคุณภาพของกระบวนการสอบเทียบ: การหมุนซ้ำ 200 ครั้งสามารถลดข้อผิดพลาดให้เหลือน้อยกว่า 5% การสอบเทียบซ้ำหนึ่งครั้งสอดคล้องกับการดำเนินการตั้งค่า/รีเซ็ตของเซลล์ RRAM กระบวนการปรับแต่งยังมีความสำคัญอย่างยิ่งต่อการปรับปรุงความแม่นยำของการตรวจจับเหตุการณ์การปิดทันทีของโมดูลซีดี ต้องใช้การสอบเทียบซ้ำสิบครั้งเพื่อให้ได้อัตราบวกที่แท้จริง (กล่าวคือ อัตราของเหตุการณ์ที่ระบุอย่างถูกต้องว่าเกี่ยวข้อง) สูงกว่า 95% (เส้นสีน้ำเงินในรูปที่ 6c) อย่างไรก็ตาม กระบวนการปรับแต่งไม่ส่งผลกระทบต่อเหตุการณ์ผลบวกลวง (นั่นคือ ความถี่ของเหตุการณ์ที่ถูกระบุอย่างผิดพลาดว่าเกี่ยวข้องกัน) อีกวิธีหนึ่งที่พบในระบบทางชีววิทยาเพื่อเอาชนะข้อจำกัดด้านเวลาของวิถีที่กระตุ้นอย่างรวดเร็วคือความซ้ำซ้อน (นั่นคือ มีการใช้สำเนาหลายสำเนาของวัตถุเดียวกันเพื่อทำหน้าที่ที่กำหนด) ด้วยแรงบันดาลใจจากชีววิทยา66 เราได้วางวงจรซีดีหลายวงจรไว้ในโมดูลซีดีแต่ละโมดูลระหว่างเส้นหน่วงเวลาสองเส้นเพื่อลดผลกระทบของผลบวกลวง ดังแสดงในรูป 6c (เส้นสีเขียว) การวางองค์ประกอบซีดีสามรายการในแต่ละโมดูลซีดีสามารถลดอัตราการเตือนที่ผิดพลาดให้น้อยกว่า 10–2
ผลของความแปรปรวนของเส้นประสาทต่อวงจรเส้นหน่วงเวลา b วงจรเส้นหน่วงเวลาสามารถปรับขนาดให้มีความล่าช้ามากได้โดยการตั้งค่าคงที่เวลาของเซลล์ประสาท LIF และไซแนปส์ DPI ที่สอดคล้องกันให้เป็นค่าขนาดใหญ่ การเพิ่มจำนวนครั้งของขั้นตอนการสอบเทียบ RRAM ทำให้สามารถปรับปรุงความแม่นยำของความล่าช้าของเป้าหมายได้อย่างมาก: การวนซ้ำ 200 ครั้งช่วยลดข้อผิดพลาดเหลือน้อยกว่า 5% การวนซ้ำหนึ่งครั้งสอดคล้องกับการดำเนินการ SET/RESET บนเซลล์ RRAM โมดูลซีดีแต่ละโมดูลในโมเดล c Jeffres สามารถนำไปใช้ได้โดยใช้องค์ประกอบซีดีแบบขนาน N เพื่อความยืดหยุ่นที่มากขึ้นเกี่ยวกับความล้มเหลวของระบบ d การวนซ้ำของการปรับเทียบ RRAM มากขึ้นจะเพิ่มอัตราบวกที่แท้จริง (เส้นสีน้ำเงิน) ในขณะที่อัตราบวกลวงจะไม่ขึ้นอยู่กับจำนวนการวนซ้ำ (เส้นสีเขียว) การวางองค์ประกอบซีดีเพิ่มเติมแบบขนานจะช่วยหลีกเลี่ยงการตรวจพบการจับคู่โมดูลซีดีที่ผิดพลาด
ตอนนี้เราประเมินประสิทธิภาพและการใช้พลังงานของระบบระบุตำแหน่งวัตถุแบบรวมตั้งแต่ต้นทางถึงปลายทางที่แสดงในรูปที่ 2 โดยใช้การวัดคุณสมบัติทางเสียงของเซ็นเซอร์ pMUT, CD และวงจรเส้นดีเลย์ที่ประกอบกันเป็นกราฟการคำนวณของนิวโรมอร์ฟิก โมเดลเจฟเฟรส (รูปที่ 1a) สำหรับกราฟการคำนวณแบบนิวโรมอร์ฟิก ยิ่งจำนวนโมดูลซีดีมากเท่าใด ความละเอียดเชิงมุมก็จะยิ่งดีขึ้นเท่านั้น แต่พลังงานของระบบก็จะยิ่งสูงขึ้นด้วย (รูปที่ 7a) การประนีประนอมสามารถทำได้โดยการเปรียบเทียบความแม่นยำของแต่ละส่วนประกอบ (เซ็นเซอร์ pMUT เซลล์ประสาท และวงจรซินแนปติก) กับความแม่นยำของทั้งระบบ ความละเอียดของเส้นหน่วงเวลาถูกจำกัดด้วยค่าคงที่เวลาของไซแนปส์และเซลล์ประสาทจำลอง ซึ่งในโครงการของเราเกิน 10 µs ซึ่งสอดคล้องกับความละเอียดเชิงมุมที่ 4° (ดูวิธีการ) โหนดขั้นสูงที่มีเทคโนโลยี CMOS จะช่วยให้สามารถออกแบบวงจรประสาทและซินแนปติกที่มีค่าคงที่เวลาที่ต่ำกว่า ส่งผลให้องค์ประกอบเส้นล่าช้ามีความแม่นยำมากขึ้น อย่างไรก็ตาม ในระบบของเรา ความถูกต้องถูกจำกัดโดยข้อผิดพลาด pMUT ในการประมาณตำแหน่งเชิงมุม เช่น 10° (เส้นแนวนอนสีน้ำเงินในรูปที่ 7a) เรากำหนดจำนวนโมดูลซีดีไว้ที่ 40 ซึ่งสอดคล้องกับความละเอียดเชิงมุมประมาณ 4° กล่าวคือ ความแม่นยำเชิงมุมของกราฟการคำนวณ (เส้นแนวนอนสีฟ้าอ่อนในรูปที่ 7a) ที่ระดับระบบ ค่านี้จะให้ความละเอียด 4° และความแม่นยำ 10° สำหรับวัตถุที่อยู่ในระยะ 50 ซม. ด้านหน้าระบบเซ็นเซอร์ ค่านี้เทียบเคียงได้กับระบบการแปลเสียงแบบ neuromorphic ที่รายงานในการอ้างอิง 67. การเปรียบเทียบระบบที่เสนอกับความทันสมัยสามารถพบได้ในตารางเสริม 1 การเพิ่ม pMUT เพิ่มเติม การเพิ่มระดับสัญญาณเสียง และการลดเสียงรบกวนทางอิเล็กทรอนิกส์เป็นวิธีที่เป็นไปได้ในการปรับปรุงความแม่นยำของการแปลเป็นภาษาท้องถิ่นต่อไป ) อยู่ที่ประมาณ 9.7 นิวซีแลนด์ 55. เมื่อพิจารณาจากหน่วยซีดี 40 หน่วยบนกราฟการคำนวณ การจำลอง SPICE จะประมาณพลังงานต่อการทำงาน (เช่น พลังงานในการกำหนดตำแหน่งของวัตถุ) อยู่ที่ 21.6 nJ ระบบนิวโรมอร์ฟิกจะถูกเปิดใช้งานเมื่อมีเหตุการณ์อินพุตมาถึงเท่านั้น กล่าวคือ เมื่อคลื่นเสียงไปถึงตัวรับ pMUT และเกินเกณฑ์การตรวจจับ ไม่เช่นนั้นจะยังคงไม่ทำงาน เพื่อหลีกเลี่ยงการใช้พลังงานโดยไม่จำเป็นเมื่อไม่มีสัญญาณอินพุต เมื่อพิจารณาความถี่ของการดำเนินการระบุตำแหน่งที่ 100 Hz และระยะเวลาการเปิดใช้งาน 300 µs ต่อการดำเนินการ (ITD สูงสุดที่เป็นไปได้) การใช้พลังงานของกราฟการคำนวณ neuromorphic คือ 61.7 nW ด้วยการประมวลผลล่วงหน้าของนิวโรมอร์ฟิกที่ใช้กับตัวรับ pMUT แต่ละตัว การใช้พลังงานของทั้งระบบจึงสูงถึง 81.6 nW เพื่อให้เข้าใจถึงประสิทธิภาพการใช้พลังงานของแนวทางนิวโรมอร์ฟิกที่นำเสนอเมื่อเปรียบเทียบกับฮาร์ดแวร์ทั่วไป เราจึงเปรียบเทียบตัวเลขนี้กับพลังงานที่จำเป็นในการทำงานเดียวกันบนไมโครคอนโทรลเลอร์พลังงานต่ำสมัยใหม่ โดยใช้ทักษะนิวโรมอร์ฟิกหรือบีมฟอร์มมิ่งแบบธรรมดา68 วิธีนิวโรมอร์ฟิกพิจารณาขั้นตอนตัวแปลงแอนะล็อกเป็นดิจิทัล (ADC) ตามด้วยตัวกรองแบนด์พาสและขั้นตอนการแยกเอนเวโลป (วิธีทีเกอร์-ไคเซอร์) ในที่สุด จะดำเนินการตามขีดจำกัดเพื่อแยก ToF เราได้ละเว้นการคำนวณ ITD ตาม ToF และการแปลงเป็นตำแหน่งเชิงมุมโดยประมาณ เนื่องจากสิ่งนี้เกิดขึ้นหนึ่งครั้งสำหรับการวัดแต่ละครั้ง (ดูวิธีการ) สมมติว่าอัตราการสุ่มตัวอย่างอยู่ที่ 250 kHz บนทั้งสองช่องสัญญาณ (ตัวรับ pMUT), การทำงานของตัวกรองพาส 18 แบนด์, การดำเนินการแยกซองจดหมาย 3 ครั้ง และการดำเนินการตามขีดจำกัด 1 ครั้งต่อตัวอย่าง การใช้พลังงานทั้งหมดจะอยู่ที่ประมาณ 245 ไมโครวัตต์ ซึ่งใช้โหมดพลังงานต่ำ 69 ของไมโครคอนโทรลเลอร์ ซึ่งจะเปิดเมื่ออัลกอริทึมไม่ได้ทำงาน ซึ่งจะช่วยลดการใช้พลังงานลงเหลือ 10.8 µW การใช้พลังงานของโซลูชันการประมวลผลสัญญาณบีมฟอร์มมิ่งที่นำเสนอในข้อมูลอ้างอิง 31 โดยมีตัวรับ 5 pMUT และ 11 ลำแสงกระจายสม่ำเสมอในระนาบอะซิมัท [-50°, +50°] คือ 11.71 mW (ดูรายละเอียดในส่วนวิธีการ) นอกจากนี้ เรายังรายงานการใช้พลังงานของ Time Difference Encoder (TDE) ที่ใช้ FPGA47 ซึ่งประมาณไว้ที่ 1.5 mW เพื่อทดแทนโมเดล Jeffress สำหรับการแปลอ็อบเจ็กต์ จากการประมาณการเหล่านี้ วิธีนิวโรมอร์ฟิกที่เสนอจะช่วยลดการใช้พลังงานลงได้ 5 ลำดับความสำคัญเมื่อเปรียบเทียบกับไมโครคอนโทรลเลอร์โดยใช้เทคนิคบีมฟอร์มมิ่งแบบคลาสสิกสำหรับการดำเนินการโลคัลไลเซชันวัตถุ การนำแนวทางนิวโรมอร์ฟิคมาใช้ในการประมวลผลสัญญาณบนไมโครคอนโทรลเลอร์แบบคลาสสิกจะช่วยลดการใช้พลังงานลงได้ประมาณสองลำดับความสำคัญ ประสิทธิภาพของระบบที่นำเสนอสามารถอธิบายได้โดยการรวมกันของวงจรแอนะล็อกตัวต้านทานและหน่วยความจำแบบอะซิงโครนัสที่มีความสามารถในการคำนวณในหน่วยความจำ และการขาดการแปลงแอนะล็อกเป็นดิจิทัลที่จำเป็นในการรับรู้สัญญาณ
ความละเอียดเชิงมุม (สีน้ำเงิน) และการใช้พลังงาน (สีเขียว) ของการดำเนินการโลคัลไลเซชัน ขึ้นอยู่กับจำนวนโมดูลซีดี แถบแนวนอนสีน้ำเงินเข้มแสดงถึงความแม่นยำเชิงมุมของ PMUT และแถบแนวนอนสีฟ้าอ่อนแสดงถึงความแม่นยำเชิงมุมของกราฟการคำนวณของนิวโรมอร์ฟิก b การใช้พลังงานของระบบที่นำเสนอและการเปรียบเทียบกับการใช้งานไมโครคอนโทรลเลอร์ทั้งสองที่กล่าวถึงและการใช้งานดิจิทัลของ Time Difference Encoder (TDE)47 FPGA
เพื่อลดการใช้พลังงานของระบบการแปลเป้าหมายให้เหลือน้อยที่สุด เราได้คิด ออกแบบ และใช้งานวงจรนิวโรมอร์ฟิกที่ใช้ RRAM ตามเหตุการณ์ที่มีประสิทธิภาพ ซึ่งประมวลผลข้อมูลสัญญาณที่สร้างโดยเซ็นเซอร์ในตัวเพื่อคำนวณตำแหน่งของวัตถุเป้าหมายในความเป็นจริง เวลา. - ในขณะที่วิธีการประมวลผลแบบดั้งเดิมสุ่มตัวอย่างสัญญาณที่ตรวจพบอย่างต่อเนื่องและทำการคำนวณเพื่อดึงข้อมูลที่เป็นประโยชน์ โซลูชันนิวโรมอร์ฟิกที่นำเสนอจะทำการคำนวณแบบอะซิงโครนัสเมื่อมีข้อมูลที่เป็นประโยชน์มาถึง ช่วยเพิ่มประสิทธิภาพการใช้พลังงานของระบบให้สูงสุดตามลำดับความสำคัญห้าลำดับ นอกจากนี้เรายังเน้นถึงความยืดหยุ่นของวงจรนิวโรมอร์ฟิกที่ใช้ RRAM ความสามารถของ RRAM ในการเปลี่ยนแปลงสื่อกระแสไฟฟ้าในลักษณะที่ไม่ลบเลือน (ความเป็นพลาสติก) จะชดเชยความแปรปรวนโดยธรรมชาติของวงจรไซแนปติกและประสาทของ DPI อะนาล็อกพลังงานต่ำพิเศษ ทำให้วงจรที่ใช้ RRAM นี้มีความหลากหลายและทรงพลัง เป้าหมายของเราไม่ใช่การแยกฟังก์ชันหรือรูปแบบที่ซับซ้อนออกจากสัญญาณ แต่เป็นการแปลวัตถุแบบเรียลไทม์ ระบบของเรายังสามารถบีบอัดสัญญาณได้อย่างมีประสิทธิภาพและส่งไปยังขั้นตอนการประมวลผลเพิ่มเติมในที่สุดเพื่อทำการตัดสินใจที่ซับซ้อนมากขึ้นเมื่อจำเป็น ในบริบทของแอปพลิเคชันการแปล ขั้นตอนการประมวลผลล่วงหน้าของนิวโรมอร์ฟิกสามารถให้ข้อมูลเกี่ยวกับตำแหน่งของวัตถุได้ ข้อมูลนี้สามารถนำมาใช้ได้ เช่น สำหรับการตรวจจับการเคลื่อนไหวหรือการจดจำท่าทาง เราเน้นย้ำถึงความสำคัญของการรวมเซ็นเซอร์พลังงานต่ำพิเศษ เช่น pMUT เข้ากับอุปกรณ์อิเล็กทรอนิกส์พลังงานต่ำพิเศษ สำหรับสิ่งนี้ วิธีทางนิวโรมอร์ฟิกเป็นกุญแจสำคัญเนื่องจากได้นำเราไปสู่การพัฒนาการใช้งานวงจรใหม่ของวิธีการคำนวณที่ได้รับแรงบันดาลใจทางชีวภาพ เช่น โมเดลเจฟเฟรส ในบริบทของการใช้งานเซ็นเซอร์ฟิวชั่น ระบบของเราสามารถใช้ร่วมกับเซ็นเซอร์ตามเหตุการณ์ที่แตกต่างกันหลายตัวเพื่อให้ได้ข้อมูลที่แม่นยำยิ่งขึ้น แม้ว่านกฮูกจะเชี่ยวชาญในการค้นหาเหยื่อในความมืด แต่พวกมันก็มีสายตาที่ยอดเยี่ยม และทำการค้นหาทั้งทางหูและภาพก่อนที่จะจับเหยื่อ70 เมื่อเซลล์ประสาทการได้ยินส่งเสียงดัง นกฮูกจะได้รับข้อมูลที่จำเป็นเพื่อกำหนดทิศทางที่จะเริ่มการค้นหาด้วยภาพ โดยมุ่งความสนใจไปที่ส่วนเล็กๆ ของภาพที่มองเห็น ควรมีการสำรวจการผสมผสานระหว่างเซ็นเซอร์ภาพ (กล้อง DVS) และเซ็นเซอร์การฟังที่เสนอ (อิงจาก pMUT) เพื่อการพัฒนาระบบอัตโนมัติในอนาคต
เซ็นเซอร์ pMUT ตั้งอยู่บน PCB โดยมีตัวรับสัญญาณสองตัวห่างกันประมาณ 10 ซม. และเครื่องส่งจะอยู่ระหว่างตัวรับสัญญาณ ในงานนี้ เมมเบรนแต่ละตัวเป็นโครงสร้างแขวนลอยไบมอร์ฟที่ประกอบด้วยเพียโซอิเล็กทริกอะลูมิเนียมไนไตรด์ (AlN) หนา 800 นาโนเมตร 2 ชั้น ประกบอยู่ระหว่างโมลิบดีนัม (Mo) สามชั้น หนา 200 นาโนเมตร และเคลือบด้วยชั้นหนา 200 นาโนเมตร ชั้น SiN ที่ทะลุผ่านด้านบนตามที่อธิบายไว้ในข้อมูลอ้างอิง 71. อิเล็กโทรดด้านในและด้านนอกถูกนำไปใช้กับชั้นล่างและชั้นบนสุดของโมลิบดีนัม ในขณะที่อิเล็กโทรดโมลิบดีนัมตรงกลางไม่มีลวดลายและใช้เป็นกราวด์ ส่งผลให้เมมเบรนมีอิเล็กโทรดสี่คู่
สถาปัตยกรรมนี้ช่วยให้สามารถใช้การเปลี่ยนรูปเมมเบรนทั่วไป ส่งผลให้ความไวในการส่งและรับดีขึ้น โดยทั่วไป pMUT ดังกล่าวจะแสดงความไวในการกระตุ้นที่ 700 นาโนเมตร/V เป็นตัวปล่อย โดยให้แรงดันพื้นผิวที่ 270 Pa/V ในฐานะเครื่องรับ ฟิล์ม pMUT หนึ่งแผ่นมีความไวในการลัดวงจรที่ 15 nA/Pa ซึ่งเกี่ยวข้องโดยตรงกับสัมประสิทธิ์เพียโซอิเล็กทริกของ AlN ความแปรปรวนทางเทคนิคของแรงดันไฟฟ้าในชั้น AlN ทำให้เกิดการเปลี่ยนแปลงความถี่เรโซแนนซ์ ซึ่งสามารถชดเชยได้โดยการใช้ DC Bias กับ pMUT วัดความไว DC ที่ 0.5 kHz/V สำหรับการระบุคุณลักษณะทางเสียง จะใช้ไมโครโฟนที่ด้านหน้า pMUT
ในการวัดพัลส์เสียงสะท้อน เราวางแผ่นสี่เหลี่ยมที่มีพื้นที่ประมาณ 50 ซม. 2 ไว้ด้านหน้า pMUT เพื่อสะท้อนคลื่นเสียงที่ปล่อยออกมา ทั้งระยะห่างระหว่างเพลตและมุมที่สัมพันธ์กับระนาบ pMUT จะถูกควบคุมโดยใช้ที่จับพิเศษ แหล่งกำเนิดแรงดันไฟฟ้าของ Tectronix CPX400DP จะไบแอสเมมเบรน pMUT สามตัว โดยปรับความถี่เรโซแนนซ์เป็น 111.9 kHz31 ในขณะที่ตัวส่งสัญญาณขับเคลื่อนโดยเครื่องกำเนิดพัลส์ Tectronix AFG 3102 ที่ปรับเป็นความถี่เรโซแนนซ์ (111.9 kHz) และรอบการทำงานที่ 0.01 กระแสที่อ่านจากพอร์ตเอาต์พุตทั้งสี่พอร์ตของตัวรับ pMUT แต่ละตัวจะถูกแปลงเป็นแรงดันไฟฟ้าโดยใช้สถาปัตยกรรมกระแสและแรงดันไฟฟ้าส่วนต่างพิเศษ และสัญญาณผลลัพธ์จะถูกแปลงเป็นดิจิทัลโดยระบบเก็บข้อมูล Spektrum ขีดจำกัดของการตรวจจับถูกกำหนดลักษณะโดยการรับสัญญาณ pMUT ภายใต้เงื่อนไขที่แตกต่างกัน: เราย้ายตัวสะท้อนแสงไปยังระยะที่แตกต่างกัน [30, 40, 50, 60, 80, 100] ซม. และเปลี่ยนมุมรองรับ pMUT ([0, 20, 40] o ) รูปที่ 2b แสดงความละเอียดการตรวจจับ ITD ชั่วคราว ขึ้นอยู่กับตำแหน่งเชิงมุมที่สอดคล้องกันในหน่วยองศา
บทความนี้ใช้วงจร RRAM ที่แตกต่างกันสองวงจร ตัวแรกคืออาร์เรย์ของอุปกรณ์ 16,384 (16,000) ตัว (อุปกรณ์ 128 × 128) ในการกำหนดค่า 1T1R พร้อมด้วยทรานซิสเตอร์หนึ่งตัวและตัวต้านทานหนึ่งตัว ชิปตัวที่สองคือแพลตฟอร์มนิวโรมอร์ฟิกที่แสดงในรูปที่ 4a เซลล์ RRAM ประกอบด้วยฟิล์ม HfO2 หนา 5 นาโนเมตรที่ฝังอยู่ในชั้น TiN/HfO2/Ti/TiN RRAM stack ถูกรวมเข้ากับ back-of-line (BEOL) ของกระบวนการ CMOS มาตรฐาน 130 นาโนเมตร วงจรนิวโรมอร์ฟิกที่ใช้ RRAM นำเสนอความท้าทายในการออกแบบสำหรับระบบอิเล็กทรอนิกส์แบบอะนาล็อกทั้งหมด ซึ่งอุปกรณ์ RRAM อยู่ร่วมกับเทคโนโลยี CMOS แบบดั้งเดิม โดยเฉพาะอย่างยิ่ง จะต้องอ่านสถานะการนำของอุปกรณ์ RRAM และใช้เป็นตัวแปรฟังก์ชันสำหรับระบบ ด้วยเหตุนี้ วงจรจึงได้รับการออกแบบ ประดิษฐ์ และทดสอบโดยจะอ่านกระแสจากอุปกรณ์เมื่อได้รับพัลส์อินพุต และใช้กระแสนี้เพื่อชั่งน้ำหนักการตอบสนองของไซแนปส์ตัวรวมส่วนต่าง (DPI) วงจรนี้แสดงในรูปที่ 3a ซึ่งแสดงถึงหน่วยการสร้างพื้นฐานของแพลตฟอร์ม neuromorphic ในรูปที่ 4a พัลส์อินพุตจะเปิดใช้งานเกตของอุปกรณ์ 1T1R โดยเหนี่ยวนำกระแสไฟฟ้าผ่าน RRAM ตามสัดส่วนของสื่อนำไฟฟ้าของอุปกรณ์ G (Iweight = G(Vtop – Vx)) อินพุตกลับด้านของวงจรขยายสัญญาณปฏิบัติการ (op-amp) มีแรงดันไบอัส DC คงที่ Vtop การตอบรับเชิงลบของ op-amp จะให้ Vx = Vtop โดยให้กระแสเท่ากันจาก M1 Iweight ปัจจุบันที่ดึงมาจากอุปกรณ์จะถูกฉีดเข้าไปในไซแนปส์ DPI กระแสไฟฟ้าที่แรงกว่าจะส่งผลให้เกิดดีโพลาไรซ์มากขึ้น ดังนั้นสื่อนำไฟฟ้า RRAM จึงใช้น้ำหนักซินแนปติกได้อย่างมีประสิทธิภาพ กระแสไซแนปติกเอ็กซ์โพเนนเชียลนี้ถูกฉีดผ่านตัวเก็บประจุเมมเบรนของเซลล์ประสาท Leaky Integration and Excitation (LIF) ซึ่งถูกรวมเป็นแรงดันไฟฟ้า หากแรงดันไฟฟ้าเกินขีดจำกัดของเมมเบรน (แรงดันไฟฟ้าสวิตชิ่งของอินเวอร์เตอร์) ส่วนเอาท์พุตของเซลล์ประสาทจะถูกกระตุ้น ทำให้เกิดเอาท์พุตขัดขวาง ชีพจรนี้จะส่งกลับและแยกตัวเก็บประจุเมมเบรนของเซลล์ประสาทไปที่กราวด์ ทำให้เกิดการคายประจุ จากนั้นวงจรนี้จะถูกเสริมด้วยเครื่องขยายพัลส์ (ไม่แสดงในรูปที่ 3a) ซึ่งกำหนดรูปร่างพัลส์เอาท์พุตของเซลล์ประสาท LIF ให้เป็นความกว้างพัลส์เป้าหมาย นอกจากนี้ มัลติเพล็กเซอร์ยังถูกสร้างไว้ในแต่ละบรรทัด ทำให้สามารถจ่ายแรงดันไฟฟ้าที่อิเล็กโทรดด้านบนและด้านล่างของอุปกรณ์ RRAM ได้
การทดสอบทางไฟฟ้าประกอบด้วยการวิเคราะห์และบันทึกพฤติกรรมไดนามิกของวงจรแอนะล็อก ตลอดจนการเขียนโปรแกรมและการอ่านอุปกรณ์ RRAM ทั้งสองขั้นตอนต้องใช้เครื่องมือพิเศษ ซึ่งทั้งหมดเชื่อมต่อกับบอร์ดเซ็นเซอร์พร้อมกัน การเข้าถึงอุปกรณ์ RRAM ในวงจรนิวโรมอร์ฟิกนั้นดำเนินการจากเครื่องมือภายนอกผ่านมัลติเพล็กเซอร์ (MUX) MUX จะแยกเซลล์ 1T1R ออกจากวงจรที่เหลือ เพื่อให้สามารถอ่านและ/หรือตั้งโปรแกรมอุปกรณ์ได้ ในการตั้งโปรแกรมและอ่านอุปกรณ์ RRAM นั้น เครื่อง Keithley 4200 SCS จะใช้ร่วมกับไมโครคอนโทรลเลอร์ Arduino เครื่องแรกสำหรับการสร้างพัลส์และการอ่านกระแสไฟฟ้าที่แม่นยำ และเครื่องที่สองสำหรับการเข้าถึงองค์ประกอบ 1T1R แต่ละรายการในอาร์เรย์หน่วยความจำอย่างรวดเร็ว การดำเนินการแรกคือการสร้างอุปกรณ์ RRAM เซลล์จะถูกเลือกทีละเซลล์ และมีการใช้แรงดันไฟฟ้าบวกระหว่างอิเล็กโทรดด้านบนและด้านล่าง ในกรณีนี้ กระแสไฟฟ้าจะถูกจำกัดไว้ที่ลำดับหลายสิบไมโครแอมแปร์ เนื่องจากการจ่ายแรงดันเกตที่สอดคล้องกันให้กับทรานซิสเตอร์ตัวเลือก จากนั้นเซลล์ RRAM จะสามารถหมุนเวียนระหว่างสถานะสื่อไฟฟ้าต่ำ (LCS) และสถานะสื่อไฟฟ้าสูง (HCS) โดยใช้การดำเนินการ RESET และ SET ตามลำดับ การทำงานของ SET ดำเนินการโดยการใช้พัลส์แรงดันไฟฟ้ารูปสี่เหลี่ยมผืนผ้าที่มีระยะเวลา 1 μs และแรงดันไฟฟ้าสูงสุด 2.0-2.5 V ไปที่อิเล็กโทรดด้านบนและซิงค์พัลส์ที่มีรูปร่างคล้ายกันที่มีแรงดันไฟฟ้าสูงสุด 0.9-1.3 V ถึง ประตูของทรานซิสเตอร์ตัวเลือก ค่าเหล่านี้ทำให้สามารถปรับสื่อกระแสไฟฟ้า RRAM ได้ที่ช่วง 20-150 µs สำหรับ RESET พัลส์สูงสุดที่กว้าง 1 µs และ 3 V จะถูกจ่ายไปที่อิเล็กโทรดด้านล่าง (เส้นบิต) ของเซลล์ เมื่อแรงดันเกตอยู่ในช่วง 2.5-3.0 V อินพุตและเอาต์พุตของวงจรแอนะล็อกเป็นสัญญาณไดนามิก . สำหรับการป้อนข้อมูล เราได้แทรกเครื่องกำเนิดพัลส์ HP 8110 สองตัวเข้ากับเครื่องกำเนิดสัญญาณ Tektronix AFG3011 พัลส์อินพุตมีความกว้าง 1 µs และขอบขึ้น/ลงที่ 50 ns พัลส์ประเภทนี้ถือว่าเป็นความผิดพลาดทั่วไปในวงจรที่ใช้ความผิดพลาดแบบอะนาล็อก สำหรับสัญญาณเอาท์พุต สัญญาณเอาท์พุตจะถูกบันทึกโดยใช้ออสซิลโลสโคป Teledyne LeCroy 1 GHz ความเร็วในการรับข้อมูลของออสซิลโลสโคปได้รับการพิสูจน์แล้วว่าไม่เป็นข้อจำกัดในการวิเคราะห์และการรับข้อมูลวงจร
การใช้ไดนามิกของอุปกรณ์อิเล็กทรอนิกส์แบบแอนะล็อกเพื่อจำลองพฤติกรรมของเซลล์ประสาทและไซแนปส์เป็นโซลูชันที่สวยงามและมีประสิทธิภาพในการปรับปรุงประสิทธิภาพการคำนวณ ข้อเสียของการคำนวณด้านล่างคือมันจะแตกต่างกันไปในแต่ละโครงการ เราวัดปริมาณความแปรปรวนของเซลล์ประสาทและวงจรซินแนปติก (รูปที่ 2a, b เพิ่มเติม) จากการแสดงความแปรปรวนทั้งหมด สิ่งที่เกี่ยวข้องกับค่าคงที่เวลาและอัตราขยายอินพุตมีผลกระทบมากที่สุดในระดับระบบ ค่าคงที่เวลาของเซลล์ประสาท LIF และไซแนปส์ DPI ถูกกำหนดโดยวงจร RC โดยที่ค่าของ R ถูกควบคุมโดยแรงดันไบแอสที่ใช้กับเกตของทรานซิสเตอร์ (Vlk สำหรับเซลล์ประสาทและ Vtau สำหรับไซแนปส์) เพื่อกำหนด อัตราการรั่วไหล อัตราขยายอินพุตถูกกำหนดให้เป็นแรงดันไฟฟ้าสูงสุดที่เข้าถึงโดยตัวเก็บประจุซินแนปติกและเยื่อหุ้มเซลล์ประสาทที่ถูกกระตุ้นโดยพัลส์อินพุต อัตราขยายอินพุตถูกควบคุมโดยทรานซิสเตอร์ไบแอสตัวอื่นซึ่งจะปรับกระแสอินพุต การจำลองแบบมอนติคาร์โลที่ปรับเทียบบนกระบวนการ 130 นาโนเมตรของ ST Microelectronics ได้ดำเนินการเพื่อรวบรวมสถิติอัตราขยายอินพุตและค่าคงที่เวลา ผลลัพธ์จะแสดงในรูปที่ 2 เพิ่มเติม โดยที่อัตราขยายอินพุตและค่าคงที่เวลาจะถูกวัดเป็นฟังก์ชันของแรงดันไบแอสที่ควบคุมอัตราการรั่วไหล เครื่องหมายสีเขียวแสดงปริมาณค่าเบี่ยงเบนมาตรฐานของค่าคงที่เวลาจากค่าเฉลี่ย ทั้งเซลล์ประสาทและวงจรซินแนปติกสามารถแสดงค่าคงที่เวลาที่หลากหลายในช่วง 10-5-10-2 วินาที ดังแสดงในรูปแบบรูปที่เสริม การขยายอินพุต (รูปที่ 2e, d เสริม) ของความแปรปรวนของเซลล์ประสาทและไซแนปส์อยู่ที่ประมาณ 8% และ 3% ตามลำดับ ข้อบกพร่องดังกล่าวได้รับการบันทึกไว้อย่างดีในวรรณคดี: มีการวัดต่างๆ บนอาร์เรย์ของชิป DYNAP เพื่อประเมินความไม่ตรงกันระหว่างประชากรของเซลล์ประสาท LIF63 มีการวัดไซแนปส์ในชิปสัญญาณผสม BrainScale และวิเคราะห์ความไม่สอดคล้องกันและเสนอขั้นตอนการสอบเทียบเพื่อลดผลกระทบของความแปรปรวนระดับระบบ
หน้าที่ของ RRAM ในวงจรนิวโรมอร์ฟิกเป็นสองเท่า: คำจำกัดความของสถาปัตยกรรม (การกำหนดเส้นทางอินพุตไปยังเอาต์พุต) และการนำน้ำหนักซินแนปติกไปใช้ คุณสมบัติหลังสามารถใช้เพื่อแก้ปัญหาความแปรปรวนของวงจรนิวโรมอร์ฟิกที่จำลองได้ เราได้พัฒนาขั้นตอนการสอบเทียบง่ายๆ ที่เกี่ยวข้องกับการตั้งโปรแกรมอุปกรณ์ RRAM ใหม่จนกว่าวงจรที่จะวิเคราะห์จะตรงตามข้อกำหนดบางประการ สำหรับอินพุตที่กำหนด เอาต์พุตจะถูกตรวจสอบและ RRAM จะถูกตั้งโปรแกรมใหม่จนกว่าจะบรรลุพฤติกรรมเป้าหมาย มีการแนะนำเวลารอ 5 วินาทีระหว่างการดำเนินการโปรแกรมเพื่อแก้ปัญหาการผ่อนคลาย RRAM ส่งผลให้เกิดความผันผวนของสื่อกระแสไฟฟ้าชั่วคราว (ข้อมูลเสริม) ตุ้มน้ำหนักซินแนปติกได้รับการปรับหรือสอบเทียบตามข้อกำหนดของวงจรนิวโรมอร์ฟิกที่กำลังสร้างแบบจำลอง ขั้นตอนการสอบเทียบสรุปไว้ในอัลกอริธึมเพิ่มเติม [1, 2] ซึ่งมุ่งเน้นไปที่คุณสมบัติพื้นฐานสองประการของแพลตฟอร์มนิวโรมอร์ฟิก เส้นหน่วงเวลา และซีดีที่ไม่คำนึงถึงทิศทาง สำหรับวงจรที่มีเส้นหน่วงเวลา พฤติกรรมเป้าหมายคือให้พัลส์เอาท์พุตมีการหน่วงเวลา Δt หากความล่าช้าของวงจรจริงน้อยกว่าค่าเป้าหมาย ควรลดน้ำหนักซินแนปติกของ G3 (ควรรีเซ็ต G3 แล้วตั้งค่าเป็น Icc ปัจจุบันที่ตรงกันที่ต่ำกว่า) ในทางกลับกัน หากการหน่วงเวลาจริงมากกว่าค่าเป้าหมาย จะต้องเพิ่มความนำไฟฟ้าของ G3 (ต้องรีเซ็ต G3 ก่อน จากนั้นจึงตั้งค่าเป็นค่า Icc ที่สูงขึ้น) กระบวนการนี้จะถูกทำซ้ำจนกว่าการหน่วงเวลาที่สร้างโดยวงจรจะตรงกับค่าเป้าหมาย และมีการตั้งค่าพิกัดความเผื่อเพื่อหยุดกระบวนการสอบเทียบ สำหรับซีดีที่ไม่คำนึงถึงการวางแนว อุปกรณ์ RRAM สองตัว ได้แก่ G1 และ G3 มีส่วนร่วมในกระบวนการสอบเทียบ วงจรนี้มีอินพุตสองตัวคือ Vin0 และ Vin1 ดีเลย์โดย dt วงจรควรตอบสนองต่อความล่าช้าที่ต่ำกว่าช่วงการจับคู่ [0,dtCD] เท่านั้น หากไม่มีจุดสูงสุดของเอาต์พุต แต่จุดสูงสุดของอินพุตอยู่ใกล้ อุปกรณ์ RRAM ทั้งสองควรได้รับการเสริมกำลังเพื่อช่วยให้เซลล์ประสาทถึงเกณฑ์ ในทางกลับกัน หากวงจรตอบสนองต่อการหน่วงเวลาซึ่งเกินช่วงเป้าหมายของ dtCD ความนำไฟฟ้าจะต้องลดลง ทำซ้ำขั้นตอนนี้จนกว่าจะได้พฤติกรรมที่ถูกต้อง กระแสไฟฟ้าที่เป็นไปตามข้อกำหนดสามารถปรับได้โดยวงจรอะนาล็อกในตัวในการอ้างอิง 72.73. ด้วยวงจรในตัวนี้ ขั้นตอนดังกล่าวสามารถดำเนินการได้เป็นระยะๆ เพื่อปรับเทียบระบบหรือนำระบบไปใช้ซ้ำสำหรับการใช้งานอื่น
เราประเมินการใช้พลังงานของวิธีการประมวลผลสัญญาณนิวโรมอร์ฟิกของเราบนไมโครคอนโทรลเลอร์ 32 บิตมาตรฐาน68 ในการประเมินนี้ เราถือว่าการทำงานมีการตั้งค่าเดียวกันกับในบทความนี้ โดยมีเครื่องส่ง pMUT หนึ่งเครื่องและเครื่องรับ pMUT สองเครื่อง วิธีการนี้ใช้ตัวกรอง bandpass ตามด้วยขั้นตอนการแยกซองจดหมาย (Teeger-Kaiser) และสุดท้ายการดำเนินการ Thresholding จะถูกนำไปใช้กับสัญญาณเพื่อแยกเวลาการบิน การคำนวณ ITD และการแปลงเป็นมุมการตรวจจับจะไม่รวมอยู่ในการประเมิน เราพิจารณาการใช้งานตัวกรองแบนด์พาสโดยใช้ตัวกรองการตอบสนองแรงกระตุ้นอนันต์ลำดับที่ 4 ซึ่งต้องการการดำเนินการจุดลอยตัว 18 จุด การแยกซองจดหมายใช้การดำเนินการจุดทศนิยมอีกสามจุด และการดำเนินการสุดท้ายใช้เพื่อกำหนดขีดจำกัด จำเป็นต้องมีการดำเนินการจุดลอยตัวทั้งหมด 22 จุดเพื่อประมวลผลสัญญาณล่วงหน้า สัญญาณที่ส่งจะเป็นคลื่นไซน์ 111.9 kHz ที่เกิดขึ้นทุกๆ 10 มิลลิวินาที ส่งผลให้มีความถี่ในการกำหนดตำแหน่งที่ 100 เฮิรตซ์ เราใช้อัตราการสุ่มตัวอย่าง 250 kHz เพื่อให้สอดคล้องกับ Nyquist และหน้าต่าง 6 ms สำหรับการวัดแต่ละครั้งเพื่อจับระยะ 1 เมตร โปรดทราบว่า 6 มิลลิวินาทีคือเวลาบินของวัตถุที่อยู่ห่างออกไป 1 เมตร ซึ่งให้การใช้พลังงาน 180 µW สำหรับการแปลง A/D ที่ 0.5 MSPS การประมวลผลสัญญาณล่วงหน้าคือ 6.60 MIPS (คำสั่งต่อวินาที) สร้าง 0.75 mW อย่างไรก็ตาม ไมโครคอนโทรลเลอร์อาจสลับไปที่โหมดพลังงานต่ำ 69 เมื่ออัลกอริทึมไม่ทำงาน โหมดนี้ให้การใช้พลังงานคงที่ 10.8 μW และเวลาปลุก 113 μs ด้วยความถี่สัญญาณนาฬิกา 84 MHz ไมโครคอนโทรลเลอร์จะดำเนินการทั้งหมดของอัลกอริธึมนิวโรมอร์ฟิกให้เสร็จภายใน 10 มิลลิวินาที และอัลกอริธึมจะคำนวณรอบการทำงานที่ 6.3% จึงใช้โหมดพลังงานต่ำ การกระจายพลังงานที่เกิดขึ้นคือ 244.7 μW โปรดทราบว่าเราละเว้นเอาต์พุต ITD จาก ToF และการแปลงเป็นมุมการตรวจจับ ดังนั้นจึงประเมินการใช้พลังงานของไมโครคอนโทรลเลอร์ต่ำเกินไป สิ่งนี้ให้มูลค่าเพิ่มเติมสำหรับประสิทธิภาพการใช้พลังงานของระบบที่นำเสนอ เพื่อเป็นเงื่อนไขการเปรียบเทียบเพิ่มเติม เราจะประเมินการใช้พลังงานของวิธีการบีมฟอร์มมิ่งแบบคลาสสิกที่เสนอในข้อมูลอ้างอิง 31.54 เมื่อฝังอยู่ในไมโครคอนโทรลเลอร์68 เดียวกันที่แรงดันไฟฟ้า 1.8V เมมเบรน pMUT ที่มีระยะห่างเท่ากันจำนวน 5 ชิ้นถูกนำมาใช้เพื่อรับข้อมูลสำหรับการสร้างบีมฟอร์มมิ่ง สำหรับการประมวลผลนั้น วิธีการบีมฟอร์มมิ่งที่ใช้คือการรวมการหน่วงเวลา เพียงแต่ประกอบด้วยการใช้การหน่วงเวลากับเลนที่สอดคล้องกับความแตกต่างที่คาดไว้ในเวลาที่มาถึงระหว่างเลนหนึ่งกับเลนอ้างอิง หากสัญญาณอยู่ในเฟส ผลรวมของสัญญาณเหล่านี้จะมีพลังงานสูงหลังจากการเปลี่ยนเวลา หากอยู่นอกเฟส การรบกวนแบบทำลายล้างจะจำกัดพลังงานของผลรวม ในความสัมพันธ์ บนรูป ในรูปที่ 31 อัตราการสุ่มตัวอย่าง 2 MHz จะถูกเลือกเพื่อเลื่อนเวลาข้อมูลตามจำนวนตัวอย่างจำนวนเต็ม แนวทางที่เรียบง่ายกว่าคือการรักษาอัตราตัวอย่างที่หยาบขึ้นที่ 250 kHz และใช้ตัวกรอง Finite Impulse Response (FIR) เพื่อสังเคราะห์ความล่าช้าแบบเศษส่วน เราจะสมมติว่าความซับซ้อนของอัลกอริธึมบีมฟอร์มมิ่งนั้นถูกกำหนดโดยการเปลี่ยนเวลาเป็นหลัก เนื่องจากแต่ละช่องสัญญาณจะพันกันด้วยตัวกรอง FIR โดยแตะ 16 ครั้งในแต่ละทิศทาง ในการคำนวณจำนวน MIPS ที่จำเป็นสำหรับการดำเนินการนี้ เราจะพิจารณาหน้าต่าง 6 มิลลิวินาทีต่อการวัดเพื่อจับภาพช่วง 1 เมตร 5 ช่องสัญญาณ 11 ทิศทางของลำแสง (ช่วง +/- 50° ใน 10° ขั้น) การวัด 75 ครั้งต่อวินาทีทำให้ไมโครคอนโทรลเลอร์มีความเร็วสูงสุดที่ 100 MIPS ลิงค์. 68 ส่งผลให้มีการกระจายพลังงาน 11.26 mW สำหรับการกระจายพลังงานทั้งหมด 11.71 mW หลังจากเพิ่มการสนับสนุน ADC ออนบอร์ด
ข้อมูลที่สนับสนุนผลการศึกษานี้มีให้จากผู้เขียนที่เกี่ยวข้อง FM ตามคำขอที่สมเหตุสมผล
Indiveri, G. & Sandamirskaya, Y. ความสำคัญของพื้นที่และเวลาสำหรับการประมวลผลสัญญาณในตัวแทน neuromorphic: ความท้าทายในการพัฒนาตัวแทนที่ใช้พลังงานต่ำและเป็นอิสระซึ่งมีปฏิสัมพันธ์กับสิ่งแวดล้อม Indiveri, G. & Sandamirskaya, Y. ความสำคัญของพื้นที่และเวลาสำหรับการประมวลผลสัญญาณในตัวแทน neuromorphic: ความท้าทายในการพัฒนาตัวแทนที่ใช้พลังงานต่ำและเป็นอิสระซึ่งมีปฏิสัมพันธ์กับสิ่งแวดล้อมIndiveri G. และ Sandamirskaya Y. ความสำคัญของพื้นที่และเวลาสำหรับการประมวลผลสัญญาณในตัวแทน neuromorphic: ความท้าทายในการพัฒนาตัวแทนอิสระที่ใช้พลังงานต่ำที่มีปฏิสัมพันธ์กับสิ่งแวดล้อม Indiveri, G. และ Sandamirskaya, Y.空间和时间对于神经形态代理中信号处理的重要性：发与环境交互的低功耗、自主代理的挑战。 Indiveri, G. และ Sandamirskaya, Y.Indiveri G. และ Sandamirskaya Y. ความสำคัญของพื้นที่และเวลาสำหรับการประมวลผลสัญญาณในตัวแทน neuromorphic: ความท้าทายในการพัฒนาตัวแทนอิสระที่ใช้พลังงานต่ำที่มีปฏิสัมพันธ์กับสิ่งแวดล้อมการประมวลผลสัญญาณ IEEE วารสาร 36, 16–28 (2019)
Thorpe, SJ Peak Arrival Time: โครงการเข้ารหัสโครงข่ายประสาทเทียมที่มีประสิทธิภาพ ใน Eckmiller, R., Hartmann, G. & Hauske, G. (สหพันธ์) ใน Eckmiller, R., Hartmann, G. & Hauske, G. (สหพันธ์)ใน Eckmiller, R., Hartmann, G. และ Hauske, G. (บรรณาธิการ)ใน Eckmiller, R., Hartmann, G. และ Hauske, G. (eds.) การประมวลผลแบบขนานในระบบประสาทและคอมพิวเตอร์ 91–94 (North-Holland Elsevier, 1990)
Levy, WB และ Calvert, VG Communication ใช้พลังงานมากกว่าการคำนวณในเปลือกสมองของมนุษย์ถึง 35 เท่า แต่ต้องใช้ต้นทุนทั้งสองเพื่อทำนายหมายเลขไซแนปส์ Levy, WB และ Calvert, VG Communication ใช้พลังงานมากกว่าการคำนวณในเปลือกสมองของมนุษย์ถึง 35 เท่า แต่ต้องใช้ต้นทุนทั้งสองเพื่อทำนายหมายเลขไซแนปส์Levy, WB และ Calvert, WG Communication ใช้พลังงานมากกว่าการคำนวณในคอร์เทกซ์มนุษย์ถึง 35 เท่า แต่ต้องใช้ต้นทุนทั้งสองเพื่อทำนายจำนวนไซแนปส์ Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35 倍，但这两种成本都需要预测突触数量。 เลวี, WB และคาลเวิร์ต, วีจี คอมมิวนิเคชั่นLevy, WB และ Calvert, WG Communication ใช้พลังงานมากกว่าการคำนวณในคอร์เทกซ์มนุษย์ถึง 35 เท่า แต่ค่าใช้จ่ายทั้งสองจำเป็นต้องคาดการณ์จำนวนไซแนปส์กระบวนการ. สถาบันวิทยาศาสตร์แห่งชาติ. วิทยาศาสตร์ 118 ดอลลาร์สหรัฐ, https://doi.org/10.1073/pnas.2008173118 (2021)
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. การคำนวณ neuromorphic ที่ได้รับแรงบันดาลใจจากแมลง Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. การคำนวณ neuromorphic ที่ได้รับแรงบันดาลใจจากแมลงDalgati, T. , Vianello, E. , DeSalvo, B. และ Casas, J. การคำนวณ neuromorphic ที่ได้รับแรงบันดาลใจจากแมลงDalgati T., Vianello E., DeSalvo B. และ Casas J. การคำนวณ neuromorphic ที่ได้รับแรงบันดาลใจจากแมลง ปัจจุบัน. ความคิดเห็น. วิทยาศาสตร์แมลง 30, 59–66 (2018)
Roy, K., Jaiswal, A. & Panda, P. สู่ความฉลาดของเครื่องจักรแบบ Spike-based ด้วยการคำนวณแบบ neuromorphic Roy, K., Jaiswal, A. & Panda, P. สู่ความฉลาดของเครื่องจักรแบบ Spike-based ด้วยการคำนวณแบบ neuromorphic Roy, K., Jaiswal, A. & Panda, P. สู่ความฉลาดของเครื่องจักรแบบ Spike-Based ด้วยคอมพิวเตอร์ NeuromorphicRoy K, Jaiswal A และ Panda P. ปัญญาประดิษฐ์ที่ใช้ Pulse โดยใช้การคำนวณแบบ neuromorphic ธรรมชาติ 575, 607–617 (2019)
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. และ Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. และ Liu, S.-K.การประมวลผลหน่วยความจำและข้อมูลในระบบนิวโรมอร์ฟิก กระบวนการ. IEEE 103, 1379–1397 (2015)
อโกเปียน เอฟ. และคณะ. Truenorth: การออกแบบและชุดเครื่องมือสำหรับชิปซินแนปติกแบบตั้งโปรแกรมได้ขนาด 65 mW 1 ล้านเซลล์ประสาท ธุรกรรม IEEE การออกแบบระบบวงจรรวมด้วยคอมพิวเตอร์ 34, 1537–1557 (2015)
Schemmel, J. และคณะ การสาธิตสด: ลดขนาดระบบประสาท BrainScaleS ในเวอร์ชันที่เล็กลงในระดับจาน 2012 IEEE International Symposium on Circuits and Systems (ISCAS), (IEEE ed.) 702–702 (2012)
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. สถาปัตยกรรมมัลติคอร์ที่ปรับขนาดได้พร้อมโครงสร้างหน่วยความจำที่ต่างกันสำหรับโปรเซสเซอร์อะซิงโครนัส neuromorphic แบบไดนามิก (DYNAP) Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. สถาปัตยกรรมมัลติคอร์ที่ปรับขนาดได้พร้อมโครงสร้างหน่วยความจำที่ต่างกันสำหรับโปรเซสเซอร์อะซิงโครนัส neuromorphic แบบไดนามิก (DYNAP)Moradi S. , Qiao N. , Stefanini F. และ Indiviri G. สถาปัตยกรรมมัลติคอร์ที่ปรับขนาดได้พร้อมโครงสร้างหน่วยความจำที่ต่างกันสำหรับโปรเซสเซอร์อะซิงโครนัส neuromorphic แบบไดนามิก (DYNAP) Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. 一种可扩ส่วนขยายของ多核架构，具有用于动态神经形态异步处理器(DYNAP)的异构内存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. สถาปัตยกรรมแบบมัลติคอร์ที่ขยายได้ พร้อมโครงสร้างหน่วยความจำเฉพาะสำหรับการประมวลผลประสาทแบบไดนามิก (DYNAP)Moradi S. , Qiao N. , Stefanini F. และ Indiviri G. สถาปัตยกรรมมัลติคอร์ที่ปรับขนาดได้พร้อมโครงสร้างหน่วยความจำที่ต่างกันสำหรับโปรเซสเซอร์อะซิงโครนัส neuromorphic แบบไดนามิก (DYNAP)ธุรกรรม IEEE เกี่ยวกับวิทยาศาสตร์ชีวการแพทย์ ระบบไฟฟ้า. 12, 106–122 (2018)
เดวิส เอ็ม และคณะ Loihi: โปรเซสเซอร์แบบมัลติคอร์ neuromorphic พร้อมการเรียนรู้แบบฝัง IEEE ไมโคร 38, 82–99 (2018)
Furber, SB, Galluppi, F., Temple, S. & Plana, LA โครงการ SpinNaker Furber, SB, Galluppi, F., Temple, S. & Plana, LA โครงการ SpinNakerโครงการ Ferber SB, Galluppi F., Temple S. และ Plana LA SpinNakerโครงการ Ferber SB, Galluppi F., Temple S. และ Plana LA SpinNaker กระบวนการ. IEEE 102, 652–665 (2014)
หลิว เอส.-เค. & Delbruck, T. ระบบประสาทสัมผัส Neuromorphic & Delbruck, T. ระบบประสาทสัมผัส NeuromorphicและระบบประสาทสัมผัสDelbrück T. Neuromorphic & Delbruck, T. 神经形态感觉系统。 & เดลบรุค, ที.และระบบประสาทสัมผัสDelbrück T. Neuromorphicปัจจุบัน. ความคิดเห็น. ชีววิทยาประสาท 20, 288–295 (2010)
Chope, T. และคณะ บูรณาการประสาทสัมผัส Neuromorphic สำหรับการแปลแหล่งกำเนิดเสียงรวมและการหลีกเลี่ยงการชนกัน ในปี 2019 ที่การประชุม IEEE เกี่ยวกับวงจรและระบบชีวการแพทย์ (BioCAS), (IEEE Ed.) 1–4 (2019)
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. สถาปัตยกรรม neuromorphic แบบขัดขวางของการมองเห็นแบบสเตอริโอ Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. สถาปัตยกรรม neuromorphic แบบขัดขวางของการมองเห็นแบบสเตอริโอRisi N, Aymar A, Donati E, Solinas S และ Indiveri G. สถาปัตยกรรมภาพสามมิติแบบ neuromorphic แบบขัดขวาง Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S และ Indiveri G. สถาปัตยกรรม neuromorphic ที่ใช้ Spike สำหรับการมองเห็นแบบสเตอริโอด้านหน้า. หุ่นยนต์ประสาท 14, 93 (2020)
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. โมเดลโครงข่ายประสาทเทียมที่แหลมคมของ 3Dperception สำหรับระบบการมองเห็นสเตอริโอ neuromorphic ตามเหตุการณ์ Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. โมเดลโครงข่ายประสาทเทียมที่แหลมคมของ 3Dperception สำหรับระบบการมองเห็นสเตอริโอ neuromorphic ตามเหตุการณ์Oswald, M. , Ieng, S.-H. , Benosman, R. , และ Indiveri, G. โมเดลการรับรู้เครือข่ายประสาทเทียมแบบพัลส์ 3 มิติสำหรับระบบการมองเห็นสเตอริโอ Neuromorphic ตามเหตุการณ์ Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 基于事件的神经形态立体视觉系统的3Dperception 脉冲神经网络模型。 Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M. , Ieng, S.-H. , Benosman, R. , และ Indiveri, G. Spiked 3Dperception Neural Network Model สำหรับระบบการมองเห็นสเตอริโอ Neuromorphic ตามเหตุการณ์วิทยาศาสตร์ รายงาน 7, 1–11 (2017)
ดัลกาตี, ที. และคณะ การตรวจจับการเคลื่อนไหวพื้นฐานที่ได้รับแรงบันดาลใจจากแมลงประกอบด้วยหน่วยความจำแบบต้านทานและโครงข่ายประสาทที่ระเบิด ระบบไบโอนิคไฮบริด 10928, 115–128 (2018)
ดีแองเจโล, จี. และคณะ การตรวจจับการเคลื่อนไหวเยื้องศูนย์ตามเหตุการณ์โดยใช้การเข้ารหัสส่วนต่างชั่วคราว ด้านหน้า. ประสาทวิทยา. 14, 451 (2020)