计算事件驱动的视觉传感器可将运动转换为尖峰信号

神经形态视觉传感器是独特的传感设备，可以自动响应环境变化，例如周围环境的不同亮度。这些传感器模仿人类神经系统的功能，人为地复制感觉神经元优先响应感知环境变化的能力。

通常，这些传感器仅捕获场景中的动态运动，然后将其馈送到计算单元，计算单元将分析它们并尝试识别它们是什么。在这些系统设计中，处理它们收集的数据的传感器和计算单元在物理上是分开的，可能会在处理传感器数据时产生时间延迟，同时也会消耗更多的电量。

香港理工大学、华中科技大学和香港科技大学的研究人员最近开发了新型事件驱动视觉传感器，可以捕获动态运动，并将其转换为可编程尖峰信号。这些传感器是在《自然电子》杂志上发表的一篇论文中介绍的，无需将数据从传感器传输到计算单元，从而在分析捕获的动态运动时实现更好的能源效率和更快的速度。

“近传感器和传感器内计算架构通过直接在传感终端附近或内部执行计算任务，有效降低数据传输延迟和功耗，”该论文的合著者YangChai告诉TechXplore。“我们的研究小组致力于研究用于近传感器和传感器内计算的新兴定制设备。然而，我们发现现有的工作集中在传统的基于框架的传感器上，这些传感器会生成大量冗余数据。”

人工神经网络(ANN)发展的最新进展为神经形态传感设备和图像识别系统的发展带来了新的机遇。作为最近研究的一部分，Chai和同事着手探索将基于事件的传感器与尖峰神经网络(SNN)(模仿神经元放电模式的ANN)相结合的潜力。

柴说：“基于事件的传感器和尖峰神经网络(SNN)相结合进行运动分析可以有效减少冗余数据并有效识别运动。”“因此，我们提出了具有两个光电二极管像素的硬件架构，具有基于事件的传感器和突触的功能，可以实现传感器内SNN。”

Chai和他的同事开发的新型计算事件驱动视觉传感器能够进行基于事件的传感和执行计算。这些传感器本质上是响应本地记录像素的亮度和光强度的变化而生成可编程尖峰。

Chai解释说：“事件驱动特性是通过使用具有相反光响应和不同光响应时间的两个分支来生成事件驱动尖峰信号来实现的。”“突触特性是通过具有不同光响应度的光电二极管实现的，可以精确调制尖峰信号的幅度，模拟SNN中的不同突触权重。”

研究人员在一系列初步测试中评估了他们的传感器，发现它们有效地模拟了大脑中的神经元适应视觉场景变化的过程。值得注意的是，这些传感器减少了传感器将收集的数据量，同时也消除了将该数据传输到外部计算单元的需要。

Chai说：“我们的工作提出了一种通过捕获局部像素级光强度变化来感知和处理场景的方法，从而实现传感器内SNN，而不是传统的ANN。”“这种设计结合了基于事件的传感器和传感器内计算的优点，适合实时动态信息处理，例如自动驾驶和智能机器人。”

未来，Chai和他的同事开发的计算事件驱动视觉传感器可以进一步开发并在额外的实验中进行测试，以进一步评估其在现实世界应用中的价值。此外，最近的这项工作可以为其他研究小组带来启发，从而有可能为结合基于事件的传感器和SNN的新传感技术铺平道路。

柴补充道：“未来，我们团队将专注于阵列级实现以及计算传感器阵列与CMOS电路的集成技术，以展示完整的传感器内计算系统。”“此外，我们将尝试开发基准来定义不同应用的设备指标要求，并以定量的方式评估传感器内计算系统的性能。”