- 基于事件的视觉传感器正在改变机器视觉的未来
- 来源：红外光学Infrared Optics 发表于 2026/8/18
导读
几十年来，机器视觉一直依赖于以固定间隔捕捉完整图像的相机。基于事件的视觉传感器遵循不同的规则。每个像素报告其位置亮度发生变化的时刻，产生一串带时间戳的信号，实时描述景中的运动。
这种设计借鉴了生物学原理，因为视网膜细胞是在光线变化时触发信号，而不是按照时钟节奏触发。工程师将这种行为构建到被称为#动态视觉传感器（Dynamic Vision Sensors, DVS）的硅基器件中。这种方法适用于检测流水线、无人机和车辆等场景，在这些场景中，快速运动和糟糕的光线条件会使传统帧相机失效。
基于事件的视觉传感器的工作原理
每个像素将进入的光子转换为电压，并将该电压与存储的参考值进行比较。一旦对数差值超过预设阈值，像素就会发出一个小记录，包含其坐标、变化发生的时间以及变化的方向。
这条记录就是一个“事件”（event），其极性标记了该点的光线是变强还是变弱。像素独立行动，无需等待共享的曝光窗口，因此输出是以连续异步流的形式到达，而不是有序的图片序列。
视图中静止的部分保持沉默。墙壁、传送带导轨或空旷背景不会产生任何数据，直到有物体穿过它们，这使得事件数据保持稀疏，并将输出量与镜头前的活动量联系起来。
自早期研究设备以来，传感器格式已经有了显著增长。第一阶段标志着该领域的是具有120dB动态范围和15μs延迟的128x128像素阵列，而当前的商用单元（如Prophesee EVK4-HD）为要求苛刻的应用提供1280x720像素。
重塑控制回路的时间特性
商用事件相机报告变化的典型延迟接近220μs，一些已发布的模型列出的数值低于100μs。某些设备的时间分辨率达到1μs，提供高于10,000fps的有效采样率。
更快的报告速度扩大了机器可以尝试的任务范围。配备事件相机的四旋翼无人机以3.5ms的反应速度躲避移动障碍物，而扑翼飞行器的响应时间低于1ms，远低于基于帧的无人机感知典型的几十毫秒水平。
精确的时间戳还能抑制运动模糊，因为当物体穿过画面时，没有像素会在长时间曝光下积分光线。振动测量、粒子追踪和零部件的高速计数都从这种清晰的时间记录中获益，提高了准确性。
在令帧相机失效的光线下工作
动态范围明显区分了这两类传感器家族。事件设备的动态范围超过120dB，据各种文献报道，某些型号甚至高达140dB。相比之下，高质量帧相机的动态范围通常上限约为95dB，而许多工业单位更接近60dB。
对数像素响应阐明了这一差距。每个像素根据其检测到的局部照明进行调整，使得明亮的窗户和阴影笼罩的通道可以在单次记录中被捕获，而不会出现饱和或细节丢失。公布的0.08lux低光截止值使其能够在近乎黑暗的环境中运行。
驾驶场景展示了这种行为的实际价值。车辆驶出隧道时，强光会淹没传统传感器并洗掉周围细节，而事件像素通过测量每个位置的相对变化来跟随这一过渡过程。
导航与跟踪方面的实测增益
量化结果支持向这种传感方法的转变。基于事件的视觉里程计产生了约0.8度的旋转误差和接近2%的平移误差，而一个事件驱动管道在高速场景中将位置误差降低了多达80%。
在困难照明条件下的跟踪也有类似改善。高速无人机试验记录显示，当事件数据支持估计器时，跟踪准确率提高了高达39.3%，并且一个脉冲检测模型在0.2秒内引导平台避开了以8米/秒速度逼近的障碍物。
专用硅芯片正在开发中以处理这些工作负载。一种混合信号神经形态映射加速器报告了每瓦7.25～8.79太次操作（tera-operations per watt）的效率，这一效率水平适合电池有限且散热硬件空间最小的机器。
稀疏输出与适度的功耗预算
带宽节省直接源于传感规则。未变化的像素不传输信息，消除了传统视频中的冗余。这种减少允许下游处理器在跟踪相同运动的同时接收更小的数据负载。
实地工作证明了其回报。一个围绕动态视觉传感器构建的昆虫监测陷阱以超过四十倍实时的速度检测存在，正确分类了73%的图像，通过针对场景调整参数达到76%，并与基于颜色的传感相比减少了存储、能源和人工劳动。
系统级功耗数据也很有利。一台完全神经形态化的无人机以200Hz的频率同时运行感知和控制，推理功耗约为0.94W，飞行期间板上学习的功耗在7~12mW之间。
数据流软件
成熟的视觉算法期望像素值的网格，因此事件数据通常首先经过表示步骤。研究人员将事件分组为短直方图，一项光流研究发现，9ms的时间窗口比4.5ms或18ms的替代方案更准确。
#脉冲神经网络（Spiking Neural Networks, SNNs）更自然地适应这些数据。它们的计算规模随脉冲活动而变化，而脉冲活动保持稀疏。在Intel Loihi硬件上，此类网络在现代加速器上的能效比传统网络高65至135倍，同时在缺陷分类得分上让步6～10%。
大规模验证也成为可能。昆虫研究注释了包含34,453次昆虫出现的81,104个立体帧，然后表明其事件驱动检测器在检测质量和计算速度方面均优于两种既定的深度学习算法。
自动视觉检测现在也利用了这一系列工作。弗劳恩霍夫协会（Fraunhofer）的研究人员评估了用于检测任务的当前处理算法，并提出了一种在部件分类之前识别事件流中最具信息量的时间窗口的方法。
局限性与未来展望
事件像素记录变化并省略绝对亮度，因此任何依赖纹理、颜色或确切灰度级的任务仍然需要帧传感器与之配合工作。大多数事件相机丢弃颜色信息，且其空间分辨率落后于标准成像器。
制造进步正在缩小这些差距。背照式像素结构、晶圆堆叠技术和工业接口降低了噪声，提高了分辨率和读出速率。这提高了与工厂中已安装的视觉系统以及边缘部署的兼容性。
高事件率本身也造成了压力，据报道瓶颈接近每秒0.97百万个事件，这需要优化的代码和专用处理器。将事件传感器与帧相机配对的混合设备或许是机器视觉在未来几年发展模式。
资料来源：https://www.azooptics.com
- 如果本文收录的图片文字侵犯了您的权益，请及时与我们联系，我们将在24内核实删除，谢谢！
