亚皮秒3D成像框架。（a）准直脉冲激光在单个点上照亮场景。使用2轴反射镜检流计对激光进行横向扫描。定时和控制电子设备为每个检测到的光子相对于上一个发射脉冲的时间戳记时间戳，并将这些事件累积在时空光子计数的直方图中（b）。处理该直方图以估计反射率和深度信息（c）。高亮显示了两个点，一个对应于高通量（d），另一个对应于低通量（e）测量。后者比较吵杂，而高通量测量则受到堆积失真的影响，这会给传统算法的深度估计带来很大的偏差。提出的估算方法可以对这两种情况进行准确建模，允许根据严重失真的测量结果以亚皮秒级的精度估算反射率信息和传播时间。

单光子雪崩二极管（SPAD）是有前途的探测器技术，可用于实现具有快速采集，高定时精度和高探测灵敏度的有源3D成像系统。这样的系统在生物成像，遥感和机器人技术领域具有广泛的应用。但是，检测器面临着称为堆积的技术缺陷，这些缺陷会导致测量失真，从而限制其精度。在斯坦福大学电气工程系进行的一项最新研究中，科学家费利克斯·海德（Felix Heide）及其同事开发了一种概率图像形成模型，该模型可以准确地对堆积进行建模。利用提出的模型，科学家们设计了逆方法来从记录的光子计数中有效，可靠地估计场景深度和反射率。有了算法，与现有技术相比，他们能够证明计时精度的提高。更重要的是，该模型在实际场景中首次允许在光子有效的3D成像中达到亚皮秒的精度，而以前只观察到变化很大的光子计数。结果现已发布在科学报告。

主动成像在从自动驾驶到生物样品的显微成像等各个学科的广泛应用。这些应用的关键要求包括高精度，定时，快速采集速率，动态工作范围以及对从摄像机视线隐藏的图像对象的高检测灵敏度。遥感和自动化应用的需求采集范围从<1米到千米。

非视距成像依赖于除了直接反射光之外，还通过多个散射的间接光返回的几个光子来获得编码信息。为了实现这些应用，开发了超灵敏检测器来记录从脉冲照明源返回的单个光子。单光子雪崩二极管（SPAD）是最灵敏的时间分辨检测器技术之一，可以使用互补金属氧化物半导体（CMOS）制造工艺来生产。SPADs已迅速建立为3D成像的核心检测器技术。

按照其功能原理，SPAD是反向偏置的光电二极管，工作在盖革模式，即高于其击穿电压。当光子入射到SPAD的有源表面上时，会触发带有时间戳的电子雪崩。从通常以MHz速率运行的同步脉冲照明源返回的光子的重复时间戳可累积光子计数的直方图。所得的直方图记录了返回光脉冲的大致强度，以恢复并表征隐藏在视野之外的物体的距离，反射率和3D几何形状。

实验重建。记录的光子计数的时空分布。对（a，e）进行处理以估计包含深度和反照率信息的3D点云（b，c，f，g），此处针对两个不同场景进行了显示（（d，h）中所示的照片）。用颜色编码的误差图（d，h）直接比较几种深度估计技术的结果，包括对数匹配滤波，Coates方法和高斯拟合（在高通量测量中），以及所提出的方法。图片来源：Scientific Reports，Doi：10.1038 / s41598-018-35212-x

根据预期的应用，SPAD可以在自由运行模式（允许在所有到达时间同时检测所有光子事件）或门控模式（仅在脉冲之间的特定时间窗口内检测到光子）下运行。所有应用程序都会受到称为堆积变形的基本现象的影响严重限制了准确性。堆积会固有地限制SPAD检测器的工作原理。例如，在每次触发电子雪崩之后，探测器需要先淬火，然后再探测光子到达事件。在这段“死时间”（十到几百纳秒）内，检测器处于非活动状态。这可能会导致单个激光脉冲的较早光子触发雪崩，而在死区时间内可能会忽略较晚的脉冲；创建不准确的偏斜测量值，称为堆积。可以通过在低通量状态下运行有源成像系统来避免这种现象，就像以前用于第一光子成像的最新技术所看到的那样。

但是，在机器人，生物成像或汽车传感中的3D成像应用条件会有所不同，因为它们在反射高数量和低数量的光子的对象对于决策至关重要的环境中运行。由不同深度或不同对象反射率的变化导致的获取光子计数的大变化对于3D成像至关重要。在这项工作中，Heide等人。引入了一种新的估算算法，该算法克服了使用自由运行的SPAD的主动3D成像系统的现有限制。

从低通量到高通量测量，该方法提高了现有深度和反照率估计的准确性。科学家介绍了一个概率图像形成模型，该模型包括堆积，并使用有效的反演方法得出深度和反照率估计值。重建框架共同估算了所有未知参数，以克服以前限制时序精度的算法限制。所提出的方法允许高精度和快速的3D成像打开适用于光子计数急剧变化的条件的光子有效3D成像的新操作方案。

用于3D成像的实验硬件。示意图显示了“大卫雕像”的场景，照明源以及图像重建的时间戳记过程。图片来源：Scientific Reports，Doi：10.1038 / s41598-018-35212-x

在两个反射率和深度剖面变化很大的场景（包括戴维雕像和浅浮雕场景）上评估了该方法的性能。两个实例都包含具有复杂几何形状和变化的反射特性的对象，包括“大卫雕像”的镜面行为和“浅浮雕”场景中具有空间变化反照率的朗伯反射率。对于这两个场景，科学家都捕获了地面真实参考测量值（信息（由经验证据提供）具有5％的中性密度滤镜，该滤镜通过抑制光源强度消除了堆积失真。

该系统的硬件包括一个时间分辨传感器，脉冲激光，照明和采集光学器件。该设置还具有一组扫描镜，以实现光栅扫描照明图案。利用PicoHarp 300时间相关的单光子计数模块捕获光子到达的时间。照明源是450 nm或670 nm皮秒激光（产生半高全宽的全宽，脉冲宽度为90 ps和50 ps）。收集光学系统由一个75 m的物镜，30 mm的中继镜和一个显微镜物镜组成，旨在将SPAD的视场扩展到照明源扫描的整个区域。

实验测量值用作所提出方法的输入，并且获得的测量值在光路上没有任何滤光片。在研究过程中获得了深度和反照率重建以及相应的误差图。结果证明，该方法实现了不受场景依赖的堆积或散粒噪声（与光的粒子性质相关的电子噪声）影响的高质量重建。将结果与常规方法进行了比较，例如对数匹配滤波器估计和Coates的堆积校正方法，这些方法不能有效地抑制堆积，并且具有取决于场景的深度精度。相反，Heide等人介绍的方法。达到亚皮秒级精度。

最佳光子计数方案。450 nm Alphalas LD-450-50激光器（FWHM为90 ps）的变化光子数的深度重建精度。比较了传统的对数匹配滤波器，Coates方法和提出的方法。最佳的光子数量平均位于每个脉冲平均检测到1个光子的非常规区域附近，与脉冲响应无关，并且直方图bin宽度范围很广。图片来源：Scientific Reports，Doi：10.1038 / s41598-018-35212-x

Heide等人使用的代码和数据。生成研究结果的方法将在GitHub上提供。总体而言，所提出的概率图像形成模型和相应的逆方法达到了亚皮秒的精度用于主动3D成像，尽管激光脉冲宽度大于50 ps。与传统技术相比，该新方法在从低通量到高通量的动态范围内实现了高精度。将来，所提出的方法可以通过复用多个堆积影响的响应来促进远程获取。所提出的创新为快速，精确的光子效率高的3D成像系统铺平了道路，在该系统中，实际观察到的光子数量变化很大。应用范围涵盖广泛的学科，包括3D映射和导航，艺术品重建和保护，自动驾驶，机器人和机器的视觉，地理信息，工业和显微成像。