“夜视”(Night Sight) 模式：Pixel 手机可在夜间视物

buzhy

文 / 杰出工程师 Marc Levoy 和高级软件工程师 Yael Pritch

“夜视” 模式是 Pixel 相机应用的一项新功能，可让您在弱光条件下，甚至连肉眼都看不太清的昏暗条件下拍摄清晰的照片。“夜视” 模式适用于三代 Pixel 手机的主摄像头和自拍摄像头，且无需借助三脚架或闪光灯。在本文中，我们将探讨为何在弱光场景下拍照颇具挑战，还将讨论计算摄影和机器学习技术，这些技术大都基于造就 “夜视” 功能的 HDR+ 进行构建。

左图：iPhone XS 拍摄图

右图：Pixel 3 “夜视” 拍摄图

为何难以在弱光下摄影？

有过在昏暗场景下摄影经历的人对图像噪声定然不陌生，这种噪声看上去就像是像素间亮度的随机变化。对于配备小型镜头与传感器的智能手机相机而言，主要的噪声源是光子进入镜头后在数量上产生的自然变化，我们称之为散粒噪声。每个相机都会遭受这个问题，即使其拥有完美的传感器电子元件，也依旧无法避免。然而，这些电子元件并非完美无缺，因此噪声的第二来源便是在将击中每个像素的光线所产生的电子电荷转换为数字时引入的随机错误，我们称其为读出噪声。上述两种噪声和其他随机噪声源共同构成整体的信噪比 (SNR)，该比值能够衡量图像从这些亮度变化中的突显程度。所幸，SNR 会随曝光时间平方根的增加而增大（或变化更快），所以曝光时间越久，照片就会越清晰。但您很难保持足够长的时间以在昏暗条件下拍摄一张好照片，而且您的拍摄对象可能也不会一直保持静止不动。

2014 年，我们推出一种计算摄影技术 HDR+，该技术可通过捕捉连拍帧、在软件中进行校准并将之合并，进而改善此种情况。HDR+ 的主要目的是改进动态范围，这意味着我们将能拍摄呈现各类亮度的场景（如日落或逆光人像）。各代 Pixel 手机均使用 HDR+。事实证明，合并多张照片还可减少散粒噪声和读出噪声的影响，因此能在昏暗场景中提高 SNR。为让您在手抖和拍摄对象移动的情形下也能拍摄出清晰的照片，我们采用短曝光方案。我们还会舍弃那些校准不精的帧。这便使得 HDR+ 可在收集更多光线的同时生成清晰的图像。

黑暗到底有多黑？

但是，若捕捉和合并多帧能在弱光条件下生成更清晰的照片，为何不使用 HDR+ 来合并众多帧，以便我们有效看清黑暗中的拍摄对象呢？好吧，让我们首先定义 “黑暗” 一词。摄影师谈论场景的亮度级时，通常以勒克斯 (lux) 作为衡量单位。从技术上讲，勒克斯是物体表面每单位面积所接收的光量，以每平方米流明作为衡量单位。您可以参阅下面的快速查看表，以了解不同的勒克斯等级：

在亮度为 30 勒克斯的场景下拍摄单张照片时，智能手机的相机开始出现拍摄问题。在亮度低至 3 勒克斯的场景下，手机可在拍照及合并多张照片（正如 HDR+ 一样）时表现出色，但在更昏暗的场景下便会表现失常（详见下文），仅能依赖闪光灯改善其拍摄效果。而凭借 “夜视” 功能，我们的目标是在仅按一次快门且无 LED 闪光灯的情况下，使用智能手机改善相机在 3 勒克斯和 0.3 勒克斯亮度之间的拍照效果。出色发挥此功能需满足几个关键条件，其中最重要的便是捕获更多光子。

捕捉数据

虽然延长每帧的曝光时间可提高 SNR 并生成更清晰的照片，但很可惜，这会带来两个问题。首先，Pixel 手机上默认的拍照模式使用零快门延时 (ZSL) 协议，本质上便会限制曝光时间。您一打开相机应用，应用便开始捕捉图像帧，并将其存储于循环缓冲区中，从而不断清除旧图像帧，为新图像帧腾出存储空间。当您按下快门按钮时，相机会将最新拍摄的 9 或 15 帧图像发送至我们的 HDR+ 或 Super Res Zoom 软件。这意味着您能准确捕捉到自己想要的时刻，此协议也因此得名 “零快门延时”。然而，由于我们在屏幕上显示这些相同的图像是为了帮助您校准相机，所以无论场景有多昏暗，HDR+ 均会将曝光时间限制在 66 毫秒以下，从而使我们的取景器至少可保持每秒 15 帧的显示速率。在亮度更低并需要更长曝光时间的场景下，“夜视” 模式使用正快门延时 (PSL)，在按下快门按钮后，您需要等待相机开始捕捉图像。使用 PSL 意味着，您按下快门后需在短时间内保持不动，但其允许使用较长时间的曝光，从而可在更低亮度下提高 SNR。

增加每帧曝光时间所带来的第二个问题是运动模糊，产生的原因可能是手部抖动或对象在场景中移动。Pixel 2 和 Pixel 3 配备的光学防抖 (OIS) 系统可减少为实现适度曝光时间（最高约为 1/8 秒）而产生的手部抖动，但这对更长时间的曝光或移动的对象不起作用。为解决 OIS 无法修复的运动模糊问题，Pixel 3 的默认拍照模式使用 “动作测光”，包括通过光流来测量最近的场景移动及选择可使模糊最小化的曝光时间。Pixel 1 和 Pixel 2 在默认模式下并未使用动作测光，但这三款手机均可在 “夜视” 模式下使用此技术，从而将每帧的曝光时间最高提升至 333 毫秒（若无大幅移动）。我们对未配备 OIS 的 Pixel 1 小幅提升曝光时间（对于同样未配备 OIS 的自拍相机，提升的曝光时间甚至更短）。如果将相机固定（如靠墙放置或使用三脚架），则每帧的曝光时间将提升至一秒。除改变每帧的曝光时间之外，我们还会更改拍摄帧数：若将手机固定在三脚架上，便会拍摄 6 帧；若是手持型设备，便会最多增加至 15 帧。这些帧数限制可免除用户的疲劳（以及取消按钮的需要）。因此，根据您所拥有的 Pixel 手机、相机选择、手部抖动、场景移动以及场景亮度，“夜视” 模式可拍摄 15 帧（每帧耗时 1/15 秒或更短时间）或 6 帧（每帧耗时 1 秒），或介于两者之间的任意帧数。1

以下是我们在检测到移动时对每帧使用更短曝光的具体示例：

左图：由两部并排的 Pixel 3 手机中的一部拍摄的 15 帧连拍画面。中间图：停用动作测光时的 “夜视” 拍摄图，导致手机使用 73 毫秒的曝光时间。在这张裁剪照中，狗的头部移动动作较为模糊。右图：启用动作测光时的 “夜视” 拍摄图，使手机注意到该动作并使用更短的 48 毫秒曝光时间。此次拍摄的动作模糊程度较轻 (Mike Milne)

以下还提供了当我们察觉手机被固定在三脚架上时使用更长曝光时间的示例：

左图：用手持型设备对天空进行 “夜视” 拍摄后的裁剪照。由于存在轻微的手部抖动，“夜视” 模式选择了 5.0 秒（每帧 333 毫秒，共 15 帧，由二者相乘得出）的拍摄时间。右图：由三脚架固定后拍摄的照片。由于未检测到手部抖动，“夜视”模式使用了 6.0 秒（每帧 1.0 秒，共 6 帧，由二者相乘得出）的拍摄时间。所拍摄的天空照清晰度较高（噪声较少），您还可看到更多星星 (Florian Kainz)

校准与合并

求取帧数均值以减少成像噪声的想法与数字成像一样古老。在天文摄影术中，这称为曝光堆叠。虽然这项技术本身很简单，但最大的难点是在手持相机的情况下正确校准镜头。我们在此领域的投入始于 2010 年一款叫作 Synthcam 的应用。这款应用可连续拍摄照片、以低分辨率实时校准及合并照片，之后显示合并结果，而且您可看到所得照片的清晰度会稳步提升。

“夜视” 模式也采用类似原理，不过是以全传感器分辨率进行非实时处理。我们在 Pixel 1 和 Pixel 2 上使用 HDR+ 的合并算法，并加以修正与重新调整，从而提高其检测与舍弃未准确校准帧画面的能力，即便在噪声充斥的场景中也是如此。在 Pixel 3 上，我们使用 Super Res Zoom，同样进行重新调整，无论您在拍摄时是否变焦均是如此。虽然开发后者的目的是处理超分辨率图像，但因其能对多张图像求取均值，因而也有助减少噪声。在一些夜间场景中，Super Res Zoom 可生成优于 HDR+ 的照片，但需仰仗 Pixel 3 上更快速的处理器。

顺便一提，手机上的所有这些处理仅耗时几秒。只需快速点按可将您带至幻灯片处的图标（请等候拍摄完成！），您便能查看经 HDR+ 或 Super Res Zoom 处理后的照片 “优化效果”。