夜间计算成像和电网研究

1电网上的计算成像Mark Sheinin，Yoav Y. SchechnerViterbi电气工程学院以色列理工学院网址：marksheinin@gmail.com，yoav@ee.technion.ac.il基里亚科斯湾库图拉科斯省多伦多大学计算机kyros@cs.toronto.edu摘要夜间节拍与交流（AC）照明。通过被动地感测该节拍，我们揭示了新的场景信息，其包括：场景中的灯泡类型、城市规模的电网相位以及光传输矩阵。该信息产生反射和半反射的解混、夜间高动态范围以及在采集期间未观察到灯泡的场景渲染。后者是由一个数据库的灯泡响应函数的范围内的来源，我们收集和提供。为此，我们构建了一种新颖的编码曝光高动态范围成像技术，专门设计用于电网1. 介绍一个多世纪以来，我们一直生活在一个人造光脉动的世界里。无论是夜间在室外还是全天在室内，大部分到达我们眼睛和相机的光线都来自电网供电的人工光源。这些光源改变其强度和光谱功率分布，以响应电网的交流电（AC）[3，43]，但它们的闪烁通常太微妙，太快，肉眼无法注意到人工照明在照片中产生不自然的颜色[13]，在视频中产生时间锯齿[39]。因此，它被广泛认为是不可取的[16，21，40，48]。在本文中，我们认为，无处不在的交流感应照明变化不仅仅是一个麻烦，而是一个非常强大的视觉线索-关于我们的室内和室外环境，关于它们所包含的光源，以及电网本身（图1）。为此，我们得出一个模型的时变外观下AC照明和描述一种新的编码曝光成像技术来获取它。我们的方法产生了几个从未见过的能力，我们用我们的“ACam”相机原型实验证明：（1）仅通过被动观察来获取场景的 传 输 矩 阵 ， （ 2 ） 计 算 如 果 场 景的 一 些 灯 被 关 闭 或 改 变 为 不 同 的 灯 泡 类 型 ，场 景 将 看 起 来 像 什 么 ， （ 3 ） 从 它 们 的 时 间 轮廓 识 别 灯 泡 类 型 ， （ 4 ） 分 析 电 网 中 的 城 市 规模 的 网 格 相 位 ， 以 及 （ 5 ） 进 行 以 上 所 有 操作城市形象网格相位相位分布33.4%百分之三光1光2输入序列解混光3光4图1. 顶部和中间：城市规模的场景。从AC灯泡响应函数中，我们可以识别使用了哪些灯泡以及每个灯泡的电网相位（颜色编码）。这使得能够对网格进行统计分析。插图在图3中放大。底部：将场景解混为单光源分量图像。在非常具有挑战性的条件下-夜间成像、现成的（30Hz）相机、昏暗的场景、不受控的环境、米到公里的距离以及使用110 V和220 V AC标准在两个大陆上运行。为了实现这一切，我们为一系列灯泡类型编译了一个时间照明响应函数（DELIGHT）数据库[35，36]，这是计算机视觉中的第一个。在我们的方法中，唯一重要的限制是访问电源插座和一个基本固定的场景。我们的工作从主动控制光源的大量研究中汲取灵感。这些技术用各种源（例如，投影仪[18，24，32]，激光器[11，25]，计算机显示器，64376438播放[49]、闪光[28]和点源阵列[8，45]等）以便在原本非结构化的视觉世界上强加可预测的结构。在这个领域有两条研究路线与我们的研究非常接近。首先，计算光传输的方法[7]将可控光源和图像之间的线性关系表示为可以获取[33]或探测[26]的传输矩阵。我们采用和扩展的传输矩阵配方AC光源，并证明现场重新照明没有任何访问可编程源。其次，最近的工作将成像过程视为有源源和相机之间的无线电通信信道[15，19]。这些技术以高速在灯和相机之间传输周期性信号，但与所有主动方法一样，它们拒绝环境AC光而不是使用它。我们的工作背后的关键观察是，环境交流照明已经有了很大的结构 这是因为两个幸运的事实：（1）AC光源即使位于相同的空间中也经常不以相同的相位闪烁，以及（2）它们的时间强度分布取决于灯泡类型、制造和型号而不同。前者来自于希望将AC的三相均匀地分布在光源上，以便平衡电网上的负载并使闪烁更不明显[43]。后者来自于电源电路和发光机制（荧光[47]、白炽[4]、LED等）因此，到达相机像素的光是不同移位且可能非常多样化的信号的混合：即使在家用LED灯泡中，我们也观察到一些产品的调制最大强度下降到10%，而另一些产品的调制强度接近恒定。根据场景的光传输特性，这些光信号的精确混合因像素而异在这里，我们进行了第一次系统的研究，如何被动地记录，解开，并使用这些信号。从这个意义上说，我们的工作是利用“隐藏在普通视线中”的视觉线索的另一个例子[41，46]AC提示很难用高速相机获得，因为很少有足够的光以我们需要的速度（每秒超过1000帧）记录另一方面，长时间曝光的照片也不是一种选择，因为线索的短暂性。为了克服这些挑战，我们使用了一种新的编码曝光成像[12，26，31，42]技术。我们的ACam通过捕捉长时间曝光，同时以2.7kHz与AC同步单独掩蔽和解除掩蔽像素，获取与AC周期的分数相对应的高动态范围（HDR）图像2. 交流照明2.1. 电网中的交流电我们现在描述AC调制照明的模型。电力供应商努力实现零均值正弦交流电压，年龄有规律的峰值出口振幅1V最大。有两种专用标准，标称频率为50Hz和60Hz。美洲使用前者，而亚洲和欧洲主要使用后者.发电机的缺陷会使交流频率随机地轻微摆动因此，AC是准周期性的：对于短时间跨度，有效频率是标称频率的扰动。摆动在计算机视觉典型的时空尺度中实际上是空间不变的：AC的临时频率在整个城市的任何电插座中基本上是相同的。原因是电扰动以光速量级的速度传播。在实践中，AC的临时频率由两个连续过零点之间的时间间隔Δ T确定（图2[左上角]）。由于AC的每个周期有两个这样的交叉，因此其频率由下式给出：f= 1/（2 π）。（一）电网使用不同的专用电缆组在电网相的离散组P中传送AC。在大多数场景中，有三个这样的相位，间隔为2π/3。每个出口连接到这些电网相之一。在我们的实验室中，我们将一个插座声明为参考，φ= 0。因此，P={0，2π/3，4π/3}（见图1）。2现在假设我们用秒表计算时间t，从基准电压源插座处的电压出现一些负到正的过零点（图2[左上角]）。然后，AC电压为V（t）=Vmaxsin（2πft− φ）。（二）2.2. 从电到光灯泡β是一个系统，其输入是电压V（t），其输出是光谱通量Lβ（t，λ），其中λ表示波长。假设一个灯泡是电线性的，即，当前J（t）满足比例性J（t）≠V（t）。 然后假设这个灯泡无中介的，转换电功率J（t）V（t）<$V2（t）直接和瞬间地流动。因此，光谱通量Lβ（t，λ）等价于V2（t）.因此，假设灯泡以AC频率的两倍闪烁，并且每当V（t）变为零时变暗。我们把这个闪烁期称为周期，周期的持续时间是10秒.在实践中，从电到辐射的转变由各种机制介导。光学介质包括热、气体放电和磷光。非白炽灯泡通常在灯泡固定装置内具有电子部件，外行人不知道这些电子部件。这些元件（二极管、电感等）介导1根据国家的不同，最大零峰值电压为170或312伏，分别产生120或220伏的均方根电压2某些区域可以通过配电Transformer连接，该变压器将所有相位移动一个常数φ′[9]。 如果场景包含两个这样的子区域，则P={0，2π/3，4π/3，φ′，2π/3 + φ′，4π/3 + φ′}。我们在实验中没有遇到这样的场景6439CFLcolorBRFLED1LED2CFL经过时间[ms]周期1周期2周期3LED1LED2卤素CFL荧光经过时间[ms]β3120-3121.51.210.80.61.51 10.5 0.50610 15 20 2530002 4 6 8 10图2. 左上：一个纯正弦波，拟合到海法参考插座的原始电压。我们从这个出口处的负到正的零交叉开始计算时间t。左下角：来自裸光电二极管的原始信号，用于DELIGHT中灯泡的样本，跨越多个周期。每个信号通过其在一个闪烁周期内的时间平均值进行归一化。为了更好的可视化，LED 2右下角：对应的单色BRF。这些是通过采集左下角的信号200次，对它们进行平均，并在t∈[0，n]处对其进行裁剪来计算的。这里，LED 1的BRF被放大10倍，以说明它是实际上并不恒定。右上：其中一个灯泡的三波段BRF，通过在光电二极管前面放置滤色器来测量。电压和光谱通量之间的关系中介体具有响应时间和非线性。因此，函数Lβ（t，λ）是V2（t）的失真：存在延迟，并且Lβ（t，λ）在一个周期内通常不会变为零。用B表示使用中的灯泡的有限集合。考虑一个灯泡β∈B，例如一个品牌灯具中的特定荧光灯泡，其在一个周期内的时间平均光谱通量为Lβ（λ）。相对于该平均值，在时间t，灯泡发射波动为：L β（t，λ）=L β（λ）B β（t，λ）。（3）定义无单位函数B β（t，λ）为谱函数电压极性、预热周期、环境温度等）为了简单起见，我们在这里忽略这些次级效应，将BRF视为自时间零点以来的周期数基本不变。因此，我们的BRF在第一个周期中完全由其值在下文中，我们将t限制为位于区间[0，n]中，并将BRF视为仅在该区间上定义的函数。相机和光电二极管提供连续强度Iβ（t，σ）的离散样本。假设Iβ（t，σ）在一个周期内被重新求解为K个样本。这些样本对应于Iβ（t，σ）在持续时间为λ/K的连续时间间隔上的积分。因此，Eq.（4）成为iβ（σ） =Iβ（σ）bβ（σ）（5）灯泡响应函数（SBRF）。该函数具有时间平均值，每个波长的平均值为1，并作为灯泡的时间行为的内在模型∫Σ=Iβ（σ）σ、 Iβ（σ）ΣσIβ（σ）bβ（σ）（六）获取灯联系我们亮度`˛¸X色度Qβ（σ）联系我们BRF因此，直接测量SBRF相当复杂。灯泡行为的一个更实用的模型是考虑来自附近放置的摄像头或光电二极管（带或不带滤色器）的时变测量：∗I β（t，σ）= I β（σ）Bβ（t，σ）。（四）这里，I β（t，σ）是在时间t和光谱带σ处在像素或光电二极管处测量的强度，I β（σ）是其时间平均值，Bβ（t，σ）是无单位灯泡响应函数（BRF）。 与SBRF不同，BRF取决于地点-所用设备的光谱灵敏度。3一般来说，SBRF和BRF都可以跨周期表现出稍微不同的时间分布（例如， 由于3具体地，光谱、l通量和测量强度通过积分Iβ（t，σ）相关。=GLβ（t，λ）R（σ，λ）dλ其中R（σ，λ）是传感器的光谱灵敏度。几何因子G将发射的通量转换为像素/光电二极管强度，并且取决于它们的位置、孔径等。电压6440其中K维行向量iβ（σ）和bβ（σ）分别保持强度和BRF样本图2显示了采样BRF的几个示例。可以看出，所有灯泡都以两倍的AC频率闪烁，并被锁定到各个周期。3. 灯泡响应对于第4节和第5节中的任务，我们创建了一个电灯数据库（DELIGHT）。我们买了各种各样的灯泡和灯具。街道照明主要有几种灯泡类型，主要是高压钠灯、金属卤化物灯、汞灯和荧光灯。每种路灯类型都在大面积上使用得相当一致。室内照明有更高的多样性，包括卤素灯、荧光灯管、不同的紧凑型荧光灯（CFL）和简单的白炽灯。LED照明具有各种有趣的BRF，一些具有非常低的BRF幅度，一些具有非常高的BRF幅度（图2）。6441MH-2MH1$\phi_1$MH2$\phi_2$钠2$\phi_1$MH-2金属卤化物1金属卤化物2钠1钠2钠喜悦金属卤化物1.51.5110.50.5经过时间[ms]经过时间[ms]金属卤化物2金属卤化物1¨1S为了保持所有BRF的通用性，通过将所有灯泡和灯具连接到海法的单个50 Hz参考插座来获得DELIGHT在该出口处同时测量交流电压V（t）。我们使用了三种传感方案：（1）具有三种滤色器之一的光电二极管;（2）不具有任何滤色器的相同光电二极管;以及（3）第6节中描述的装有彩色摄像机的ACam原型。对于方案（1）和（3），我们将各个灯泡的BRF及其色度保存在DELIGHT中。对于方案(2)仅保存单色BRF。在所有情况下，Meta数据，如灯泡瓦数和传感器/过滤器使用的存储以及。更多信息请参见[34，35，364. 识别AC灯和电网相位让我们把相机对准场景中的灯泡的意思-00 2 4 6 8 1000 2 4 6 8 10确定的信号i（σ）遵循等式（六）、该信号通过平均亮度归一化，得到i范数（σ）。现在，所有的节奏变化是由于灯泡的BRF，色度和网格相位。我们识别灯泡及其相位使用：图3.上图：图1中海法湾的特写。公里远离，从DELIGHT和ACam捕获的图像识别灯。同时，识别每个灯泡处的电网相位。左下通过平均亮度归一化的原始信号，.Σββ，φ = argminβ∈B，φ∈P标准i（σ）−Qβ（σ）位移σ.Σ ¨2φ，bβ（σ）<$（七）ted和他们最匹配的来自DELIGHT的BRF。颜色对应于上述灯泡。右下角：为了说明左下角的测量信号相互比较的程度，我们将它们移动了减去它们的识别相位，其中，B是DELIGHT中的灯泡集合，P是位置的集合可观察的网格相位，Qβ（σ）是数据库中灯泡β的色度，并且shift（）将灯泡的采样BRF向右循环移位相位当使用单色相机时，只有一个光谱带，因此Qβ（σ）= 1。图1和图3显示了海法湾的结果，其中ACam配备了单色相机。在这个大都市的规模，我们认识到灯泡类型和他们的三个网格阶段。简单分析表明，在视场中检测到的灯泡上，栅极相位分布近似均匀5. 交流光输运理论为了简化符号，我们尽可能去掉谱带σ。场景包含静态对象，并由S光源照明。它由具有线性辐射响应和P像素的相机观察如2.2节所述，我们将时变图像分解为K帧。现在假设只有源s开启，色度Qs，BRFbs和相位0。此外，假设矩阵Is保持所得到的单源图像序列。Is的每一列是帧，并且每一行是一个像素随时间的强度。在帧k处，像素p（六）：有效地将它们全部置于电网相位零上。观察到来自相同类型灯泡的信号确实非常相似。响应;源s在像素p处的辐射的空间和角度变化;当被s照射时在p处的BRDF;阴影、内部反射等。表示等式（8）在矩阵形式中，我们得到：Is= τsQ sbs.（九）这里列向量τs连接源s的所有像素的传输因子。因此，序列的各个帧只是向量τs的缩放。现在，场景由连接到零相的S个光源照明图像序列变成S个单源序列的叠加，每个源s一个：I= I1+···+Is+···+IS。（十）假设这些源的色度和BRF为b1，. . . ，bS和Q1，. . . ，Q S。组合方程（9）和（10），因式分解各项，并表示转置的k，我们得到I= [τ1 · · ·τS][Q1b] · ··Is[p，k] =τps Qsbs[k]（8）Q10B1其中括号表示I和b.=[τ· · ·τ]τ。.好吧（十二）s s1S“我的天..因子τps表示光传输。该因子指定了从源s传输到像素p的总通量，6442X传输矩阵T0QSbS联系我们 联系我们所有可能的路径。这种传输封装了全局面，色度矩阵QBRF矩阵B相机的数值孔径和光谱等参数=TQB。（十三）6443¨¨⊤⊤¨SS¨¨图4. 解混结果。第二列示出了通过解混重建的单源图像。我们通过计算τ 1 + 3来模拟灯泡放大/去放大。5τ3，以及通过用钠BRF代替b1的灯泡更换。 左图显示了由ACam直接采样的单色BRF。在右边，我们说明了饱和或噪声像素的成功重建矩阵T是场景T的每一列描述了当特定源打开时场景的外观。这个矩阵是时不变的（b）如（a）中所述对信号进行采样，然后使用DELIGHT和第4节的识别方法。传输矩阵估计使用一般都是未知的。最后，假设场景中的源具有相位φ1，φ 2，φ 3，φ 4，φ 5，φ 6，φ 7，φ 8，φ9。. .，φ S而不是零。BRF矩阵T=argmin？W。T≥0Σ¨2I− TQB<$F、（十六）当量公式（13）现在包含已经根据其源的相位被单独地循环移位的BRFB= [ shift（φ1，b1）]· · ·shift（φ，b）] 。（ 十四）其 中，f 表 示Hadamard （ 逐元 素） 乘法，并且 F是Frobenius范数。P×K权重矩阵W丢弃饱和数据：.5.1. 解混：源分离W[p，k]=0，如果任何谱带在I[p，k]处饱和（十七）1 否则，请执行以下操作。单源序列在数据I中线性混合。我们寻求非混合，即，线性源分离[2]。关键是基于等式来估计传输矩阵T。（13）。考虑任意两个连接的源s1和s2到相同的相位并具有相同的BRF。根据等式（9）、由这些震源引起的双震源序列是Is1+Is2 =（τs1Q s1+ τs2Q s2）shift（φ s1，bs1）.（十五）因此，两个源的贡献相加，就好像场景由具有相同相位和BRF的单个源照射。因此，这些来源的贡献是不可分割的。 将场景中使用的所有源划分为当量（16）是一个简单的最小二乘估计。由于噪声和相同类别的源之间的微小差异，已知QB的假设不能精确地满足。为了消除轻微的不一致，细化允许B稍微改变。 使用等式中的T_（？）（16），我们计算：¨。Σ ¨2B=argminWI-T QB.（十八）B≥0F在B的最小二乘估计之后 ，Eq. （16）是一个应用增益使用B。我们在实验中观察到，除非进行这种改进，否则结果可能会出现轻微的伪影（参见[34]中的示例）。源的子集，其中每个子集没有线性依赖，每列T是场景的未混合图像对另一个的欲望。 我们只考虑在这些线性独立子集对于本文的其余部分，我们将这些独立的子集称为S假设我们知道QB。 这可以通过两种方式来衡量：(a)光源经常出现在视野中。因此，它们的BRF和色度可以直接由我们的ACam获得。这对于像素占主导的情况也是可能的。图像强度图像强度6444这张照片已经是白平衡了，因为彩色的...所有源的maticities都被计入Q。示例如图4和图5所示。5.2. 高动态范围、去噪渲染我们现在可以重建源s的单源图像序列，使用通过一个源（例如，来自附近表面的反射Is=τsQs移位（φs，bs）（19）标准曝光单源图像灯泡放大更改灯泡类型覆盖的BRF去噪渲染45968.81.440866.31.235763.7130661.20.825558.60.602.5 57.5经过时间[ms]1020405经过时间[ms]1056.10510经过时间[ms]高动态范围6445图5. 室外场景的解混结果。其中τs是T 的相应列。该序列中的强度传感 器.这是 因为 Eqs。（ 16 ）和 （17） 在 估 计T_（ max ） 时 绕 过 饱 和 数 据 。因此，得益于AC，我们获得了高动态范围结果（图4 [中间图]）。解混过程还导致去噪。捕获的图像序列中的强度受到传感器读出噪声的影响。然而，由于EQ。（19）强制所有像素在同步中变化ACam捕获的窗口反射图6. 由于AC闪烁的时间变化归因于室内场景。ICA将室内反射从传输场景中分离出来。两者都恢复到一个未知的规模。如前所述，我们的输入数据是图像序列I。为了简洁起见，我们忽略色度。 现在考虑两个帧k1和k2，其中bac[k1]>bac[k2]。由I的列表示的对应图像是：I[k1] = τout+τacbac[k1]（21）根据一个共同的BRF，呈现的序列与输入数据相比，噪声更小（图4（[右图]））。I[k2] =τ出来+τac b交流[k2]。（二十二）最后但并非最不重要的是，光源可以改为灯泡在收购过程中根本没有看到。更换灯泡意味着将它们的色度和BRF改变为其它灯泡的色度和BRF（例如，在快乐或仅仅是幻觉）。此外，我们可以改变光源的网格相位，并且可以使用对角放大矩阵A来放大或去放大它们。这导致广义的重新照明：由此可见，向量τac和I[k1]−I[k2]在一个比例因子内相等沿着类似的思路，可以证明向量τout和I[k2]-AI[k1]也等于某个未知标量A的比例因子。我们使用独立分量分析（ICA）来估计这个标量[14]。具体地，A被优化以最小化向量I[k1]-I[k2]和I[k2]-AI[k1]的互信息。这得到我重新点燃=T[AQB]relight.（二十）结果见图6。5.3. 半反射分离为了从透射场景中分离半反射[1，20，37，38]，我们展示了一个新的原理：被动AC为基础的unmixing。我们使用以下两种机制之一来实现这一原则：• AC照明场景：当所有光源都来自AC供电灯泡时，按照第5.1节中的描述进行解混。见[34]示例结果。• 涉及自然照明：场景照明包含来自日光的室外组件。室内环境由两种光源照明。首先，部分自然日光通过窗户照亮室内。室内的第二光源在这种情况下，τout和τac对应于两个源。由于日光在几千个周期的时间尺度上是近似时不变的，因此它的BRF是所有BRF的矢量。灯泡我们不依赖于任何数据库或已知的网格相位。6. 交流相机（ACam）上一节依赖于一个关键的图像采集任务：捕获跨越一个周期的K帧序列。然而，在AC周期的1/K的时间尺度上，很少的光进入相机。4这在夜间和室内尤其有问题，在这些地方，光水平通常较低，传感器读出噪声干扰信号。此外，帧采集必须支持HDR成像。这是因为视场可以包括明亮的光源和照明不足的表面（例如，来自阴影、平方距离光衰减、AC闪烁等）。这使得用高速相机捕捉K为了克服这些问题，我们的ACam在数百个周期内保持其电子关闭器打开，同时在每个周期的相同短暂间隔期间之外的这在图7[顶部]中示出以来4例如，在北美，每周期采集K=20张图像，其中光以120Hz闪烁，需要416µsec的帧曝光时间荧光钠钠原始室内（闪烁）户外（阳光）6446所有像素被阻挡所有像素被阻挡所有像素被阻挡321030 35 40 45 50（默认）掩码掩模掩模掩模图7. ACam手术。顶部：相机由于每个周期事件是精确控制与Arduino跟踪交流零交叉实时。在这里，我们展示了Arduino的输入电压（蓝色）和它产生的掩模切换信号（红色），同时用高速示波器测量。掩模在信号/K微秒。ACam 支持50Hz网格的K≤26 ，60Hz网格的K≤22下图：对应的DMD掩模。遮罩0在大部分时间处于活动状态，其作用类似于全局快门。掩模m1使所有像素短暂曝光。另一方面，M2屏蔽了下一个像素中的一些像素的光。循环以防止其饱和。由于传感器收集的光与电子快门打开的周期数成比例，因此ACam在获取速度与增强的信噪比之间进行权衡此外，它可以通过允许某些传感器像素比其他像素集成更少周期的光来处理整个视场中光水平的大变化（图7[底部]）。就像其他编码曝光技术[12，31，42]一样，我们使用光学耦合到现成相机的数字图像处理设备（DMD）实现高速像素掩蔽。我们采用[26]中提出的总体设计，将其修改为被动AC调制成像。图8显示了我们的ACam，并强调了它与[26]中系统的主要区别。它可以在60 Hz/120 V和50 Hz/220 V电网上正常工作。每个ACam图像恰好产生K帧序列的一个帧，由k∈[1]索引。. . K]。该过程被应用K次以获取所有帧-并且如果需要HDR帧则可能被应用更多次获取没有HDR的帧k(1)定义M个二进制DMD掩模的序列，（2）打开在DMD被锁定到AC时，电子快门持续C个周期实际上，C的范围从100到1500个周期，取决于光照水平。在此期间，DMD重复通过其M个掩码。因此，ACam成像受到控制图8.我们的ACam将Arduino和电压Transformer与基于DMD的可编程掩模结合在一起[26]。Arduino实时感知交流电网，在数百个周期内在DMD掩模之间切换。通过PC（未示出）将掩模加载到DMD。在每个AC周期中，这些掩模在周期持续时间的一小部分内曝光各个像素。三个数量：周期数C、保持掩模序列的矩阵M以及迫使DMD从一个掩模切换到下一个掩模的定时信号。我们的掩码矩阵具有以下一般形式：M=[m 1 0 m 2 0. . . mM/20]（23）其中m是表示二进制像素掩码的列向量，0是全零掩码。零屏蔽完全阻挡传感器，并且除了在对应于帧k的间隔期间之外，零屏蔽在所有时间都是有效的。另一方面，非零掩模确定在该间隔期间哪些像素实际暴露于光。为了获取非HDR图像，我们针对所有m设置mm=1。这迫使DMD像一个为了获取HDR图像，我们在重复的长曝光获取上自适应地修改M（参见下文）。AC锁定掩码切换我们使用插入参考插座的Arduino生成掩码切换信号（图7[顶部]）。我们发现在闭环中产生这个信号非常鉴于每个周期的持续时间略有变化，在不考虑这种变化的情况下切换掩模会导致它们在周期内的位置随时间漂移，并导致不良结果（图9）。相比之下，将信号锁定在过零点上，即使经过数千个周期，也能获得无时间模糊的图像。使用HDR获取帧k我们首先在没有HDR的情况下获取帧，使用足够长的曝光时间以在昏暗的表面上实现良好的信噪比如果这个框架Pixelsexposed像素暴露一个面具一个面具激活蒙版激活蒙版激活遮罩激活遮罩经过时间[ms]掩模彩色/黑白相机DMD帧开始信号3.3V0V激活遮罩312伏模拟输入-312V3.3V50HzAC电压泡灯0V50Hz降低的电压AC电网交流电压TransformeArduino电压6447非锁定交流锁定图9. 非锁定与AC锁定成像。使用1500个周期的积分来获取对应于灯泡（LED2）的最大和最小强度的帧左：没有AC锁定，积分时间窗口漂移，导致结果暂时模糊。右：当ACam连续同步到AC过零点时，时间模糊最小。具有饱和的像素，我们用修改的掩模矩阵重复采集，该掩模矩阵使饱和的像素暴露于少得多的光。具体地，令p是饱和像素，并且令M[p，：]是对应于p的行。我们修改M[p，：]，将其非零元素的一半归零。这将像素p暴露于光的时间缩短了一半。相比之下，与不饱和像素相关联的M行保持原样。修改M和重新获取帧的过程被重复，直到饱和像素的数量下降到阈值以下或者M具有仅具有一个非零元素的行。5通过这种方式，场景中最亮的点可以比最暗的点曝光少M/27. 讨论我们相信我们只是触及了电网上的图像的表面。我们将场景外观分解为与不同灯泡集相关联的组件，为进一步的光度处理打开了大门。特别是，在野外使用少至S= 4个光源（三相交流电灯泡和日光）就可以获得照相立体声[45]。由于物体相对于其到光源的距离可能很大，因此需要考虑近光效应[17，27]。解混之后还可以进行固有图像恢复[44]、阴影形状[10]、表面纹理和BRDF特征化[6]。此外，使用不同灯泡和AC相位的闪烁可以有意地用于对象的受控照明。这样，容易实现多路复用照明[5，30]。我们呼吁更复杂的算法，是强大的偏离假设。偏差包括一些场景灯泡类型或源S的数量未知的情况，如图10所示。在存在非AC时间分布的情况下运行需要鲁棒性：移动的汽车，闪烁的广告霓虹灯和建筑物大小的动态屏幕。这种非稳态失真通常是不可避免的，因为低光条件要求数秒至数分钟的采集时间。5我们的ACam的DMD可以处理多达M = 96个掩码，因此迭代的最大次数是10 log 2（M / 2）n = 6。图10.对一个偏离我们假设的场景进行解混实验在这里，一些场景灯泡并不高兴，并没有直接观察到，由于他们的位置深处的建筑物。由于缺乏对独立源、BRF和色度的数量的了解，我们将S= 5设置为解混，但实际上S可能更高。结果受到残余串扰和颜色失真的影响，注意，来自源4和5的某些信号错误地出现在源1和2的部分中。一个系统，产生更密集的图像序列，扩大K，是可取的。这个目标可以通过更多的码率编码成像和处理来实现，允许每个5×5邻域中的不同像素对AC周期的不同间隔进行采样。或者，压缩感测可以使用代码[23]。 增强的时间分辨率和信噪比也扩展了应用。这些可以涉及区分相同类型和AC相位的灯泡，然后是它们的解混，以及电网的更精细表征。鸣谢：的 作者 谢谢 M.Y.勒夫龙河Swanson，P. Lehn，Z. Tate、A.莱文和G. Tennenholtz进行了有益的讨论，V。霍罗多夫斯基和R. Zamir寻求实验方面的帮助，K。拉维亚和我。Talmon寻求技术支持Y. Y. Schechner是Landau Fellow-由Taub 基金会支持。本研究由以色列科学基金会（Grant 542/16）支持，在Ollendorff Minerva中心进行。 Minerva 由BMBF资助 。M. Sheinin 部分 得到 了Mitacs Canada-Israel Globalink Innovation Initiative的支持。K. N. Kutulakos感谢加拿大自然科学和工程研究委员会在RGPIN和SGP计划下的支持，以及DARPA在REVEAL计划下的支持。标准曝光HDRACamHDRexp.来源5（？）：上层停车坡道来源1（钠）：室外停车位上方来源2（钠）：左上泳道来源3（？）：停车场入口灯来源4（？）：低层停车坡道6448引用[1] A.阿格拉瓦尔河Raskar，S. K. Nayar和Y.李使用梯度投影和闪光曝光采样消除摄影伪影在ACM SIGGRAPH，24（3）：828[2] M. Alterman，Y. Y. Schechner和A.韦斯多重荧光解混。InProc. IEEE ICCP，2010.[3] N. 安德森，M。 Sandstr om，A. Be r glund和K. 汉森来自各种 光源 的光 的振 幅调 制。 照明 研究 与技 术，26（3）：157一九九四年[4] B. G.巴彻勒照明源。机器视觉手册，283-317。SpringerLondon，2012.[5] O. G. Cula，K.J. Dana，D.K. Pai和D.王. 用于双向成像的 偏 振 复 用 在 proc IEEE CVPR ， 2 ： 1116 -1123，2005。[6] K. J. Dana BRDF/BTF测量装置。在proc IEEE ICCV，2：460 -466，2001。[7] P. Debevec ， T. 霍 金 斯 角 Tchou ， H.-P. Duiker ，W.Sarokin 和 M. 萨 加 尔 获 取 人 脸 的 反 射 场 。 ACMSIGGRAPH，145-156，2000年[8] A.戈什湾，澳-地Fyffe，J. Busch，B. Tunwattanapong，X. Yu，and P. Debevec.使用偏振球面梯度照明的多视图人脸捕获。ACM SIGGRAPH ASIA，2011.[9] J. J. Grainger和W. D.史蒂文森电力系统分析McGraw-Hill，1994年。[10] M. Hatzitheodorou. shadows中的Shape：希尔伯特空间设置。《复杂性杂志》，14.1：63[11] F.海德M. B. Hullin，J. Gregson，and W.海德里希利用光 子 混 频 器 器 件 的 低 预 算 瞬 态 成 像 。 ACMSIGGRAPH，2013年。[12] Y. Hitomi，J. Gu，M.古普塔，T. Mitsunaga和S. K.纳-雅。视频从一个单一的编码曝光照片使用学习过完备的字典。在Proc. IEEE ICCV，287[13] E. 许氏T.Mertens，S.Paris，S.Avidan和F.杜兰德用于空间变化白平衡的光混合估计。ACM SIGGRAPH，2008年。[14] A. Hy vé rinen和E. 奥佳独立成分分析：算法与应用。InNeural Networks，13（4）：411- 430，2008.[15] K. Jo，M. Gupta和S. K.纳亚尔DisCo：使用滚动快门传感器的显示器相机通信。ACM TOG，35（5），第150条，2016年。[16] H. R. V. Joze和M. S. Drew.基于示例的颜色恒定性和多重照明。IEEE TPAMI，36（5）：860[17] B. Kim和P. Burger使用光度学立体方法从明暗处理获得深度和形状。CVGIP：Image understanding，54（3）：416427，1991.[18] A. 科拉曼河Hagege和H.古特曼从振荡光的图像序列中分离光源In Proc. IEEE Elect. &电子工程在以色列，1 -5，2014年。[19] A. Kolaman，M.利沃夫河Hagege和H.古特曼动态场景中的调幅视频摄像机光分离在Proc. IEEE CVPR，3698[20] A. Levin和Y.韦斯使用稀疏先验从单个图像中分离反射的用户辅助在IEEE TPAMI，29（9）：1647-1654，2011中。[21] B. Li，W.熊，W. Hu和B.方特评估组合照明估计方法对现实世界的图像。IEEE TIP，23（3）：1194-1209，Mar. 2014年[22] M. G. 马西湖佩雷托河Tinarelli和L.Rovati 闪烁条件下人类视觉系统生理行为的建模。在IEEE国际会议上电力谐波&质量，2008年。[23] M. Mordechay和Y. Y.谢克纳泊松压缩感知的矩阵优化。在Proc. IEEE GlobalSIP，684[24] D.莫雷诺湾儿子，和G。陶宾嵌入式相移：具有嵌入式信号的鲁棒相移。在Proc. IEEE CVPR，2301[25] M. O'Toole，S. Achar，S. G. Narasimhan和K. N. Kutu-lakos 。 用 于 节 能 照 明 和 成 像 的 均 匀 代 码 。 ACMSIGGRAPH，2015.[26] M. O'Toole，J. Mather，and K. N.库图拉科斯 通过结构光传输实现3D形状和间接外观。IEEE TPAMI，38（7）：1298[27] T. Papadhimitri和P.法瓦罗未经校准的近光摄影立体声。在Proc.BMVA，2014中。[28] G. 佩施尼格河 塞利斯基湾 阿格拉瓦拉湾 F. 科恩H. Hoppe和K.富山使用闪光灯和无闪光灯图像对的数码摄影。ACM SIGGRAPH，2004年。[29] R. Raskar、A.Agrawal，J.汤布林 编码曝光照片：使用颤动的快门进行运动去模糊。ACM SIGGRAPH，2006年。[30] N. Ratner，Y.Y. Schechner和F.金伯格最佳多路传感：边界、条件和图论链接。在Optics Express，15（25）：17072[31] D. Reddy，A. Veeraraghavan和R.切拉帕P2C2：可编程像素压缩相机高速成像。在Proc. IEEE CVPR，329[32] J. 萨尔维，J.Pages和J.巴特列结构光系统中的图案编码模式识别，37（4）：827[33] P. Sen，B. Chen，G. Garg，S. Marschner，M. 霍洛维茨M. Levoy 和 H. P. A. 伦 施 双 重 摄 影 。 在 ACMSIGGRAPH，745[34] M. Sheinin，Y. Y. Schechner和K.库图拉科斯电网上的计算成像：花絮InProc. IEEE CVPR，2017.[35] 电网上的计算成像：网页。[在线]（2017）.可从以下网址获取：http：//webee.technion.ac.il/[36] 计算成像对的电动网格：项目网页。[在线]（2017）.可从以下网址获取：http://www.dgp.toronto.edu/ACam[37] S. Shwartz，Y. Y. Schechner和M.齐布列夫斯基卷积混合图像的有效分离 在proc Int. Conf. on ICA and BSS，246 -253，2006.[38] S. N. 辛哈 J·科普夫， M. 格泽尔， D. Scharstein和R.塞利斯基具有反射的场景的基于图像的渲染。InACMTOG，31（4）：16449[39] H. Su，A.哈吉艾哈迈德河Garg和M.吴利用卷帘快门从视频中提取ENF信号在Proc. IEEE ICIP，5367[40] T. Tajbakhsh和R.- R.格里格特照明闪烁校正和频率分类方法。在Proc.SPIE Electronic Im