基于物理的简单光源校准方法

来自销运动的光结构：用于基于物理建模的简单而精确的点光源校准Hiroaki Santo、Michael Waechter、Masaki Samejima、Yusuke Sugano和Yasuyuki Matsushita大坂大学{santo.hiroaki，waechter.michael，samejima，sugano，yasumat} @ist.osaka-u.ac.jp抽象。提出了一种实用的几何点光源标定方法。与使用朗伯球体、镜面球体或镜面平面的现有工作不同，我们的校准目标由朗伯平面和平面上方未知位置处的小阴影投射器组成由于它们的小尺寸，脚轮的阴影可以比镜子上的高光更精确地定位。我们表明，给定的阴影观测从一个移动的校准目标和一个固定的摄像机，阴影投射器的位置和光的位置或方向，可以同时恢复在一个结构从运动框架。我们对模拟和真实场景的评估表明，我们的方法产生的光估计比现有技术更稳定，更准确，同时具有相当简单的设置，需要更少的手工劳动。该 项 目 的 源 代 码 可 以 从 以 下 网 站 下 载 ： https ： //github.com/hiroaki-santo/light-structure-from-pin-motion关键词：光源校准，光度立体，明暗恢复形状，外观建模，基于物理的建模1介绍准确地估计光源的位置或方向对于许多基于物理的技术（例如，从阴影恢复形状、光度立体或反射率和材料估计）是必不可少的。在这些情况下，不准确的灯位置立即导致误差。图1示出了在使用定向光、朗伯球作为目标对象和基本光度立体方法的合成实验中光校准误差和法向估计误差之间的关系[1，2]。我们可以看到准确的光线校准的重要性：如果校准不准确性掩盖了改进，那么在光度立体中进行算法改进以挤出最后几个百分比的准确性是徒劳的尽管精确的光校准很重要，但它仍然很费力，因为研究人员尚未提出准确且易于使用的技术。本文提出了一种远、近点光源的标定方法。我们引入一个校准目标，如图所示。2、那可以做2H. 桑托湾Waechter，M.Samejima，Y.Sugano和Y.松下销板标记地面实况灯位置估计灯光位置从现成的<项目5在1 -2分钟内。我们使用一个平面板（阴影接收器）和钉（阴影投射器）代替球体上的高光，钉在上面可以在板上投射小点阴影在静态摄像机和光源前移动电路板，观察各种电路板姿势下的针头阴影，可以让我们得出光的位置/方向。我们可以定位点阴影的精度是整体校准精度的关键因素。我们可以通过针头尺寸来控制这一点。理想情况下，阴影应该是大约1 px宽，但即使使用现成的引脚，我们也可以自动定位它们的中心，精度约为1此外，由于我们的目标是pla-654320 1 2 3 4光校准误差[deg.]Fig. 1. 光源校准误差与照相立体测量中的正常误差每个数据点是100次运行的平均值。nar，其仅将小的阴影定位误差转化为小的光方向误差。这与镜面球面方法形成对比，在镜面球面方法中，确定光反射角的表面法线跨球面改变，从而放大误差。我们将在第二节中回到我们方法的这些优点二、从几何学上讲，点光源是反向针孔相机[3]（见图1）。4）. 因此，我们可以建立在过去的研究射影几何。特别地，我们示出，类似于联合估计相机姿态和3D特征位置的运动恢复结构（SfM），我们可以通过移动我们的校准目标并观察针阴影来联合估计光位置/方向和阴影投射器针位置，即，我们可以从针的运动估计光（和针）结构。在本文中，我们澄清了我们的问题和传统的SfM之间的关系，并制定了解决方案，我们的背景技术。有趣的是，我们的方法将所有的传感器都随机地在板上放置这些钉，因为它们的位置将在校准过程中被估计。这意味着-与许多以前的工作相比-我们不需要仔细制造或测量我们的校准目标。此外，与一些先前的方法相比，我们在捕获的图像中不需要手动注释所有可以以足够的准确度自动推断所需的信息。我们工作的主要贡献是双重的。首先，介绍了一种实用的光源校准方法，该方法使用易于制作的校准目标。我们的方法不需要精心设计的校准目标，图二、 我们的校准板，一个摄像机观察点光源投下的阴影的移动，而董事会的移动，我们的算法的工作流程，和估计结果。光束法平差凸松弛阴影跟踪板姿态估计正常估计误差[deg.]来自销运动的3图3.第三章。 左侧和中心：镜像平面[4]和镜像球体上的镜面反射高光。右图：大头针头在我们的平板上的阴影。仅使用在平面上的未知位置处卡住的针其次，我们表明，点光源的位置/方向的校准，可以作为一个光束法平差问题，使用的观测投射阴影，并开发一个强大的解决方案技术，准确地实现校准。来自新的校准目标和相关联的解决方案方法的益处是极其简单的目标构建过程（在补充视频中示出），校准过程不需要除以下之外的手动干预：移动板，并且与先前的工作相比提高了精度。2相关工作光源校准方法大致可分为三类：(1) 估计具有远距离点光源的场景的光源方向(2) 估计自然光源环境中的照度分布，以及（3）估计具有近点光源的场景中的光源位置在第一类中，Zhang和Yang [5]（以及Wei [6]，具有更鲁棒的实现）提出了一种方法，该方法用于基于具有边界和边界的蓝宝石来估计多个远距离光方向。 Wangg和Samaras [7]将其扩展到任意但已知形状的对象，结合来自对象的had ing和在该空间上的had ow s cas的形式。Zhou和Kambhamettu [8]使用具有特殊反射的参考球体的立体图像来估计光方向。Cao和Shah [9]提出了一种方法，用于从常见垂直物体（如墙壁）投射的阴影中估计相机参数和光线方向，而不是特殊的精确制造对象，可用于限制较少的设置中的图像。在第二类中，Satoet al.[10，11]使用已知形状的对象的阴影来估计区域光的照明分布，同时被限制为亮度并且必须估计所述区域光的反射。在第三类中，Powell等人。[12]从已知位置的三个镜面反射球体上的高光对多个灯光位置进行三角测量。其他方法也使用反射球[13鉴于该方法的复杂性，[20]将光估计建模为高光重投影误差的非线性最小二乘最小化，从而产生改进的准确度。Park等人[21]手柄镜像平面标记镜球25像素15 px7px4H. 桑托湾Waechter，M.Samejima，Y.Sugano和Y.松下非各向同性光，并从平面上的阴影和镜面反射的多视图图像估计光位置和辐射强度此外，一些方法基于平面镜[4，22]。他们通过透视投影对镜子进行建模，并推断出类似于相机校准的参数。在基于高光的校准方法中，将光源中心的反射精确地定位在特定表面上在实践中是可行的：即使在最高亮度比光源亮度更高。3，左和中）。镜头光斑、噪音等。进一步使分割高光复杂化。此外，由于高光通常不是圆形，而是镜面上的圆锥截面或镜面球体上的甚至更复杂的形状，因此光源的图像（即：例如，对于She n等人的示例，不能通过计算高亮度的亮度来找到对亮度和亮度的轴的选择。[4]做。因此，我们认为，这是非常困难的，可靠地定位光源中心的镜面与像素精度相反，我们采用小投射阴影稳定的定位。基于镜面球体的校准方法的缺点在于球体曲率将高光定位误差放大成更大的光方向误差，因为确定反射角的表面取向在错误和正确高光位置之间不同。此外，球体需要非常精确，因为“即使表面上轻微的几何不准确也可能导致偏移若干像素的高光，并且显著影响球体的稳定性”（Ackermannetal.[20]）。对于预算紧张的用户来说，由于存在精确的相位（对于一个高质量的60 mm轴承球，我们需要3-8个球来进行精确校准），因此无法进行高精度的基于球体的此外，球体方法通常需要注释图像中的球体轮廓，如果准确地完成，则这是非常繁琐的，因为已经完成的任何人都可以在胶片上进行。 这是因为必须在该球体的图像中进行聚光灯选择，并且该球体的外部轮廓难以从背景中分辨出来，尤其是在暗图像中，因为该球体还反射背景。针孔相机和点光源之间的联系已经被其他人证明：Hu等人。[3]在类似于我们的理论设置中使用点对象和阴影。每个阴影产生一个光线位置的线约束，它们通过计算最接近所有线的点来三角测量多个这样的约束。但是，他们只用几何草图来讨论这个想法我们通过导出数学解、将其扩展到远距离光、将其嵌入最小化再现误差的SfM框架[23，24]中、导出用于非凸最小化的初始化、设计在现实世界中利用我们的方法的简单校准目标、以及在最小化和最小化的期望中设计我们的方法的准确性来进一步推动该想法。给定有噪声的观测，最小化重新投影误差，因为我们这样做给出了更好的结果（见Szeliski [25，Sec. 7.1]或Hartley和Sturm [26]）比由Hu等人使用的点闭合到所有的空间三角形。 [3]、ShnnandCheng的mir r or planemethod [ 4]以及mos r e me n h o d o A c e r m an n n s的p r r e m o d o r i or p l an e n h o d [ 20]。来自销运动的5⊤03该方法使用由阴影接收器平面和该平面上方的阴影投射器组成的简单校准目标，通过使用阴影接收器平面或阴影投射器的方向来确定位置。该方法通过在固定的点光源下，改变标定目标的位置，从固定的视点多次观察标定目标，自动实现点光源标定。 的positionthe cal ibrationboardaretreatedunknown，这使得构建目标特别容易，同时问题仍然易于处理，我们将在本节后面看到。为了说明光源、阴影投射器和观察到的阴影之间的关系，我们从阴影形成模型开始，该模型与透视相机的几何结构相关联然后，我们描述了我们提出的校准方法，是基于光束法平差，以及其实施细节。我们用粗体大写和小写表示矩阵和向量，并且用hv表示v的同态。Duetospaceconstra intwwwhee g s的精确推导（2）、（4）、（7）和（9）在补充材料中。3.1阴影形成模型1光源2现在让我们假设阴影接收器平面Π的姿态固定到世界接收器平面J2j1j在系统的x-y平面中的坐标。设附近的点光源位于l =在世界坐标系中[l，l，l]∈R3 一个在-图4.第一章摄影机与点光源。摄像机矩阵P1投影a场景点c到 s就像Xyz伊季位于c ∈R3在世界坐标中，在Π上投射阴影s∈R2inΠ的光矩阵Li将cj投影到sij。SfM估计Pi和Cj，从{s ij}并且我们估计L i和c j。� s=Σs，Σ在W或Ldc〇ordina tes中（例如，在W或Ld的x-y中的任意组合）。图1和图6）。如果cand’s都在一条线上，则线与线是平行的：（c−<$s）×（l−$>s）=0。（一）由此得出，阴影形成可以写为Σ−lz0lxΣΣ 1 0 0 −lxΣΣ−lz0Lx0Σλs=0 −lz ly0 0 10 1 0−ly0 0 1−lzc=0−lzly00 0 1−lzc=Lc。（二）因此，点光源和针孔相机可以通过具有以下对应关系的类似数学模型来描述：（光源照相机）、（阴影接收器平面图像平面）、（阴影投射器观察点）和（等式1的前两个矩阵）。（2）摄像机内函数和外函数，见图2。4.第一章⊤对于远光，场景中的所有光线都是平行的，l =[lx，ly，lz]是在一个位置上的直线方向，并且直线是平行的：（c−¯s）×l=0。（1摄像机21jJ2j图像平面6H. 桑托湾Waechter，M.Samejima，Y.Sugano和Y.松下三）来自销运动的7zzzz2由此得出一个类似于正交投影的表达式：Σ−lz0Lx0Σλs=0−lzly00 0 0−lzc=Lc。（四）3.2作为光束法平差的光源校准我们的目标是确定等式（1）中的光源位置或方向l。(2)或（4）通过观察未知投射者投射的阴影单个阴影观测s不能提供足够的信息来解决这个问题。因此，我们让接收器planeu der去多个plese{[Ri|ti]}。在位置i中，在真实平面坐标上的lghtp〇sit ii与世界坐标中的l相关为l=l（i）l（i）l（i）l=Rl−Rt。ixyzi ii利用该指数i，分别针对近处光和远处光的矩阵{Li}，成为−l（i）0l（i） 0−l（i）0l（i） 0L=0−l（i）l（i）0，andL=0−l（i）l（i）0。IZ YIZ Y0 0 1−l（i）0 0 0−l（i）I fwentonlymutiplepose{[Ri|但所有的多个版本都有以下内容{cj}（为了提高校准精度，如我们稍后所示），我们获得阴影{s ij}，用于姿态i和脚轮j的每个组合。等式(2)（4）成为λij s ij=Licj.因此，在较大的位置{[Ri|现在，我们的目标是确定世界坐标中的灯位置l和阴影投射器位置{c，j}。我们将其公式化为重投影误差的最小二乘目标函数Σminl，cj，λiji、jλijS.T.I = R i I i+ t i。（五）我们用Levenberg-Marquardt [27]解决了这个非线性最小二乘问题。对于鲁棒估计，我们使用RANSAC：我们重复地选择随机观测集，估计（l， cj，λij），并选择具有最小残差的估计。初始化：等式（5）是非凸的，因此受初始化的影响为了找到一个好的初始猜测，我们将问题放松为凸问题，如下所示。在近光的情况下，物镜可以类似于等式（1）写为（1）作为（cj−¯sij）×（li−¯sij）=0且d（usigli=Rl−Rti）将rit ten重新定义为我我（c−$>s）×（Rl−Rt−$>s）=0。（六）jIJ⊤我我我⊤⊤IJΣr0r 1r 2Σ其中cj =[cj，x，cj，y，cj，z]，¯sij=[sx，sy，0]，XX8H. 桑托湾Waechter，M.Samejima，Y.Sugano和Y.松下我Ri=r3r4r5r6r7r8，l=[lx，ly，lz]得双曲正弦值.−R ti= [tx，ty，tz] ，我们得到以下方程组：⊤来自销运动的90年我我我俄.西0年XXjij jr6sy−r6sx r3sx-rslr7sy−r7sxr4sx−r1syr8sy−r8sx r5sx − r2sy0tzsy−tycj,y−lxcj,x−sytzlxcj,y=sxtz。（七）lxcj,zsytx−sxty`˛¸ xlycj,xblycj,yijr4−r100r8−r5−r80r2lzcj，yr5−r 20lzcj，z联系我们联系我们Aijθj对于远距离光，物镜类似于Eq.（3）（使用li = Rl）：（cj -¯sij ）×R l= 0。（八）Keepingthehedefinitisonsofcj，sij，并且R从上面但设置l =[lx⊤、1y、1]为了将L减少到两个自由度，系统变为6y−r6sx r3sx-rslr7sy−r7sxr4sx−r1sycj,xcj,ycj,z−syr8lxcj,x=SxR8。（九）lxcj,ysyr2−sxr5`˛¸ xlxcj,zblycj,xij−r70r1r4−r 10lycj，z联系我们联系我们Aijθj为了使θj的估计对离群值具有鲁棒性，我们使用1最小化：θ*=argmin Aθ−bθjij1.（十）在得到θ* 后，我们忽略二阶变量l c等等。–j∗ ∗x j，x0R8−r5−r80r 2R5−r200R6−r3−r60r 0R3−r000R7−r4−tz0−sx+txsy+ty sx− tx00R6−r3−r60r10的R3−r000R7−r4−r70R110H. 桑托湾Waechter，M.Samejima，Y.Sugano和Y.松下the作为用于最小化Eq. （五）、初始化的最低条件：设Np和Nc为目标姿势和脚轮的数量。为了求解方程(7)（9）我们必须实现3NpNc` 联系我们≥12Nc+3Np`联系我们1≥4+C或3NpNc` 联系我们≥9Nc +2` 联系我们Np2≥3+。3Nc#方程式#变量#变量#变量因此，5个和4个姿态分别足以用于近处和远处的光。不考虑Nc。N来自销运动的113.3执行要获得的不是我们的目标， |我们在一张纸上打印ArUc o mark ers[28]，将其附着到目标上（见图1B）。2，左），并使用OpenCV 3D姿态估计[29]。我们的阴影脚轮是现成的引脚，长度为30 mm，头部直径为3 mm，大到足以轻松检测，小到足以准确定位。如上所述，我们可以任意放置引脚。对于阴影检测，我们开发了一个简单的模板匹配方案。对于模板，我们生成的合成图像的阴影组成的一条线与一个圆圈结束。为了处理不同的投影变换，我们使用12个旋转角度，每个角度有3个缩放。我们在二值化输入图像后匹配模板，以更容易地提取阴影区域。此外，我们使用针头的颜色来区分头部和头部阴影。对于等式(5)、（7）和（9）我们需要为所有阴影分配相同的索引jsijfromthesamecatercindifferntimages. NormalSfM使用特征点的外观来解决此响应问题。我们希望我们的阴影非常小，因此不能改变它们的形状足以使它们清晰可辨。相反，我们通过校准过程的视频来跟踪它们为了便于跟踪，我们将引脚彼此远离放置。3.4同时估计多个灯光我们甚至可以同时校准多盏灯a）通过让用户捕获一个视频中的多个灯的数据来节省时间上面我们讨论了跟踪可以帮助我们找到来自同一个施法者在所有即时信息中的相应阴影LED 1LED 2图五. 两盏灯在每根针上投下两个阴影。年龄多个光源带来了另一个对应问题：从图像中找到所有阴影，以便在我们的方程中与图像中的i，j，k和li，k相对应。为了解决这个问题，我们首先把每个阴影跟踪单独到我们的算法。对于Nl个灯中的每一个，我们得到Nc个位置估计，其由于噪声而略微变化然后我们将Nl×Nc估计聚类成Nl个簇，每个簇对应于一个光。最后，我们解决了光束法平差，方程。（5），对所有灯进行附加求和我们初始化Eq.（5）利用第一个时间点的N_c_duplic_e_s的平均值。该对应问题的解决方案仅要求用户提供N个字符串，例如，N个字符串。例如，在一个实施例中，把它扔下去。的[ 12]或Der i n g c on s t r i n t i t do e n g c on s t i n g在摄像机、灯和目标的某些配置中不会失败。然而，如果两个灯如此接近以至于它们的聚类重叠，则聚类可能产生错误的聚类，但是这实际上可能是不相关的，因为在基于物理的建模中，两个灯需要相距足够远以给出超过一个灯的信息增益有趣的是，我们甚至可以同时校准图像未被同时捕获的灯光。这是可能的，因为应用板姿势变换所有阴影位置-无论它们是否被捕获无论是否在系统中设置了相同的代码，都可以使用这些标记。12H. 桑托湾Waechter，M.Samejima，Y.Sugano和Y.松下图六、 箭头显示了模拟实验的数值范围。表1. 合成无噪声环境中的估计误差（10次随机试验的平均值）。4评价我们现在可以利用我们的数据库进行简单的计算（例如：4.第一章1）和真实世界场景（Sec. 4.2）。4.1仿真我们从图1所示的范围内的均匀分布中随机抽样板姿势，脚轮位置和灯光位置（后者仅适用于近光条件）六、 将脚轮随机放置在尺寸为200×200的板上。对于方向图，我们从[ 0 °，45 °]中放大方向图的偏振角θ。我们评估了估计的光位置/方向的绝对/角度误差，同时改变光到校准板的距离tz和脚轮的数量Nc。表1示出了每个配置的平均误差比场景范围小14个或更多个数量级，确认了我们的方法在理想设置中准确地解决了光位置/方向和阴影投射器位置的联合估计在实践中，光源估计将被两个主要误差源劣化：（1）阴影定位和（2）基于标记的板姿态估计。阴影定位误差：为了分析阴影定位的影响，我们用高斯噪声扰动阴影位置图7示出了作为来自凸松弛的解获得的估计准确度（Eq.(7)或（9））与全光束法平差（等式（9））相比，(5)在初始化之后，对于不同的设置，使用CONVEXRELAX（在ON）进行比较和比较。图7的t 〇p r 〇 w确认了较大的阴影位置噪声导致较大的误差，并且与仅求解凸松弛相比，全光束法平差增加脚轮或板姿势的数量使得等式(10)以及（5）更多的过约束，因此应该减少来自噪声阴影位置的误差。图7的中间和底部从下面的定义中可以被定义为针对较大的Np或Nc的单个。电路板姿态估计误差：为了模拟电路板姿态估计中的误差，我们采用了一种新的方法，将数据集用于电路板光±10035 ±15脚轮±30°±300±30°不zNC平均绝对/角度误差光源位置/方向500264×10−14500595×10−145001054×10−14100023. 5×10−13100057. 0×10−141000102. 6×10−13∞21。2×10−12deg.∞52。4×10−15deg.∞101。4×10−12deg.远侧光近光来自销运动的11凸松弛光束法平差0.0 0.00.20.125近光源201510500 0.01 0.05 0.1 0.51噪声级（σ）1.00.80.60.40.20.0远光源凸松弛光束法平差0.0 0.00.010.010 0.010.050.10.51噪声级（σ）近光，σ = 0.01432101 2 3 4 5 6 7 8 9脚轮数量（Nc）近光，σ = 0.01350300250200150100500近光，σ =1.01 2 3 4 5 6 7 89脚轮数量（Nc）近光，σ = 1.0远光，σ =0.010.040.030.020.010.001 2 3 4 5 6 7 8 9脚轮数量（Nc）远光，σ = 0.01远光，σ =1.0432101 2 3 4 5 6 7 8 9脚轮数量（Nc）远光，σ = 1.00.250.200.150.100.050.000.95凸松弛捆;捆510203050100姿势数（Np）35302520151050510 20 30 50100姿势数（Np）0.020.010.00510 20 30 50100姿势数（Np）1.81.61.41.21.00.80.60.40.20.0510 20 30 50 100姿势数（Np）图7.第一次会议。在阴影位置添加高斯噪声的情况下，合成近光灯和远光的估计误差。每个数据点是500个随机试验的中位数 顶行：Np = 10和Nc = 5。噪声中间行：Np = 5并且Nc在x轴上。 底行：Nc = 5并且Np在x轴上。滚，滚。对于较强的噪声，图8的t 〇 p 〇 w显示在较高或更高处，并且集束调整减轻了凸解的误差。 IinFig.8的中间件和底部从下面的内容中重新开始，因为许多卡和板再次构成。 束调整和增加姿势的数量减少了误差，但增加脚轮的数量不会。然而，这并不令人惊讶，因为向我们的系统添加约束仅在约束具有独立的约束时才有帮助。 因此，用于该姿态的所有had_s_i，j的噪声源自相同的姿态噪声，并且因此高度相关。因此，增加姿势的数量是减少误差的主要方法。4.2现实世界的实验我们创建了4个真实世界的环境，见图。9.第九条。在所有的实验中，我们预先校准了固有的相机参数，并消除了镜头失真。环境E1和E2具有近光，并且E3和E4具有远光。在E1中，我们将四个LED固定到具有3D打印框架的相机周围的位置，并计算出LED的地面从框架中的位置 我们使用了分辨率为1280×960的FLIR FL 2G-13 S2C-C相机。在凸松弛捆;捆绝对误差143绝对误差绝对误差绝对误差绝对误差角度误差[deg.]角度误差[deg.]角度误差[deg.]角度误差[deg.]角度误差[deg.]10H. 桑托湾Waechter，M.Samejima，Y.Sugano和Y.松下30近光源20102.01.51.00.5远光源00 0.01 0.05 0.1 0.51噪声级（σ）0.00 0.010.050.10.51噪声级（σ）2.52.01.51.00.5近光，σ =0.0120015010050近光，σ =1.0远光，σ =0.010.040.030.020.01远光，σ =1.043210.01 2 3 4 5 6 7 89脚轮数量（Nc）01 2 3 4 5 6 7 89脚轮数量（Nc）0.001 2 3 4 5 6 7 8 9脚轮数量（Nc）01 2 3 4 5 6 7 8 9脚轮数量（Nc）1.0近光，σ =0.01100近光，σ =1.0远光，σ =0.010.043.5远光，σ =1.00.80.60.40.20.0510203050100姿势数（Np）806040200510 20 30 50100姿势数（Np）0.030.020.010.00510 20 30 50100姿势数（Np）3.02.52.01.51.00.50.0510203050100姿势数（Np）图8. 在板方向上添加了高斯噪声的情况下合成的近和远光的估计误差（以度为单位）。每个数据点是500个随机试验的中位数顶行：Np = 10和Nc = 5。噪声 中间行：Np = 5并且Nc在x轴上。 底行：Nc = 5并且Np在x轴上。（E1）（E2）（E3）（E4）见图9。我们真实的实验环境。E1有四个LED固定在相机周围。在E2中，我们使用智能手机的摄像头和LED。在E3中，我们在太阳光下观察板。E4有一个手电筒固定在离板约3米的地方。E2我们分别校准了两款智能手机（索尼Xperia XZ和华为P9），以潜在地开辟简单，廉价，面向最终用户的手机光度立体声的道路。两款手机都有一个1920×1080像素的摄像头和一个LED灯。我们假设LED和摄像机在一个平面上（正交到相机轴并通过光学中心）并测量相机-LED距离以获得地面实况。在E3中，我们将板放置在阳光直射下，并在三个不同的时间获取数据集以获得三个光凸松弛光束法平差0.0 0.00.30.2凸松弛光束法平差0.00.00.020.01凸松弛捆;捆凸松弛捆;捆个led摄像头0.5m智能电话0.3m太阳光手电筒手电筒相机相机LEDLED相机标定板绝对误差绝对误差绝对误差绝对误差角度误差[deg.]绝对误差角度误差[deg.]角度误差[deg.]角度误差[deg.]角度误差[deg.]12H. 桑托湾Waechter，M.Samejima，Y.Sugano和Y.松下场景实验次数绝对值/埃光误差绝对值主销后倾角位置误差平均标准差 平均标准差表2. 四个真实场景中的估计误差。E1E2E3E44231灯光手机太阳位置灯六、4毫米二、5毫米1 .一、1度0的情况。5度二、6毫米0的情况。30毫米0的情况。34度–1 .一、8毫米1 .一、2毫米二、0mm的1 .一、7毫米0的情况。44 mm0的情况。61毫米0的情况。52 mm0的情况。51 mm1000E1的第一个光（近光灯）100E4（远光）100101015 10 20 30 50100姿势数（Np）15 10 20 30 50 100姿势数（Np）见图10。场景E1的第一光和场景E4的估计误差。 对于每个场景，我们捕获了200张图像，从这些图像中随机挑选了N p张图像，并估计了光线和脚轮位置。灰色条和误差条表示该过程的100次随机迭代的中值和四分位距方向在E4中，将手电筒固定在离板约3m处，以接近远距离照明。在E3和E4中，我们使用了佳能EOS 5D Mark IV，配备35 mm单焦点镜头和6720×4480的分辨率，并从测量的阴影投射器位置和手动注释的阴影位置获得了地面真实光方向。在E1、E3和E4中，我们使用了图1所示的A4尺寸校准板。2.在E2中，由于LED和相机靠近在一起，所以我们的正常平衡点的像素可以将像素显示在图像中，如图11（a）中所因此，我们使用了一个A6大小的电路板，带有4个引脚，2毫米的头部，并将其靠近相机，以有效地增加基线（见图1）。11（b））。表2示出了所实现的估计结果。灯光位置误差为6. E1和2为5 mm。对于E2（其场景范围和目标较小）为5 mm，光方向分辨率≤1mm，且位置分辨率≤2mm。Fig-图10示出了增加板姿势的数量如何单调地减小我们的两个真实世界场景上的估计误差。4.3同时估计多个灯光捕获和检测场景E1的两个阴影可以简单地操作（可靠地检测> 2个灯光的阴影需要更好的检测器），如第2.2节所述。3.4将平均灯光和主销后倾角位置误差从7减小。3和1. 8毫米到3. 5和1 .一、5mm。如上所述，我们还可以联合校准其图像被单独捕获的灯对于E1，这会减少错误，如表10所示3.第三章。4.4与现有方法的为了使我们的ACCURACY HOD能够达到预期的效果，在2-3个时间点上，Ackermann等人的表现与我们一样好。[20]实现了约30-70毫米的精度， 尽 管 也 最 小 -绝对误差[mm]角度误差[deg.]来自销运动的13表3. 对于分别单独捕获并分别单独或同时校准的2、3和4个光，场景E1中的平均估计误差（所有单位为mm）。校准光平均2盏灯错误。 主销后倾误差标准差平均标准差光平均3个灯错误。 主销后倾误差标准差平均标准差光平均4盏灯错误。 主销后倾误差标准差平均标准差单独7.341.001.810.397.822.391.800.396.402.631.790.44同时6.841.741.740.386.921.081.780.396.230.941.770.46表4.我们和沈的场景E1中的估计误差（在E1的4个灯光上平均）。方法我们的，阴影手工注释我们的，检测到沈，高光手工注释光误差平均值标准差光误差9 .第九条。45毫米1. 06毫米十五岁4毫米7. 45 mm十八岁6毫米5. 33 mm通过非常仔细的执行来最小化重投影误差（因此比基于更简单的三角测量方案[26]的早期镜球方法更精确）。我们认为这至少部分是由于他们对球体的使用。在本节中，我们将比较我们的校准方法（表示为Ours）与一个标准方法。 参照A ckerman的加速器计算出的球体，并与基于平面反射镜[4]的现有技术方法的重新实现（表示为Shen）进行比较。他们的方法观察点光在镜子中的镜面反射，还用透视投影对镜子进行建模，并推断出类似于相机校准的参数。在Shen的实现中，我们再次使用ArUco标记来获得镜子的为了公平比较，我们还手动注释了我们方法的阴影位置。在这两种方法中，我们观察到的目标，而改变其姿态距离光源约500毫米我们为每种方法捕获了30个姿势，并注释了阴影/反射。表4示出了场景E1中Ours和Shen的光源位置的估计误差。我们的手注释的阴影以及检测到的阴影优于沈注释的亮点。5讨论通过无噪声仿真实验，验证了该方法的正确性和精确性，数值误差可以忽略不计。因此，解决方案的质量是相当由板姿势估计和阴影检测的不准确我们在合成和真实世界的场景中表明，即使存在这些不准确性，我们的方法也可以通过足够数量的阴影投射器和板姿势的测量来准确地估计光源位置/方向，这些阴影投射器和板姿势可以通过在相机前面移动所提议的校准目标来容易地收集此外，我们表明，我们可以通过同时估计多个光来提高校准精度。14H. 桑托湾Waechter，M.Samejima，Y.Sugano和Y.松下与基于镜面上的高光的最新方法的比较显示了我们的高光的增强效果。我们认为，我们的新产品具有低成本的可实现性。 作为DiscussedinSec.2、高度高，难以实现本地化。在这种情况下，我们的钉在其邻近区域中不“灵活”，并且我们可以通过钉头尺寸轻松地控制其尺寸。如果需要更高的定位精度，可以选择比我们的小的引脚。与相关工作相比，我们的方法不需要繁琐的，容易出错的手工注释，例如球体轮廓，没有精确制造的物体作为精确的球体，并且没有精确的测量，例如，球体位置。我们的规模的成本结构非常简单、快速、灵活，而且成本计算能力很强。例如，在一个实施例中，板姿态估计和阴影检测/匹配）自动运行。唯一的手动交互-移动董事会和录制视频-很简单。据我们所知，没有其他方法结合了这样的简单性和准确性。我 们 想 添 加 一 个 关 于 校 准 目 标 设 计 的 想 法 ： Ackermann [20]poitedoutthatnarrwbaselinetargets（e. 例如，在一个实施例中，图[ 12]）具有沿着光方向的高度位置不这种不确定性可以通过构建一个大的静态目标（如两个间距很大的球体）或像我们一样在场景中移动目标来降低。因此，我们的方法再次与SfM紧密相关，其中相机移动是降低深度不确定性的关键局限性：我们的方法的一个限制是它要求照相机能够捕获连续图像（即，视频），用于跟踪阴影以解决阴影对应问题。如果脚轮相距足够远，则解决方案将是在板坐标系中聚集阴影第二个限制是光线和摄像机靠得太近的场景光源标定板暗影施法者相机（b）第（1）款闭塞（一）图11个国家。 利用小的相机到光的基线，如从相机（a）所看到的，投射者可以遮挡阴影。为了解决这个问题，我们使用一个小脚轮，将电路板靠近相机（b）并使电路板变小，以便相机可以完全捕获它。遮挡阴影的图像（见图1）。11（a））。这发生在我们的智能电话环境E2中，并且解决方案是有效地增加相机与光之间的基线，如图2所示。第11条（b）款。今后的工作：可以利用处理部分遮挡的阴影检测来缓解上述遮挡问题。此外，我们想分析退化的情况下，我们的方程是秩亏，例如有一个投射器的板被移动使得它的影子停留在同一点。最后，我们想要解决来自多个灯光的阴影之间的对应关系（Sec.4.3)更多的数学原理与方程，描述了共同运动的阴影从一个光和多个脚轮在一个移动的平面。鸣谢：本工作得到了JSPS KAKENHI Grant Number JP16H01732的支持。Michael Waechter感谢日本科学促进会通过博士后奖学金提供的支持。来自销运动的15引用1. Silver，W.M.：使用多个图像确定形状和反射率。麻省理工学院硕士2. Woodham，R.J.：从多个图像确定表面取向的光度测定方法。光学工程19（1）（1980）1393. 胡，B.， 布朗，C.M.， Nelson，R.C.：点光源的几何形状shadows. 技术报告UR CSD/TR 810，罗切斯特大学（2004）4. Shen，H.L.，程云：使用平面镜校准光源。电子成像学报20（1）（2011）013002-1-5. 张玉，Yang Y.H.：多光源方向检测及其应用图像合成IEEE Transactions on Pattern Analysis and Machine Intelligence（PAMI）23（8）（2001）915-9206. Wei，J.：基于局部光源控制的多光源鲁棒恢复stant约束 Pattern Recognition Letters 24（1）（2003）159-1727. 王玉，萨马拉斯，D.：用于混合现实图像合成的多个方向光源的估计。太平洋计算机图形与应用会议论文集。（2002年）388. 周文，Kambhamettu，C.：多个光源的发光方向和强度估计。欧洲计算机视觉会议（ECCV）论文集。（2002）2069. 曹，X.，Shah，M.：从有阴影的图像中进行摄像机标定和光源估计。IEEE计算机视觉和模式识别会议（CVPR）。（2005）91810. 佐藤岛Sato，Y.，Ikeuchi，K.：从阴影中的亮度恢复照明分布的稳定性问题IEEE计算机视觉和模式识别会议（CVPR）。（2001）II- 400-11. 佐 藤 岛 Sato ， Y. ， Ikeuchi ， K. ： 阴 影 的 照 明 。 IEEE Transactions on PatternAnalysis and Machine Intelligence（PAMI）25（3）（2003）29012. Powell，M.W.，Sarkar，S.，Goldgof，D.：一个简单的策略来校准ge-光 源的 几 何学 IEEE Transactions on Pattern Analysis and Machine Intelligence（PAMI）23（9）（2001）1022-102713. Hara，K.，Nishino，K. Ikeuchi，K.：光源位置和反射率估计从没有远距离照明假设