⃝⃝可在www.sciencedirect.com上在线ScienceDirectICT Express 4（2018）112www.elsevier.com/locate/icte基于像素位置映射的基元像阵离轴多投影积分成像Hee-Min Choi，Jae-Gwan Choi，Eun-Soo KimHoloDigilog人类媒体研究中心（HoloDigilog），3D显示研究中心（3DRC），光云大学，447-1 Wolge-Dong，Nowon-Gu，Seoul 139-701，韩国接收日期：2018年4月19日;接受日期：2018年在线发售2018年摘要提出了一种基于像素位置映射（PPM）的离轴多投影积分成像（OA-MPII）系统。在所提出的系统中，每个离轴投影仪的EIA是从参考EIA（R-EIA）生成的。 通过利用由这些投影仪的位置和取向角确定的PPM函数进行校准。这些校准的EIA（C-EIA）以及R-EIA，然后投影到整个平面的凸面镜阵列（CMA）与其相应的投影仪，并最终集成到一个分辨率增强的三维物体图像没有失真。射线光学分析和光学实验与测试的三维物体证实了该系统的可行性。c2018韩国通信与信息科学研究所（KICS）。Elsevier B.V.的出版服务。这是一个开放获取CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：三维显示;投影积分成像1. 介绍到目前为止，积分成像在真实三维（3-D）显示器和电视广播领域引起了很多关注，因为它可以提供具有全视差和连续视点的全色3-D图像[1，2]。整体成像系统包括两个过程，例如拾取和显示过程。在拾取过程中，来自3D物体的光线通过透镜阵列被记录在电荷耦合器件（CCD）相机上，作为称为元素图像阵列（EIA）的元素图像阵列，其代表3D物体的不同视角。从这个拾取的EIA，一个3-D物体的重建通过组合使用的液晶显示器（LCD）和透镜阵列。然而，这种传统的整体成像系统具有窄视场（FOV）的严重缺点[3]。这里，FOV被定义为图像的最大范围。*通讯作者。电子邮件地址：eskim@kw.ac.kr（E.- S. Kim）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2018.04.013要观察的角度，强烈依赖于镜头的f数，其中f数由焦距与镜头间距的比值给出[4]。在实践中，f数透镜的尺寸不能制造得足够小，使得传统的积分成像系统的视场受到很大限制。为了解决这个问题，已经提出了几种方法[5其中，提出了使用凸面镜阵列（CMA）的单投影积分成像（SPII）系统[11]。由于凸面镜的f数可以比具有相同规格的凸透镜的f数短得多的事实，该系统的FOV预期增加，这然后允许SPII系统的FOV大大增强。即使该SPII系统可以提供更宽的FOV而没有深度反转和3D图像的翻转现象，该系统中显示的3D图像的分辨率取决于用于光学显示器的CMA的基本凸面镜的总数[11由于观察者通过CMA的每个基本凸面镜观察单个成像点，因此，2405-9595/c2018韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。H.- M. Choi et al. / ICT Express 4（2018）112113该系统可以通过增加CMA内的凸面镜的数量来增强，但在实际应用中其最大值必须作为替代方案，已经提出了多投影积分成像（MPII）系统[14]。与SPII系统不同，MPII系统采用多投影仪，通过将多个EIA同时投影到CMA上来提高重建的3-D图像的分辨率。然而，在该系统中，基于轴上投影模型，将多个投影仪设置为沿垂直和水平方向规则地对准，因此，只能从这些多投影图像平面的共同重叠区域重建3D图像，这意味着不能使用CMA的整个平面。换句话说，即使显示图像的分辨率通过使用多投影仪而增加，CMA的用于显示图像的有用区域也会大大减少因此，作为利用所采用的CMA的整个平面以及增加显示图像的分辨率的实用方法，提出了具有校准的EIA（C-EIA）的离轴多投影积分成像（OA-MPII）系统，其中轴上参考投影仪被设置为位于系统的中心，而其它离轴投影仪被设置为位于系统的中心。轴投影仪被规则地定位成沿着垂直和水平方向远离中心，并且以取决于它们的位置的角度朝向CMA，以使它们的全尺寸投影到同一CMA。这里必须注意，从这些离轴投影仪投影的EIA看起来是失真的，因此需要一种为这些离轴投影仪生成EIA的方案存在几种校准方法来去除传统离轴投影系统的梯形失真效应，其中仅生成没有由于梯形失真效应引起的失真的2-D图像[15然而，在所提出的方法中，将生成用于这些离轴投影仪中的每一个的EIA。首先，通过透镜阵列捕获3D对象的EIA（称为参考EIA（R-EIA）），并从轴上中心投影仪投影。其次，然后通过根据这些离轴投影仪的位置和取向角校准R-EIA来生成用于其他离轴投影仪的EIA，其被称为C-EIA [18]。为此，本文基于射线光学原理，推导了R-EIA和相应C-EIA的像素之间的像素位置映射（PPM）函数。C-EIA以及R-EIA然后被转移到相应的投影仪，并投影到CMA的同一平面上，并且从该投影仪可以重建无失真和分辨率增强的3-D对象图像并显示在CMA前面。为了证实所提出的系统的可行性，射线光学分析和光学实验与测试的三维物体进行，并与传统的方法的结果进行了比较讨论。2. 该方法2.1. 行动构想图图1示出了传统的轴上和提出的离轴MPII系统的光学配置，其中每个系统Fig. 1.（a）传统的轴上MPII和(b)提出的离轴MPII（OA-MPII）系统。由一个CMA和三个投影仪组成如在图1（a）的常规MPII系统中看到的，三个投影仪沿着水平方向平行定位，并且从每个轴上投影仪投影的三个光束在CMA平面上重叠只有具有三个投影光束的CMA的小的重叠中心区域可以用于光学显示。另一方面，在图1（b）的所提出的离轴MPII（OA-MPII）系统中，三个投影仪被控制为适当地定位并定向到CMA，以使它们的光束投影到CMA的整个平面上，而不会使投影的EIA失真。为此，在本文中，提出了一种新的校准方法来产生这些C-EIA从每个投影仪投影的PPM函数的基础上利用导出的PPM函数，可以计算来自R-EIA的特定像素的射线的几何位置根据这些计算的位置值，通过与R-EIA的该像素位置相关来计算其他离轴投影仪的那些C-EIA的其他像素位置值。然后，将R-EIA的像素强度值直接映射到那些对应的C-EIA的每个像素位置。通过对那些C-EIA的所有像素进行该校准过程，对于图1的情况，将生成两种C-EIA以及R-EIA。 1（b）.2.2. 离轴MPII系统和PPM功能图图2示出了轴上投影模型，其中投影仪被建模为针孔投影仪。由于2-D图像是用针孔投影仪投影到CMA上的，因此图像大小可能会根据投影仪和CMA之间的距离而变化。换句话说，来自投影仪的特定像素的光线的几何位置可以根据投影仪和CMA之间的距离以及投影仪的像素位置而改变。在图2中，αx和αy分别表示投影仪在x轴和y轴上的半发散角。投影仪的景深（DOF）表示投影仪的深度范围。投影图像要以适当的清晰度可接受地观看[19]。图2的该单投影模型可以扩展到多投影模型。然而，在基于轴上投影模型的MPII系统中，只能从EIA重建3-D对象图像，EIA是114H.- M. Choi et al. / ICT Express 4（2018）112=2图二. 轴上投影模型在（a）水平和（b）垂直方向上的光学配置。从CMA的小重叠区域反射，如图1（a）所示。这意味着，即使从每个基本凸反射镜反射的孔径的数量根据所采用的投影仪的数量而增加，也在实际应用中，这导致了重建的三维物体的图像面积的减小。图3示出了离轴投影显示模型的光学配置，其中投影仪被定位成远离中心并且朝向CMA。因此，需要一种新型的分析离轴投影显示系统的校准方法如图3所示，每个投影仪具有若干参数，例如发散角、分辨率、定位位置和定向角。来自相邻像素的两条射线之间的角度（一）.α′ =2 α x，α′ =2αy（一）图三. （a）x-z和（b）z-y方向上的离轴投影显示模型xRx−1yRy− 1其中rx 和Ry表示投影仪的分辨率，x和y方向，以及αx′和α′y 表示来自相邻像素的出射光线的角度差。当量（1）示出了来自相邻像素的两条射线之间的入射角的差被假设为与αx′的差和α′y。因此，可以定义用于分析射线的几何位置的光学函数，其被称为像素位置映射（PPM）函数。此外，图3示出了用于像素位置映射的离轴投影模型，其中针孔投影仪和CMA位于（xp，yp，zp）和z0的位置处。飞机，分别。这里，单个像素位置被表示为r（i，j），其中i和j表示整数，并且分别在x和y方向上从1到Rx和Ry投影仪分别以x轴和y轴上的θ和θ角定向。从r（i，j）现在，从像素位置r（i，j）出来的光线传播到CMA中的位置M（xi，yj）。因此，几何位置M（xi，yj）可以用等式（1）计算。（二）、此外，由于Eq. （2）受xp，yp，zp，θ和θ的影响，与投影仪参数有关，几何位置M（xi，yj）随投影仪参数的改变而改变。离轴投影模型中的投影平面的形状可以不是矩形的，不同于轴上投影平面上的形状。因此，来自针孔投影仪的四条射线将聚集在正方形的四个顶点上，其中每个顶点的几何值可以由下式给出：当量（三）、xleft= −tan（αx−ε）×zp+xp传播到CMA表面上的点M（xi，yj）因此，用于计算M（xi，yj）的几何位置的PPM函数可以由等式（1）导出（二）、x右=tan（αx+α y）×zp+xp y下=tan（α x+αy）×zp+y p上=tan（αx+ α y）×zp+（三）xi= zp ×tan（（i−Rx+1）×αx′+θ）+x p由方程式（3）、x左、x右分别表示x方向光线入射时产生的最左、最右顶点位置。yj=coszp（（i−Rx+1）×α′+θ）（（Ry-j）从投影仪的表面上的CMA，而y底部，yupper表示底部和上部顶点位置，'2xy- 来自投影仪的方向光线与表面相遇×αy+β）+yp（2）的CMA。因此，CMA上的投影平面可以是H.- M. Choi et al. / ICT Express 4（2018）1121152z′p- p2yzp′--×X见图4。光学配置，用于使用基于PPM功能的R-EIA为离轴投影仪生成C-EIA。由四个顶点生成，例如（x左，y下），（x右，y上）、（x左，y下）和（x右，y上）。在轴上投影模型的情况下，投影平面的形状变得与矩形形状相同，而在离轴投影模型中，其中投影仪远离原点定位并且分别在x和y方向上以θ和θ角定向，投影平面的形状在CMA上可能有些失真也就是说，在离轴投影模型中，投影的EIA中必然发生失真由于离轴投影模型中的这种失真可能会干扰来自投影仪的任意像素的出射光线与对应的基本凸面镜之间的正确映射，因此重建的3D图像变得有些失真。因此，离轴投影仪的EIA应使用这些参数xp、yp、zp、θ和因此，可以对3D图像进行无失真重建。图五. 校准过程的流程图。设置由CMA和参考投影仪组成的同轴投影显示，包括投影仪的发散角和CMA与投影仪之间的利用这种同轴投影显示器，R-EIA被投影到CMA。在第二步中，确定θ、θ、xp′、yp′的参数 而z p′ 并且在第三步骤中，如图4所示，对应于参考投影仪上的像素点r（i，j）的CMA上的每个像素点M（xi，yj）用等式2计算。（二）、在第四步骤中，计算CMA上的M（xi，yj）的每个像素点，其对应于离轴投影仪上的r（i′，j′）的像素点，其中离轴投影仪上的i′和j′（4）.i′=（atan（（zp×tan（（i−Rx+1）×α′）−xp））办妥了一批×1）−θ）×1+αx′Rx′+122.3. 用于产生离轴EIA的校准过程图图 4示出 了用于校准光学系统的光学配置。j′=−（atan（（zp×tan（（Ry−j）×α′y+α））（四）使用PPM的功能协调发展的cos（（i′−Rx+1）×αx′+θ）’））1α′y在图1的离轴MPII模型中， 4、同轴投影仪一台位于（xp，yp，zp）处，另一个离轴的位于CMA前面的（xp′，yp′，zp′）处三维物体的R-EIA当量（4）示出了参考投影仪和离轴投影仪的像素位置之间的几何关系。也就是说，CMA上的M（x，y）的像素位置对应于M（x，y）的像素。为参考投影仪预先捕获并用于i，j基于所述基于PPM的校准过程生成用于其他离轴投影仪的所述C-EIA图5示出了由六个步骤过程组成的校准过程的流程图。在第一步中，参考投影仪的r（i，j）的位置用等式（1）计算。然后，利用等式（2）计算与M（xi，yj）的相同像素位置对应的离轴投影仪的i′和j′（4）.×+Ry′116H.- M. Choi et al. / ICT Express 4（2018）112×××−=−×见图6。（a）测试“骰子”对象和（b）所提出的OA-MPII显示系统的实验设置。在第5步中，将参考投影仪的r（i，j）的强度值分配给相应的离轴投影仪的r（i'，j'）的在最后的步骤中，通过对所有这些离轴投影仪中的每一个执行该校准过程，生成它们对应的C-EIA。然后，R-EIA以及C-EIA从其相应的投影仪投影到CMA，并在CMA前面集成为分辨率增强的3-D图像，而不会失真。3. 实验图6示出了所提出的系统的实验设置，其由CMA和三个投影仪组成此外，立方体“骰子”被用作测试3D对象，它是用3Ds MAX生成的Dice物体的R-EIA是用计算拾取方法产生的，其中由77个透镜44和CCD相机，其分辨率是1920 1080像素，使用。“骰子”物体和透镜阵列之间的距离被设置为560 mm，并且基本凸面镜的间距也被设置为7.47 mm。在显示器中，使用三个商业投影仪（型号：LGPF 85K）。表1显示了拾取和显示设备的规格R-EIA的分辨率被设置为1920 × 1080像素，并且用于左投影仪和右投影仪中的每一个的C-EIA的分辨率也被设置为具有相同的分辨率。沿x和y方向的发散角分别为42°和21°。图6（a）和（b）分别示出了“Dice”和所提出的OA-MPII显示系统的测试3D对象将位于显示系统中心的参考投影仪设置为与CMA相距800 mm。另外两个投影仪位于距离中心276.5 mm和276.5 mm的位置，称为分别为左和右离轴这些左离轴投影仪和右离轴投影仪被设置为分别具有θ20°和25°的不同取向角。很好三台投影机（型号：LGPF 85K），具有相同的αx、αx、Rx和RY参数。图7（b）示出了参考投影仪的R-EIA，而图7（a）和（c）示出了从R-EIA生成的左和右离轴投影仪的C-EIA，（2）和（4）。图8示出了从左、中和右方向观察的重构物体的实验结果。图 8（a）见图7。（a）C-EIA用于左离轴投影仪，（b）R-EIA用于参考投影仪，以及（c）C-EIA用于右离轴投影仪。见图8。对来自（a）SPII显示系统、（b）轴上MPII、（c）不具有校准过程的所提出的OA-MPII显示系统和（d）具有校准过程的“骰子”的重构3-D对象的实验结果。(For对本图图例中所指颜色的解释，读者可参考本文的网络版。）显示了从传统SPII显示系统重建的“骰子”的3-D对象。如图8（a）所示，重建的3-D对象的图像质量和亮度看起来非常低，并且由于重建的3-D对象图像的分辨率变得非常低，因此不能观察到透视的变化。 图图8（b）示出了从采用三个投影仪的传统轴上MPII显示系统重构的“骰子”的3-D对象。然而，如上所述，在CMA上的这些投影平面之间的重叠区域变得窄得多，因此，仅用13 × 13个凸面镜重建的3-D物体的分辨率得到降低，即使其亮度和分辨率与SPII相比已经提高了此外图图8（c）示出了在没有校准过程的情况下从所提出的OA-MPII显示系统重构的“骰子”的3D对象。如图8（c）所示，具有那些未校准的EIA的投影平面变得失真，因此“骰子”的测试3D对象不能被正确地重建。另一方面，如图所示。 8（d），测试的3-D对象的“骰子”已被清楚地重建在全尺寸，因为失真已被删除与建议的校准过程。此外，与传统的SPII系统相比，这些物体的分辨率和亮度提高了3倍。此外，“骰子”左侧的宽度H.- M. Choi et al. / ICT Express 4（2018）112117表1实验中使用的摄像和显示设备的规格参数规范凸面镜阵列·凸面镜阵列的间距7.47 mm·基本凸面镜数量77×44• αx21参考投影仪左投影仪右投影仪• γ21α• 分辨率1920× 1080• θ0◦• αx21• γ21α• 分辨率1920× 1080• θ20◦• αx21• γ21α• 分辨率1920× 1080• θ−25◦已经发现红点根据观察方向（例如左、中和右方向）而改变，这意味着在“Dice”的重建的3D对象的透视图中存在改变4. 结论本文提出了一种离轴多投影积分成像系统，利用像素位置映射方法，提高了重建物像的分辨率，且无失真。每个离轴投影仪的C-EIA都是通过使用PPM功能进行校准，从R-EIA生成的。C-EIA以及R-EIA然后从其相应的投影仪投射到CMA中，并集成到分辨率增强的3-D对象中，而不会因从CMA反射而此外，通过对测试对象的光线光学分析和光学实验，验证了该系统在实际应用中的可行性。确认这项工作得到了韩国国家研究基金会（NRF）（编号2011-0030079）的支持，韩国政府（MSIP）资助了这项工作（编号2011-0030079）。2011-0030079）。引用[1] F. Okano，H.星野，J.新井，I.陈志华，基于积分摄影的三维图像实时拾取方法，应用光学，36（1997）1598-1603.[2] A.斯特恩湾Javidi，Three-dimensional image sensing，visualization，andprocessing using integral imaging，Proc. IEEE 94（2006）591-607.[3] M.- J. Cho，M.达内什帕纳岛K.穆恩湾Javidi，使用积分成像的三维光学感测和可视化，Proc. IEEE 99（2011）556-575。[4] J. - H. 公园，S-W. 敏，S.荣格湾李，基于积分摄影的两种显示方法的观察参数分析，应用。选购配件 40（2001）5217-5232。[5] S.- W. Min，J.- H.金湾，澳-地H.李，宽视角投影型集成成像系统与浮雕屏幕，光学快报。29（2004）2420-2422。[6] J. - B. Hyun ， D.- C. 黄 德 - H. Shin ， B.- G. Lee ， E. S. Kim ，Curvedprojectionintegral imaging using an additional large-apertureconvex lensfor viewing angle improvement，ETRI J.31（2009）105-110.[7] G. Baasantseren，J.- H.帕克，K- C. Kwon，N. Kim，使用两个基本图像掩模的视角增强的积分成像显示器，Opt. Express 17（2009）14405-14417.[8] B.- H. 李 ， S.- Y. Jung ， J.- H. 和 Park ， Viewing-angle- enhancedintegralimaging by lens switching，Opt. Lett. 27（2002）818-820。[9] Y.-- H. 金，J. -H. 公园，S-W. Min，S.-Y. 荣格，H.-J. Choi，B.-H.李，通过弯曲屏幕和透镜阵列的宽视角积分三维成像系统，应用光学44（2005）546-552。[10] C.- W.陈文J. Cho，Y.- P.黄，B. Javidi，使用自适应液晶棱镜阵列的投影型积分成像3D显示器的改进的观看区域，IEEE J. Disp. 10（3）（2014）198-203。[11] J. - S. Jang，F.Jin，B.贾伟迪，使用微凸面镜阵列的三维投影积分成像，光学快报12（2004）1077-1083。[12] T. Nakamura，M. Yamaguchi，使用分层上转换的二进制正弦图案的投影型全息光场显示器的快速校准，Appl.Opt.56（2017）9520-9525。[13] H.- M.崔，Y.- S. Hwang，E. S. Kim，基于直接投影积分成像的三视图三维显示器，在：数字全息和三维成像，2017年，第100页。Th4A.4.[14] J. - Y. Jang，D. H. Shin，B.- G.李，E.- S.金，使用凸面镜阵列的多投影积分成像，光学。Lett. 39（2014）2853[15] F. 郑湾，澳-地孔，基于棋盘格的线结构光系统标定344-346[16] W. 高 湖 ， 加 - 地 王 志 - Y. 和 Hu ， Flexible calibration of aportablestructured light system through surface plane，Acta Automat.中华医学会志34卷11期（2008）第1358-1362页.[17] R. Yang ， 杨 氏 D. 作 者 ： J. M.S. Towles Brown ， PixelFlex ： areconfigurable multi-projector display system ， in ： Proc.2001 年 ，“2001年21比26[18] H.- M. 崔，J. -Y. Jang，E.S. Kim，基于多投影仪的反射积分成像系统中消除梯形效应的元素图像校准方法，KR 101649051 B1，2016。[19] D. Iwai，S. Mihara，K. Sato，通过快速焦点扫描投影的扩展景深投影仪，在：IEEE Trans.Vis. Comput. 2015年10月21日，第21页。462-470
