MudGet: 一种自动提取光情绪并再现所需照明效果的智能LED灯设计软件

可在ScienceDirect上获得目录列表计算设计与工程杂志首页：www.elsevier.com/locate/jcde计算设计与工程学报4（2017）231MudGet：使用智能LED灯再现所需的照明环境Yong Hwi Kim，Yong Yi Lee，Bilal Ahmed，Moon Gu Son，Junho Choi，Jong Hun Lee，Kwan H.李光州科学技术学院，123，Cheomdangwagi-ro，Buk-gu，Gwangju，大韩民国阿提奇莱因福奥文章历史记录：2016年11月30日收到2017年2月13日收到修订版，2017年2017年3月2日在线发布保留字：智能led光环境设计颜色提取A B S T R A C T随着智能LED的出现，基于照明的室内设计越来越受欢迎。然而，大多数基于LED的智能照明系统依赖于专家-人工干预来创建所需的氛围。为了方便起见，商业照明系统提供了许多选项，但它们的可用性相当有限。因此，新手用户需要一个直观的界面来生成所需的照明环境。在本文中，我们已经开发了一个软件，名为MudGet，它自动提取光的情绪从数字图像和控制LED灯再现所需的照明效果，根据提取的光的情绪。在我们的方法中，光的情绪被认为是一组代表性的颜色的数字图像。利用K-均值聚类算法提取代表性颜色。调光参数被设置为每个LED灯创建具有由软件提取的情绪的照明为了评估情绪再现质量的可行性，通过在小型化实验组下的用户研究来评估数字图像中的光情绪与使用LED的再现结果之间的相似程度。我们观察到，用户可以很容易地产生所需的气氛，通过建议的MudGet软件。©2017计算设计与工程学会Elsevier的出版服务这是一个开放在CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）下访问文章1. 介绍照明系统是室内设计的关键因素。它强烈地影响安装照明系统的环境的情绪。近年来，随着智能LED的出现，个性化的走廊照明设计变得流行起来。与荧光灯相比，LED灯具有诸如功率效率、延长的预期寿命、以及程度等优点。of freedom自由for changing更改the color颜色and brightness亮度. 商业LED照明系统通常提供嵌入式软件来控制LED灯。例如，Phillips已经发布了一个名为Hue的智能LED系统，该系统带有一个移动应用程序来提供用户界面。它可以以各种方式控制LED灯，例如选择照明灯具，并在直观的颜色空间中选择所需的颜色，例如HSV（飞利浦色调：个人无线照明，2016）。贝尔金还开发了WeMo智能LED灯泡，以创建照明系统的各种配方。它类似于PhillipsHue，但可以通过互联网从任何地方进行控制（Wemo智能LED灯泡，2016）。然而，大多数基于LED的智能照明系统依赖于专家-人类干预来创建定制的氛围。因此，q计算设计与工程学会负责的同行评审。*通讯作者。电子邮件地址：khlee@gist.ac.kr（K.H. Lee）。新手用户难以处理所需的情绪。为了方便起见，商业照明系统提供了许多选项，但它们的可用性仍然受到限制。因此，新手用户需要直观的界面来生成期望的照明环境。在研究领域，已经进行了各种研究，以开发创新的照明接口。 Anrys和Dutré（2004）提出了一种用于真实物体的逆向照明设计技术，使用一组预先录制的物体在各种照明条件下的照片。用户可以通过使用任何现有的数字图像软件在对象的照片上绘画来容易地设计期望的照明。Noh等人（2012，2014）提出了一个名为Lighty的系统，为照明设计提供了一个绘画界面。该系统使用户能够通过可控的机器人灯阵列来设计室内场景的照明分布。Aida等人（2016）提出了一种使用彩色纸用户界面（CLC/CPUI）的色光控制系统，以直观的方式控制Jeong等人（2012年）提出了一种LED情绪照明系统，以基于不同的光序列生成各种照明效果。这些研究使用指南信息来实现直观的用户交互。 Kwon等人（2014）旨在设计LED环境照明系统，其自动识别住宅区中用户的位置和行为，并创建适当的照明环境。提出了一种适合居住区用户环境和照明控制场景的光环境指数。Durak等人（2007年）探讨了不同的照明安排或各种http://dx.doi.org/10.1016/j.jcde.2017.02.0062288-4300/©2017计算设计与工程学会Elsevier的出版服务这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。232Y.H. Kim等人/Journal of Computational Design and Engineering 4（2017）231联系我们KS光照会影响对同一空间的感知。结果发现最合适的照明安排与他们的照度为每个印象。在本文中，我们已经开发了一个软件，名为MudGet（读取mood-get），它自动提取照明情绪从一个单一的数字图像和控制LED灯再现所需的照明效果，根据提取的光情绪。我们使用数字图像作为指导信息，以方便用户的干预。在我们的方法中，光的情绪被视为一组代表性的颜色的数字图像。利用K均值聚类算法从图像中提取代表性颜色。 在提取代表性颜色之后，为每个LED灯设置相应的控制参数，以便创建期望的照明环境。数字图像中的光情绪与使用LED的再现结果之间的相似程度在小型化设置是由用户研究评估。我们观察到，用户可以成功地产生所需的气氛，通过建议的MudGet软件。在下一节中，我们将介绍MudGet软件的功能和提出的情绪提取算法。然后，我们描述了硬件设置来控制全彩色LED模块。这里，照明控制信号的传输协议和LED响应的校准被覆盖。在实验部分中，我们展示了在小型化场景下的再现结果，并通过用户研究进行定性评估。最后，我们讨论了所提出的系统的影响，限制，和未来的潜力2. MudGet软件图 1示出了所提出的照明系统的概述。情绪信息是从MudGet软件上的输入图像中提取的我们通过网关将基于提取的情绪信息的LED控制参数（例如调光信号和颜色值）传送到LED灯网关具有TCP/IP和ZigBee模块，用于将软件生成的控制信号传输到LED灯。每个LED灯由微控制器单元（MCU）控制，该MCU具有内置的ZigBee模块以接收发送的信号。我们的软件提供了两个主要功能：情绪提取与方便的图形用户界面（GUI）和LED控制使用无线通信。为了提取情绪信息，我们使用输入图像作为引导信息。我们把图像中的灯光意境看作是一组具有代表性的颜色。然后，图像的代表性颜色被自动选择并推荐给用户（图2（左））。尽管自动推荐颜色很方便，但它不能完全支持用户的意图。因此，MudGet还具有手动模式，以在过于复杂的照明场景的情况下补充缺乏的功能。 用户可以手动选择所需的颜色，通过挑选图像中的特定点（图2（中）），并可以改变颜色的色调和强度值（图2）。 2（右））。在提取情绪信息后，MudGet可以通过无线发送控制信号到LED模块电路来打开LED。2.1. 软件界面2.1.1. 代表色的提取由于普通图像的低动态范围编码，光源的图像区域通常是饱和的。光源跟踪算法，诸如（Hara等人，2005）将不会检测到光源的原始色调，因为图像区域是饱和的。如前所述，我们将图像中的光情绪视为一组代表性颜色。因此，我们从图像中提取代表性的颜色来获得光的情绪信息。图3示出了所提出的颜色提取方法的流程图。对于给定的图像，我们首先将颜色空间从RGB转换为CIELab。RGB颜色空间通常用于电子系统中的图像的感测和显示。它是直观的，易于理解，但它与人类对颜色的理解无关。因此，我们将RGB三色刺激值转换为CIELab值，这些值专门设计用于近似人类视觉。为了从CIELab颜色空间中的图像中提取代表性颜色，我们使用K-均值聚类算法，分区n 观察x1;x2;. ;x n分成k个簇SS1;S2;. ;S k（MacQueen，1967）。在该算法中，每个观测属于具有最接近均值l的聚类，即，集群中心给定一组观测值，最小化簇内平方和（WCSS）以将观测值分配到最优簇中。argminnXXkx-lik21i¼1x2Si在我们的实现中，我们考虑给定图像在三维空间中的颜色，并分类k个聚类，最小化每个聚类中心的颜色之间的欧氏距离之和我们进行三个步骤来提取k个聚类。首先，我们生成随机选择的k个初始中心然后，通过将每个观察与最近的中心相关联来创建k个聚类。k个聚类中的每个聚类的质心成为新的均值。算法重复该过程，直到中心收敛。最后，我们将提取的颜色转换到RGB空间来表示结果。实验结果如图4所示。我们设置k= 6，并观察到三次迭代足以达到我们的应用程序的收敛。2.1.2. 在移动终端我们在一个android设备上实现了我们的系统，用户可以使用它来拍摄照片或从图库中选择一张照片，然后应用程序执行剩下的算法。作为第一步，将图像提供给算法。由于智能设备拍摄的图像通常为1300万像素左右，因此移动设备的有限处理能力不足以进行及时处理。因此，我们使用GPU加速的Android快速图像处理库来缩小输入图像。由于我们只对提取图像中的主色感兴趣，因此我们观察到缩小图像不会影响颜色提取输出。为了确认在颜色提取之前缩小图像一万次Fig. 1. 建议的照明系统概述。Y.H. Kim等人/Journal of Computational Design and Engineering 4（2017）231233图二.所提出的MudGet软件提供了方便的GUI以支持各种交互模式：从输入图像中自动选择颜色（a），在图像中手动拾取所需颜色（b），以及改变颜色的色调和饱和度值（c）。图三. 颜色提取的过程。见图4。 所提出的颜色提取的实验结果：输入图像（a）和其代表颜色（b）。测试平均主色差测量为2.3353和4.7597（分别为50%，25%）。我们观察到，当我们使用原始大小的图像和当我们使用缩小的图像时，有很小的色差，如图所示。 五、然后，我们开始与K-means聚类算法提取多个主色的输入图像。在随机选择种子点到K-means聚类阶段之后，我们创建多个线程，每个种子值一个线程每个线程获得计算区域的平均颜色这通过最小化聚类内的平方和来快速地为我们提供图像中的主色然后，GUI向用户显示提取的颜色，用户可以从其中选择适当的颜色值以通过仅一次点击发送到LED模块。对于1300万像素的图像，我们的移动实现在3秒的时间内完成了该算法。 图 5显示了我们的Android应用程序的一些屏幕截图。3. LED硬件我们的系统由RGB LED模块组成，由远程设备控制。我们选择在单个PCB上使用高光输出RGB LED，以确保用户可以在足够的净空内获得最大的可用光输出。我们使用一个3通道PWM控制器电路，以便能够控制颜色和光强。图6示出了我们的LED控制系统的配置的框图。我们使用微控制器单元来接收来自用户设备（如计算机、平板电脑或手机）的数据。控制电路产生相应的脉冲宽度调制（PWM）信号的RGB发光二极管。我们选择TCP/IP通信协议，因为它是定义良好的，可以对数据丢失和损坏鲁棒。图7（右）显示了我们实验中使用的实际设备。234Y.H. Kim等人/Journal of Computational Design and Engineering 4（2017）231图五. 从图像大小中提取代表性颜色100%（a）50%（b）25%（c）。图六、移动实现：（从左到右）应用程序启动，智能手机摄像头拍摄的图像，处理对话框和提取颜色的结果图7.第一次会议。 LED控制电路框图3.1. RGB LED控制电路控制每个红色，绿色和蓝色LED的强度对于实现正确的彩色照明非常重要。 为此，我们使用基于PWM的调光方案。使用这种方案允许我们单独控制每个LED的强度，从而产生适当的颜色混合。图7（左）示出了所使用的PWM发生器的框图。 我们使用一个20 kHz的相位校正脉冲宽度调制信号，16位定时器。为了产生所需的PWM信号，我们必须为控制器单元设置某些参数。我们将值99加载到ADC捕获寄存器，从而获得所需的20kHz频率。然后我们复制缩放后的值输出比较寄存器的所需占空比。每次比较后发生溢出时都会产生中断。这产生具有所需占空比的20 kHz相位校正PWM信号。虽然人眼无法分辨频率高于30 Hz的信号，但我们Y.H. Kim等人/Journal of Computational Design and Engineering 4（2017）231235选择了高频PWM，因为它有助于使用相机捕捉场景，避免由于快门速度变化而导致的RGB调制。此外，高频操作是节能的，并且可以产生高亮度水平。3.2. 通信调光如前一节，我们使用一个20 kHz的信号，以实现高效和平稳的操作，并改变控制PWM信号的占空比，这些信号由车载控制器单元生成，但导航数据通过网络从PC或智能设备发送我们在每个LED模块和终端设备之间使用TCP/IP链路，以确保可靠且无损坏的数据传输。参考图1，我们提出的设置可以容易地扩展到附加的照明设备，其中多个用户可以同时控制LED网络和LED模块之间的链接可以是有线或无线链接，但在我们的实验设置中，我们使用有线链接。此外，用户还可以无线连接到网络，以便使用智能手机应用程序进行方便的控制。我们在一个数据包中传输每个LED的数据，该数据包由控制器单元本身以PWM信号的形式这确保了不必要的或延迟的输出情况下，如果系统运行到temporary网络问题。我们实现了该系统，并牢记它可以很容易地在现实世界中实现，而无需进行任何整个系统配置确保了可靠的性能和可行的实施。3.3. 校准 LED响应为了使用LED灯表示所需的颜色，将来自用户输入的离散化所提出的系统有六个参数来控制LED。三个参数是从0到255的R、G和B通道控制参数。此外，每个通道的0和1之间的三个归一化权重R、G和B用于控制亮度，并被编码在发送到RGB LED模块的PWM信号中。我们使用校准的数码单反相机（尼康D4s）来测量LED的RGB响应，优化我们的六个参数。我们使用标准D50光（Cine-Lite D50日光）、比色表（X-Rite彩色检查仪数字SG）和相机表征方法（Hong等人，2001年）。我们首先设置权重参数以匹配每个LED通道的强度平衡。在我们的系统中使用的LED模块具有较强的亮度响应的蓝色通道和相对较低的绿色通道。因此，我们设置了绿色通道作为参考，并在采取响应措施后相应地调整其他通道的强度水平我们在每个通道的17个步骤中测量样本数据，同时将R，G和B参数从0改变到255，分别增加10LED的RGB响应通过对拍摄图像的感兴趣区域求平均来获得使用非递减函数拟合测量数据，以导出每个RGB通道的响应曲线（图1）。 8）。最后，我们计算控制参数，以重现所需的RGB颜色值使用LED模块。4. 实验为了验证所提出的系统的有效性，我们评估了情绪再现的准确性定量和定性。为了以定量的方式评估情绪再现的准确性，我们设置了MudGet系统，并在暗室环境中将DSLR相机校准为辐射计然后，我们生成均匀分布在光谱上的几个未知光颜色值，并将其发送到LED模块。然后我们直接捕获LED灯产生的光，以获得相机空间中的RGB值。LED的RGB值在所捕获的图像中的感兴趣区域上被平均，并且针对相机响应被补偿。接下来，我们corr- rect的LED输入根据第3.3节中测得的LED响应曲线，并将它们馈送到LED，以产生正确的光输出。最后，我们再次使用相机捕获产生的照明，并将其与我们在LED响应校正之前观察到的光输出值进行比较。我们计算两者之间的数值误差，并通过CIELab颜色空间中的CIE94度量计算色差（Schanda，2007）。我们对20个不同的输入值重复此过程以计算平均误差。根据实验结果，平均误差在9%~ 10%之间。我们观察到绿色通道比红色或蓝色通道表现出相对较大的误差。这是由于绿色LED模块上的硬件限制，绿色LED模块生成蓝色光而不是纯绿色。这个平均误差的程度是在使用RGBLED模块的整体颜色再现方面是不可替代的，但是是允许的。特别地，我们可以从红色和蓝色通道再现所需的颜色，其误差小于3%。我们进行了一项用户研究，以评估以定性的方式再现准确性。图9示出了用于照明再现的系统配置和场景。该系统配置包括一个监视器显示器，微型室和一个LED灯，这是由我们提出的见图8。 PWM生成逻辑（a）和实际设备（b）。236Y.H. Kim等人/Journal of Computational Design and Engineering 4（2017）231MudGet软件。主观评价的用户研究由20名研究生进行，他们不是视障或色盲。参与者比较了小型化房间设置和显示在监视器显示器上的输入图像之间的再现照明情绪。评估了三个参数，即颜色、亮度和整体光情绪的相似性，每个参数最多有5个点（见图1）。 10）。在颜色相似的情况下，总体满意度高于其他条目。特别地，具有单个主照明颜色的图像1、2、4和5的颜色相似性另一方面，在具有由多个照明源产生的若干照明颜色的图像3的情况下，接收到较低的分数。另外，图像6和7也具有低分数，因为由来自白光的间接照明产生的对象特定颜色。然而，在图像8、9和10包含诸如草、海和橘子的场景的情况下，评估参与者可以具有对众所周知的场景的预期想象，并且因此，尽管图像中颜色复杂或众多，颜色相似性评价仍然很高。换句话说，如果图像包含单个主导光源，则MudGet程序可以在当前配置中非常有效地再现类似的颜色。对于10幅不同光照状态的图像，亮度相似性的结果仍然可以接受。这些结果从3.10到4.15不等，5. 特别地，参与者对包括饱和光点和由于直接照明或渐变效应而产生的高光的图像给出低分数，如在图像1、2和3中所见。另一方面，如图像5和9中所见的具有均匀亮度而没有饱和度和高光的图像被实验参与者很好地接受。此外，图像4获得了良好的评价分数，尽管它包括饱和度和来自直接光源的高光。在这种情况下，多个光源产生了整体均匀的照明条件，使我们的软件能够有效地提取照明情绪。由于我们仅使用单个LED光源进行照明，因此无法重新生成由输入图像序列中包含的多个光源创建的这样的结果见图9。在我们的实验中使用的LED灯的估计响应曲线。图10个。用户研究的实验设置：实验设置（a）和照明再现的示例（b）。用户将输入图像的理想情绪与小型化场景上的再现结果进行比较。Y.H. Kim等人/Journal of Computational Design and Engineering 4（2017）231237见图11。 用户研究结果。通过设置多个LED光源以扩展可实现的亮度范围并生成多色照明效果以从输入图像完全再生期望的照明条件，可以针对包含饱和区域和高光的图像来改进但作为概念验证，所提出的系统表现得非常好。在图像6和7的情况下，颜色相似度的结果被估计为低，因此情绪相似度也被估计为低。图像1和2的颜色相似性被评估为高，但是由于低亮度相似性，情绪相似性被评估为低。对于图像4和5，颜色和亮度相似性以及情绪相似性被评价为高。通过这项用户研究，我们观察到颜色和亮度都是再现照明情绪的重要因素。整体实验环境代表视觉上舒适的照明，没有任何来自我们的LED灯的苛刻影响如果图像包含单一且清晰的主色，则用户对情绪再现的满意度仍然很高 单个LED实验设置具有有限的潜力来表示亮点和多色光，但是可以通过对现有系统进行最小修改的多个LED模块来容易地进行改进（参见图10）。 11）。5. 结论本文提出了一种基于图像的照明设计界面，使用户可以方便地控制所需环境的照明情绪我们通过进行用户研究来评估所提出的系统的有效性最近，已经开发了许多其他LED，诸如基于量子点的LED（QDs-LED）（Luo等人，2015; Xie等人，2016 a）（关于QD的更全面综述，我们参考Xie et al.（2016 b））。我们的方法可以直接扩展到控制这种新开发的LED，因为我们的方法在两个部分中高度调制;图像的颜色提取和硬件控制单元。根据Xie et al. （2016b），我们相信，通过用具有高显色性的QD-LED替换我们使用的商用LED，我们的结论是，所提出的框架执行良好的用户友好的方式为所需的应用程序。然而，如果源图像包含多个光源，则可以使用多个LED设备来完全复制情绪。此外，更鲁棒的基于语义的照明情绪提取方法可以进一步增加系统的鲁棒性由于其设计拓扑结构，该系统可以很容易地扩展到多个设备在未来。我们期待着实现多个光源到多个LED模块的支持，以及在未来，我们将采用更智能的方法来提取照明信息，以增加功能。确认这项研究得到了中小企业管理局和韩国中小企业技术和信息促进机构（TIPA）的支持。引用Aida，Hiroto，Matsui，Kento，Keisuke，Soma，Murakami，Hiroki，Miki，Mistunori.彩纸使用者介面应用于彩色照明控制系统之检验。见MATEC会议网，第56卷（第06002页）。doi：http://dx.doi.org/10.1051/matecconf/20165606002。Anrys，F.，Dutré，P.（2004年）。基于图像的照明设计。Durak，A.，奥尔贡蒂尔克，N. C.的方法，Yener，C.，Güveneil，D.，&古尔奇纳尔岛（2007年）。照明布置和照度对房间不同印象的影响。建筑与环境，42（10），3476-3482。哈拉，K.，Nishino，K.，&Ikeuchi，K.（2005年）。光源位置和反射率的估计，从单一 的看 法， 没 有遥 远的 照明 假设 。 IEEE Transactions on Pattern Analysis andMachineIntelligence，27（4），493-505.http://dx.doi.org/10.1109/TPAMI.2005.82网站。Hong，G.，罗，M.R.，Rhodes，P.A. （2001年）的第10页。基于多项式建模的数码相 机 色 度 特 性 研 究 Color Research Application ， 26 （ 1 ） ， 76-84. http ：//dx.doi.org/10.1002/1520-6378（200102）26：176：：AID-COL8>3.0.CO;2-3.Jeong，Gu-Min，Yeo，Jong-Yun，Won，Dong Mook，Bae，Sung-Han，&Park，Kyung-Joon.运用个人化色彩序列产生之led情绪照明系统之设计与实现。KSIITransactionsonInternetandInformationSystems，6，3182-3196.http://dx.doi.org/10.3837/tiis.2012.12.009网站。权，S。是的，Im，K. M.，&林志辉<英>香港实业家。，1930--人（2014年）。住宅区led背景照明系统。科学世界杂志.罗志陈洪，Liu，Y.，徐，S.，&吴，S- T.（2015年）。基于量子点悬浮的颜色可调发光二极管。Applied Optics，54（10），2845-2850.MacQueen，J.（1967）.多元观测值分类与分析的若干方法。第五届伯克利数学统计与概率研讨会论文集。《统计》（第1卷，第100页）。281-297）。加州大学伯克利分校：加州大学出版社.诺赫，S.T.，桥本，S.，Yamanaka，D.，Kamiyama，Y.，Inami，M.，伊加拉斯，T.（2012年）。Lighty：一个通过机器人灯光阵列进行室内照明的绘画界面。2012年IEEE 混 合 与 增 强 现 实 国 际 研 讨 会 （ ISMAR ） 。305- 306 ） 。 doi ：http://dx.doi.org/10.1109/ISMAR.2012.6402586网站。Noh，S. T.，桥本，S.，Yamanaka，D.，Kamiyama，Y.，Inami，M.，&伊加拉斯，T.（2014年）。室内灯绘画界面的设计与增强。 TheVisual Computer，30（5），467-478.飞利浦色调：个人无线照明。访问时间：2016-07-08.Schanda，J.（2007年）。色度学：了解CIE系统。约翰·威利&父子公司Wemo智能LED灯泡。访问：2016-07-08.谢，B.，陈伟，郝，J.，吴，D.，Yu，X.，陈玉，... Luo，X.（2016a）中所描述的。含量子点与萤光粉之远距离白光发光二极体结构最佳化：封装顺序之重要性。OpticsExpress，24（26），A1560-A1570.谢，B.，胡河，&Luo，X.（2016年b）。用于照明和显示的量子点转换发光二极管封装：现状和前景。电子封装杂志，138（2），020803。