没有合适的资源?快使用搜索试试~ 我知道了~
21640为表面分类设计光源的光谱功率分布0Henryk Blasinski, Joyce Farrell, Brian Wandell斯坦福大学电气工程系,斯坦福,加利福尼亚州0hblasins,joyce_farrell,wandell@stanford.edu0摘要0在许多科学、医学和工业成像应用中,用户可以完全控制场景照明,而颜色再现并不是主要目标。例如,可以共同设计传感器和光谱照明,以对生物组织、有机和无机材料以及物体表面性质进行分类和检测。本文提出了两种不同的表面分类光源谱选择方法。在第一种方法中,即有监督框架中,我们制定了一个双凸优化问题,通过在支持向量分类器权重和最佳光源之间交替优化来解决。在第二种方法中,即无监督降维中,我们描述并应用了一种新的稀疏主成分分析(PCA)算法。我们使用凸松弛和交替方向乘子法(ADMM)高效地解决了非凸PCA问题。我们将优化光源的单色成像传感器的分类准确性与使用自然宽带照明的传统RGB相机的分类准确性进行了比较。01. 引言0照明源的光谱功率分布在数字相机对物体进行成像和分析时起着基础性作用[34]。在消费级数码摄影中,场景照明的光谱特性在拍摄时是未知的,颜色平衡(白平衡)的主要挑战是估计照明光源的光谱功率[35]。在许多应用中,颜色再现并不是成像系统的主要目标,例如腹腔镜手术、内窥镜、显微镜或工业质量控制[4,17]。在这些情况下,光的光谱是一个可以针对检测物体特征或分类表面等任务进行优化的设计参数[7]。根据应用的不同,选择0区分性光源0传统光源0图1:照明光源的光谱功率分布对成像系统捕获的数据有很大影响。基于RGB相机和宽带照明的数据,机器学习算法很难区分真假苹果(左图)。相反,使用定制光源捕获场景会产生更好的区分数据(右图),尽管用于特征区分或分类的光源可能无法产生准确的颜色匹配效果。0调整光源的光谱功率分布,以增强感兴趣特征的可见性,但会牺牲准确的颜色还原。具体而言,使用自然、宽带光源和传统RGB相机捕获的场景数据在分类问题上可能比使用单色相机和高度定制的窄带光源捕获的数据更少用(图1)。定制的光源组合将产生一组更强大的特征,可以通过机器学习算法来提高分类性能。本文描述并评估了两种新颖的算法,以有效且系统地搜索改善材料分类的最佳光源的光谱功率分布。这些光源是针对特定的分类任务进行优化的,例如苹果分类。我们在两个不同的框架中制定了光源光谱功率分布选择的问题:有监督学习和无监督学习。我们的方法旨在明确地21650估计光谱功率分布,而不是从给定集合中选择最佳照明源。这些方法还受到物理可实现性的约束。在监督上下文中,我们假设反射数据已标记,并制定一个惩罚函数,该函数包含图像形成模型、分类器参数和光谱功率分布。这样的目标函数是双凸的,可以通过交替最小化找到局部最优解。在无监督上下文中,我们从降维的角度来设计最佳照明源的光谱功率分布。这里的目标是将高维反射数据投影到保留分类所需信息的较小维度上。优化的投影方向更好地捕捉底层数据的特征,保留了投影数据集中的更多方差。数据集中的较大方差通常会使分类算法的性能更好。降维的经典算法是主成分分析(PCA)。该算法计算一组正交投影方向,其中数据集的方差最大[12]。光的物理可实现的光谱功率分布空间受到某些物理约束的限制。首先,光不能为负。其次,光谱的形状不能是任意的,通常是平滑函数。在搜索最佳照明源时,需要考虑所有这些限制。总之,我们的贡献包括:0•两种优化照明源的光谱功率分布的新算法,用于分类任务,并生成可以由真实光源生成的分布。0• 一种具有单个调节参数的新稀疏非负主成分分析算法。0•使用不同数量和光谱的优化照明源来分析成像系统分类性能的框架。02. 相关工作0本文讨论的问题有几种解决方法。最相关的算法是Liu和Guo[21]提出的,他们使用成本函数最小化来选择增强材料分类准确性的捕获设备中LED的颜色、位置和强度。与我们描述的方法不同,这些作者没有在波长域分析数据,也没有将解决方案限制在非负强度上。许多其他方法涉及使用穷举搜索在整个参数空间上进行蛮力选择策略。0对于小问题,这是可行的,但复杂度呈指数增长,因此使该方法在计算上不可行。减少蛮力方法的解空间的一种方法是使用遗传算法。我们提出的方法涉及连续值函数的最小化,而不是搜索策略,使其在计算上更可行。选择最佳光谱功率分布与相机响应性设计有许多相似之处。然而,相机响应性通常是针对颜色匹配任务[14, 28, 30, 31]、低光性能[8,19]或光谱重建[25,27]进行优化。在[20]中,作者们手动改变液晶可调滤波器(LCTF)的特性,以适应场景辐射的分布。在类似的工作中,[10]描述了一种自适应光谱学算法,该算法对场景进行重复测量,并根据先前观测结果调整光谱仪的灵敏度。这种方法根据先前测量结果调整最佳响应曲线的形状,因此不能用于导出与具体测量结果无关的一组固定光谱曲线。遥感领域已经开发了用于高光谱数据的降维技术[5, 16,18]。在这些应用中,权重没有受到约束,可以为负,因此这些权重的波长分布不代表物理可实现的光谱。现有的稀疏PCA[1, 15, 24]或非负稀疏PCA[32,36]算法不能直接用于设计物理可实现的照明源。这些方法不允许在线性变换变量上施加非负约束,这对于确保优化照明源光谱的物理可实现性是必要的。其中一些方法由于需要调整大量调节参数而不实用。我们通过提出一种具有单个调节参数的新型、灵活的非负稀疏PCA算法来克服这些限制。03. 图像形成模型0相机光电探测器mj,k的响应是场景照明xk、表面反射率r和第j个相机色彩通道cj的光谱响应的线性函数[34]。0mj,k = ∫cj(λ)r(λ)xk(λ)dλ. (1)0对于大多数自然图像,光谱曲线是平滑且缓变的,因此将其离散化为n个光谱带可以简化建模,对准确性影响不大。0mj,k = ∆λcTjdiag(r)xk = eTjxk (2)̸̸21660其中ej = ∆λ(r1cj,1, r2cj,2, . . . .rn cj,n),ej ∈Rn是表面光谱反射率和第j个通道相机响应函数之间的逐波长乘积。在这项工作中,我们提出了一种方法来选择向量xk,给定一组带有标签或未标记的向量ej,使得这些向量在由xk,k ∈ 1, . . . ,K张成的子空间中保留来自e的判别信息。然后,分类算法使用投影数据m,即像素强度,在这个低维子空间中推导决策边界。光谱曲线通常使用线性模型进行近似。0x = Bw, (3)0其中B ∈ Rn×nb的列表示模型组件,w ∈Rnb是相应的权重。模型组件可以使用两种不同的方法来得到。第一种方法利用光谱平滑曲线位于低维子空间上的事实[23]。这个子空间的张量由B的列描述,根据定义,它们构成一个正交集,即BTB =I。这种建模通常旨在通过减少用于描述光谱的变量数量来简化问题。第二种方法是使B的列直接表示用户控制的所有光源的光谱功率分布的集合。例如,B可以由制造商提供的所有LED的光谱功率分布创建。现在的任务是选择这些光谱的最佳值。在这种情况下,B形成一个字典,通常变得“臃肿”,即包含的列比行多。这意味着字典条目中的一些是彼此的线性组合,而BTB不再是满秩的。我们假设物理上可实现的光源是非负的,并且由B的列张成。我们找到最佳光源的方法不依赖于B的特定属性,特别是B可以是“臃肿”的,而BTB不可逆。我们还注意到,如果可以使用大量光源(K ≥n),最佳策略是选择单色光。在这种情况下,获取K个图像将对应于使用高光谱相机拍摄的表面的完整光谱特性。这意味着一般而言,首选解决方案在光谱通道之间应该有很少的重叠和许多零条目。04. 监督框架0许多经典的监督学习算法试图找到一组定义不同类别特征空间中点之间边界的超平面。0例如,对于带有标签y的一组向量e进行分类,通过最小化成本函数f并满足对参数g的约束来找到描述分离超平面θ的参数。0最小化f(θ; e, y)0满足 g(θ; e, y) ≤ 0. (4)0通常,输入数据e在原始的n维空间中不能保证线性可分。可以使用算子Φ(e)将数据投影到更高维的空间中,以实现线性可分。0最小化 f(θΦ; Φ(e), y)0满足 g ( θ Φ,Φ( e ),y ) ≤ 0,(5)0我们注意到,在最优照明设计的背景下,投影算子 Φ在图像形成模型的公式中自然出现,尽管它将数据投影到一个维数较少的子空间中。观察到测量的像素强度满足 m =XTe = Φ( e ),其中矩阵 X = [ x 1,...,x K ] 表示 K个光源的光谱功率分布,e 如 (2)中所定义。问题是找到这样的线性投影方向 X,以促进 Φ( e)向量空间中的类别可分性,即相机像素测量空间。为了说明这种方法,考虑一个分类器,其中 f 和 g对应于多类别的一对多支持向量分类器(SVC)[13]。每个t 类的线性决策边界 p t 由凸优化问题的解给出。0最小化 �0t ∥ p t ∥ 2 2 0i,t ≠ y i ξ t i (6)0满足 p T y i Φ( e i ) + b y i ≥ p T t Φ( e i ) + b t + 2 - ξt i ξ t i ≥ 0,i = 1,...,L,t ∈ {1,...,T} \ y i,0其中 { y i,e i } 分别表示第 i个数据点的标签和反射-相机响应乘积,训练集的大小为L。标量 C控制在训练期间允许有多少数据点被错误分类。为了找到最优的光源光谱功率分布,我们通过替换投影 Φ( e i ) = ( BW) T e i 并添加对光源功率分布 BW 的约束来重新构造 SVC问题,以确保物理可实现性。得到的双凸优化问题为:0最小化 �0k ∥ p k ∥ 2 20i,k ≠ y i ξ k i + αz ( BW ) (7)0满足 p T y i ( BW ) T e i + b y i ≥ p T k ( BW ) T e i + b k +2 - ξ k i ξ k i ≥ 0,i = 1,...,L,k ∈ {1,...,K} \ y i,BW≥ 0,(10)(11)(12)21670可以通过对 p、b、ξ 和 b、ξ、W进行交替最小化来求解。矩阵 W 用线性基权重 (3)描述光源的光谱。注意,代价函数已经通过一个函数 z进行了扩展,该函数由调节参数 α控制,惩罚某些类型的解。我们使用 l1惩罚来促进稀疏性。0z ( X ) = ∥ X ∥ 1 0i,j | x i,j | (8)0其中 l1范数推广到矩阵,并计算所有矩阵元素的绝对值之和。05. 无监督框架0主成分分析(PCA)是机器学习中常用的一种技术,用于紧凑地表示数据集。PCA算法找到一组投影向量,使得原始数据的方差最大。这些投影由数据集协方差矩阵的主特征向量给出。在光源谱选择的背景下,我们注意到测量的像素强度表示反射-相机响应乘积在描述光源光谱分布的向量上的投影。为了方便起见,我们将PCA表达为一种迭代算法。令 Σ ∈ Sn+ 表示来自 (2)的向量 e 的正半定样本协方差矩阵。第 i个最优PCA方向是问题的解:0最大化 x T Σ ( i − 1) x,满足约束条件 xT x = 1,(9)0其中 Σ ( i − 1)是前一步的协方差矩阵估计。在进行下一次迭代之前,需要重新计算Σ,以考虑解维度的移除(即缩减)。可以通过在优化问题(9)中引入额外的约束来修改迭代PCA算法以产生非负和稀疏的方向。0最大化xTΣ(i-1)x,满足xTx = 1,card(x) ≤ δ,x ≥00其中δ是稀疏度参数,card(x)指定x中非零元素的数量。方程(10)由于引入了稀疏性和非负性约束而是非凸的。因此,特征分解不再是一种有效的找到解的方法。05.1. 凸松弛0解决非凸问题的一种有用方法是用类似的凸问题进行近似0即松弛。例如,使用[9,33]中描述的PCA松弛,可以用原始的非凸问题近似表示为0最大化tr(ΣX) - α∥X∥1,满足0� X � I,tr(X) = 1,X ≥ 00(为了清晰起见,我们省略了上标(i-1))。函数tr(X)是迹运算符,即X沿对角线的元素之和,α控制稀疏性强制惩罚。第一个约束条件要求X是正半定的,且X-I是负半定的。最后一个约束条件将解限制在具有非负元素的矩阵集合中。最优投影方向由解X�=x�x�T的主特征向量给出。注意,矩阵逐元素不等式强制x�的所有元素具有相同的符号,因此如果x�是一个解,-x�也是一个解。为了将PCA问题表达为基础权重的问题,将X=xxT=Bw(Bw)T=BWB T代入(11)得到0最大化tr(ΣBWB T) - α∥BWB T∥1,满足0 �BWB T � I,tr(BWB T) = 1,BWB T ≥ 00其中W =wwT。上述优化问题可以通过交替方向乘子法(ADMM) [3,33]高效求解。该方法的计算步骤总结如算法1所示,推导细节可参考补充材料。该算法要求用户提供所需的精度�和学习率ρ。根据[33]的建议,我们使用了[3]中提出的更新启发式方法。可能会出现计算Y(t+1)1的最大特征向量函数返回一个所有非正数的向量的情况。在这种情况下,应该将这样的解的符号取反。05.2. 矩阵缩减0PCA的迭代方法需要对当前样本协方差矩阵估计Σ(i-1)进行缩减0在进行下一次迭代之前,需要对其进行缩减。常用的Hotelling缩减方案可能无法保持Σ(i)的半正定性,如果投影方向xi不是Σ(i-1)的特征向量[29]。为了避免这种问题,我们使用了[22]中提出的广义缩减算法。算法2总结了这种缩减方法,并概述了计算特定数据集的r个稀疏非负PCA方向所需的步骤。400500600700800Wavelength, nm00.20.40.60.811.21.4CapturedEmulated21680算法1:单个非负稀疏PCA方向0函数FIND DIRECTION(Σ, B, α, �, ρ):Y(0)1 ← 0,U(0)1 ← 0,Y(0)2 ← 0,U(0)2 ←0,重复执行以下操作:W(t+1) ← arg min{∥BWB T - Y(t)1 + U(t)1∥2F + ∥BWB T -Y(t)2 + U(t)2∥2F}0Y(t+1)1 ← PF(BW(t+1)BT + U(t)1 + Σ/ρ),Y(t+1)2 ← Hα/ρ(BW(t+1)BT + U(t)2),U(t+1)1 ← U(t)1 + W(t+1) -Y(t+1)1,U(t+1)2 ← U(t)2 + BW(t+1)BT - Y(t+1)2,t ← t + 1,直到max{∥BW(t+1)BT - Y(t+1)1∥2F, ∥BW(t+1)BT -Y(t+1)2∥2F, ρ2∥Y(t+1)1 - Y(t)1∥2F, ρ2∥Y(t+1)2 - Y(t)2∥2F} ≤ �,返回Y(t+1)1对应最大特征值的特征向量。结束函数0算法2:非负稀疏PCA0要求:Σ ∈ Sn+,α ≥ 0,� ≥ 0,ρ ≥ 0,r ∈ N,BQ(0) ← I,Σ(0) ←Σ,对于 t = 1, ..., r,执行以下操作:xt ← FIND DIRECTION(Σ(t-1), B, α, �,ρ),qt ← Q(t-1)xt,Σ(t) ← (I - qtqtT)Σ(t-1)(I - qtqtT),Q(t) ← Q(t-1)(I -qtqtT),xt ← xt / ∥xt∥,结束循环,返回x1, ..., xr06. 实验0为了评估所提出的方法,我们进行了一系列实验,其中我们在不同的照明条件下捕获了已知测试目标的图像,并使用标准机器学习算法对捕获的数据进行分类。我们在Matlab中实现了所有计算,并且我们的代码存储库可在线获得[1]。首先,我们使用传统的RGB相机和单一宽带光源捕获的数据来衡量分类算法的性能。这种情况代表了典型的成像场景,其中使用具有三种颜色像素的彩色相机来捕获自然光照条件下的单个图像(即J=3,K=1)。总体上,我们评估了34个具有不同光谱特性的相机的性能(有关评估相机型号的列表,请参见补充材料)。为了简化,我们将这种数据捕获模式称为传统相机。接下来,我们使用单色相机和优化的光源捕获数据。为了使传统和优化系统之间的比较有意义,我们将光谱测量投影到三维空间中。为了获得这种表示,我们使用优化设置连续捕获了三个帧01 https://github.com/hblasins/optIll0图2:GoPro Hero 5RGB相机(实线)的光谱特性与其窄带光(虚线)的近似比较。对于给定的场景,由RGB相机(插图,捕获)产生的像素值可以通过单色相机和适当调整的与相机光谱响应匹配的窄带光(插图,模拟)来复制。0的单色相机,每个帧下使用不同的优化光源(即J=1,K=3),这些光源是使用监督或无监督方法得到的。我们将这种捕获模式称为优化相机。我们研究了一个简单的分类任务;根据原始图像数据为图像像素分配标签。我们最初设计这些算法是为了处理生物多光谱数据,但为了清晰起见,我们选择了不需要领域特定知识的更简单的目标。在我们的测试中,我们使用了真实和外观相似的人工水果对:苹果、梨和柠檬。我们的目标是区分不同的物体。为此,我们构建了三个测试场景。其中两个场景包含了两对不同颜色的相同类型的水果;红色和绿色的苹果(苹果)和黄色和绿色的梨(梨)。柠檬场景包含了一对物体;柠檬。场景是在ThousliteLEDCube2光展示柜中组装的。LEDCube包含三个宽带和八个窄带LED,它们的强度可以独立调节。02 http://www.thouslite.com/show.asp?id=16400500600700800Wavelength, nm00.20.40.60.81400500600700800Wavelength, nm00.20.40.60.81400500600700800Wavelength, nm00.20.40.60.81400500600700800Wavelength, nm00.20.40.60.81400500600700800Wavelength, nm00.20.40.60.81400500600700800Wavelength, nm00.20.40.60.8121690梨0苹果0柠檬0(a)RGB图像(b)RGB分类(c)无监督分类(d)无监督光谱(e)监督分类(f)监督光谱0图3:当场景使用最佳光源照明时,像素分类准确性增加。列分别显示了场景的RGB渲染(a),传统照明下的像素分类图(b),以及使用无监督(c)和监督(e)方法得到的最佳光源的像素分类图。在(b,c,e)中,颜色编码了SVM分类器分配正确标签的像素,所有错误都未表示。最佳光源的光谱功率分布(d,f,粗线)与表面光谱反射率的变化区域(d,f,细线)重叠。0调整因此改变了光源的整体光谱。各个LED的光谱功率分布形成了模型矩阵B(3)中的列。我们使用SpectraScanPR715分光光度计在400到800nm范围内以4nm的增量测量了所有目标的表面光谱反射率以及LED的光谱功率分布。我们通过测量从参考白色Spectralon测试目标反射的光辐射度来校准LED-Cube的LED光谱。类似地,我们通过用宽带钨灯照亮水果表面,进行10次辐射度测量,然后进行一次Spectralon样本的测量,并计算每个波长处两者之间的比值来估计表面光谱反射率[2]。给定一组反射率曲线,我们使用监督和无监督的方法来生成特定算法调优参数设置下的最佳光源。然后,我们将这些光谱编程到LEDCube中,并使用Schneider Optics Xenoplan 1.4/23mm镜头的Point-GreyFL3-U3-13Y3M-C1.3MP单色相机拍摄了这些目标的图像。光圈设置为f#/11,以限制景深效果。接下来,我们手动分割了每个水果样本中的100×100(二元分类为200×200)像素感兴趣区域(ROI),并将此集合用于分类。分类器使用单个像素强度数据。数据为0我们使用分层方法将数据分为训练集(70%)和测试集(30%),即保持类别分布的分布[11]。为了公平比较,我们在所有分类器和条件下保持数据分离。在我们的评估中,我们使用了五种标准的机器学习分类器:支持向量机(SVM)、K最近邻(KNN)、线性判别分析(DA)、决策树(Tree)和朴素贝叶斯(NB)。0最后,我们重复了该过程:最佳照明计算,然后进行图像捕获和分类器交叉验证,以获得不同的照明选择算法调整参数的设置(详见源代码以获取详细信息)。在所有情况下,训练数据集仅用于训练和参数选择,我们报告的所有性能数字都是使用测试集计算的。0在我们的评估中,我们没有使用物理RGB相机,而是使用LEDCube的窄带LED和PointGrey单色相机来模拟它们的光谱特性。我们使用LEDCube的LED的适当加权和单色传感器量子效率的乘积(即光谱响应和光源之间的波长乘积)来近似红、绿和蓝相机通道的有效光谱响应(详见补充材料获取详细信息)。图2显示了实际响应曲线与其近似曲线之间的比较示例。21700表1:Pears数据(四类分类)的单像素百分比分类准确率。0相机分类器0SVM KNN DA Tree NB0RGB(最差)92.3 92.7 91.2 90.7 66.0 RGB(平均)94.695.2 93.6 94.1 67.8 RGB(最佳)98.4 98.4 97.9 97.874.2 我们的方法(非监督)97.2 97.9 96.9 97.8 82.8我们的方法(监督)99.9 99.9 98.9 99.8 76.60图中的插图展示了使用传统RGB相机捕获的Macbeth图表图像,并将其与使用所提出的仿真方法的数据渲染的视图进行了比较。使用仿真方法有几个优点。首先,设置的几何结构保持固定,各种测试条件之间的差异仅来自照明,而不是图像对齐或不同相机之间的重新采样。其次,所有实验都使用相同的传感器,因此噪声特性保持不变。最后,分辨率和光学特性在所有实验中保持不变。06.1. 分类性能0图3展示了在白天和优化照明条件下拍摄的三个测试场景的像素分类结果。通过将训练数据上训练的分类器应用于图像中的所有像素,创建了分类地图。为了清晰起见,我们只显示和标记了正确识别的像素。一般来说,优化照明情况下获得的地图能够正确分类更多的像素。我们还观察到,这些地图具有更多连续的对象分割和较少的“盐和胡椒”分类噪声。然而,最佳照明选择策略并不总是增加正确分类的像素数量。它们也可能使一些像素更容易分类,但以其他像素为代价。以苹果场景为例。在优化照明下,识别右下角的苹果(绿色标签)的准确性增加,但同时错误地将部分左下角的苹果(紫色标签)分类,而传统相机正确分类了这部分苹果。我们还展示了每个条件下得到的最佳照明光谱(图3d和3f)。监督和非监督方法得到的曲线不同,但它们具有共同的特点。在所有情况下,光能集中在表面反射数据中具有显著变化的波长上。我们在表1、表2和表3中呈现了所提出方法的定量性能,总结了使用优化照明条件实现的基于像素的分类准确率。0表2:苹果数据(四分类)的单像素百分比分类准确性。0相机分类器0SVM KNN DA Tree NB0RGB(最差)75.2 78.4 74.9 73.6 66.0 RGB(平均)84.682.3 84.1 84.2 68.7 RGB(最佳)85.6 83.3 85.3 85.872.7 我们的(无监督)87.1 89.4 86.4 89.2 83.7我们的(监督)91.5 92.6 91.2 91.2 79.50表3:柠檬数据(二分类)的单像素百分比分类准确性。0相机分类器0SVM KNN DA Tree NB0RGB(最差)92.2 96.4 90.0 85.9 58.8 RGB(平均)97.599.0 96.3 96.6 62.0 RGB(最佳)99.9 100.0 99.8 99.9 75.6我们的(无监督)99.8 99.8 99.6 98.3 63.1我们的(监督)100.0 100.0 99.9 98.8 70.90对于每个分类算法,我们报告了在34个RGB相机上计算的平均准确性,以及特定算法的最佳和最差模型的准确性。在不同的场景和分类器中,达到最高分类准确性的相机模型是不同的。这个指标代表了使用蛮力搜索算法找到的光源光谱功率分布的性能,并作为与我们的方法进行比较的基准。我们尝试使用不同温度的黑体辐射体的发射光谱照亮我们的场景;2000、4000、6500和10000K。这些光谱对于自然环境中发生的光分布提供了良好的近似。对于特定的分类算法,这些光源之间的性能差异很小(详见补充材料)。6500K的黑体辐射体发射光谱与标准D65光源(日光)非常相似,并且通常提供最佳或次佳的分类准确性。此外,许多传统RGB相机设计用于在这种光源下忠实地再现颜色。出于这些原因,我们将此条件作为数值比较的参考。使用我们的监督方法得到的光源光谱功率分布的成像系统在SVM、KNN、DA和Tree分类算法中始终优于传统RGB相机和宽带光源。仅当应用Tree分类器于柠檬场景时,它排名第二。这些增益是由于直接的12345678910Number of illuminants707580859095100Classification accuracy, %UnsupervisedSupervisedBest RGB camera21710将寻找最佳光谱纳入分类目标函数,并且在问题的非凸性和局部最优解的情况下实现了这些目标。有趣的是,无监督方法通常优于朴素贝叶斯分类器与无监督方法的组合。我们的无监督选择方法优于普通RGB相机的平均准确性,并且其准确性通常与最佳RGB相机相当。请注意,此选择策略与朴素贝叶斯分类器一起使用效果最佳。无监督方法是PCA的一种变体,它提供了一组不相关的特征。在我们的情况下,我们使用了一种受限制的版本;它也使数据解相关,但程度较小。朴素贝叶斯分类器隐含地假设特征条件独立,这意味着无监督方法提供了分类器所期望的数据类型。06.2. 光源数量0我们研究了分类准确性与场景捕获时所使用的不同光源数量之间的关系。光谱优化是另一个系统设计参数。例如,适当的光源可以消除对彩色滤光片阵列的需求,从而提高有效传感器分辨率。将最佳光源数量从1增加到10,无论使用哪种选择方法,都会提高分类性能。图4以苹果集合中的分类准确性作为最佳光源数量的函数进行展示。在所有条件下,监督选择算法始终比无监督方法具有小优势。分类准确性在约95%处渐近,比最佳传统RGB相机的准确性高出10个百分点。然而,在约3-4个光源处,曲线趋于平稳;使用更多光源在性能上提供了适度的增益,但可能不值得追求,因为存在其他限制,如采集时间。请注意,最佳的两光源系统(即用两个数字表示像素数据)的分类准确性与最佳传统RGB相机和宽带光源(用三个数字表示像素数据)相当。这两个系统的分类准确性均达到约86%。数据维度的减少可以转化为更小的数据存储需求或更少的计算所需的处理器周期。07. 结论0我们提出了两种选择图像捕获过程中使用的照明光谱功率分布的新方法,可以提高对捕获数据应用像素分类算法的准确性。我们的方法0图4:当场景(苹果)在更优化的照明下捕获时,像素分类准确性增加,有监督选择优于无监督算法。只使用两个经过优化选择的光源就可以达到传统的三通道RGB系统的性能水平。0生成可以使用现成LED产生的物理可实现分布。0我们通过一系列实验室实验,使用真实目标、光源和相机,评估了我们选择方法产生的最佳光源在简单的表面分类任务中的性能。在所有情况下,使用优化光源下获取的像素数据的分类器性能优于使用传统RGB相机和宽带照明下捕获的数据的性能。我们表明,有监督选择方法实现了最佳性能,但它需要一组标记的训练反射光谱。相比之下,无监督方法在准确性方面紧随其后,但可以使用未标记的物体光谱反射曲线工作。0这两种算法在分析额外成像通道对分类性能的影响方面非常有用。这是一个重要的考虑因素,因为我们已经证明,在物理可实现性的约束下,拥有更多的通道可能只会提供适度的性能增益,而这可能不值得追求,考虑到增加的系统复杂性和其他设计权衡,如速度、分辨率或计算。0最后,我们在这项工作中提出的方法可以扩展到成像系统设计中的其他光谱选择问题。例如,可以将相同的算法应用于选择彩色滤光片的响应函数,或者可以用于选择生物图像分析的透射滤光片。0致谢0作者们要感谢斯坦福大学的GordonWetzstein在准备本文过程中提供的有益意见和讨论。LEDCube图像展台是Thouslite赠送的礼物。21720参考文献0[1] A. Amini and M. Wainwright.高维稀疏主成分的半定松弛分析。《IEEE信息论国际研讨会ISIT》,页码2454–2458,2008年. 20[2] H. Blasinski, J. Caves, J. Farrell, B. Wandelt, and P. Wang.组织消融的多光谱成像。《IEEE生物医学成像国际研讨会,ISBI》,页码360–363,2016年4月. 60[3] S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein.基于交替方向乘子法的分布式优化和统计学习。《机器学习基础与趋势》,3(1):1–122,2011年. 40[4] J. Cadeddu, R. Fernandez, M. Desai, R. Bergs, C. Tracy, S.-J. Tang, P. Rao, M. Desai, and D. Scott.新型磁导引腹腔内摄像机用于促进腹腔镜单孔手术:初步人体实验。《外科内窥镜》,23(8):1894–1899, 2009. 10[5] C. Chang, Q. Du, T. Sun, and M. Althouse.一种联合带优先级和带解相关方法用于高光谱图像分类。《IEEE遥感与地球物理学交易》,37(6):2631–2641,1999年11月. 20[6] C. Chi, H. Yoo, and M. Ben-Ezra.通过优化的宽带照明进行多光谱成像。《计算机视觉国际期刊》,86(2–3):140–151, 2010. 20[7] J. Choi, S. Park, J. Cho, and E. Yoon.一种自适应于物体的3.4-µwCMOS图像传感器,带有嵌入式特征提取算法,用于运动触发的感兴趣对象成像。《IEEE固态电路杂志》,49(1):289–300,2014年1月. 10[8] L. Condat.一种具有无噪声和有噪声彩色图像采集最佳性能的新型彩色滤波阵列。IEEE图像处理交易,20(8):2200-2210,2011年8月。20[9] A. d'Aspremont,L. El Ghaoui,M. Jordan和G. Lanck- riet.使用半定规划的稀疏PCA的直接公式。在神经信息处理系统上,第16卷,第41-48页,2004年。40[10] D. Dinakarababu,D. Golish和M. Gehm.用于快速化学识别的自适应特征特定光谱学。光学快报,19(5):4595-4610,2011年。20[11] G. Forman和M. Scholz.交叉验证研究中的苹果对苹果:分类器性能测量的陷阱。ACMSIGKDD探索通讯,12(1):49-57,2010年。60[12] T. Hastie,R. Tibshirani和J. Friedman.统计学习的要素。Springer,2009年。20[13] C.-W. Hsu和C.-J. Lin.多类支持向量机方法的比较。IEEE神经网络交易,13(2):415-425,2002年。30[14] F. Imai,S. Quan,M. Rosen和R. Berns.用于色度和光谱准确性的数字相机滤波器设计。在第3届多光谱色彩科学国际会议上,第23-26页,2001年。20[15] M. Journee,Y. Nesterov,P. Richtarik和R. Sepulchre.稀疏主成分的广义幂法0分析。机器学习研究杂志,11:517-553,2010年。20[16] N. Keshava.距离度量和高光谱处理中的波段选择,应用于材料识别和光谱库。IEEE遥感与遥感交易,42(7):1552-1565,2004年7月。20[17] S. Kukkonen,H. Kalviainen和J. Parkkinen.陶瓷瓷砖行业质量控制的色彩特征。光学工程,40(2):170-177,2001年。10[18] S. Kumar,J. Ghosh和M. Crawford.用于高光谱数据分类的最佳基础特征提取算法。IEEE遥感与遥感交易,39(7):1368-1379,2001年7月。20[19] H. Kuniba和R. S. Berns.考虑光子射击噪声的彩色图像传感器光谱灵敏度优化。电子成像杂志,18(2):023002-023002-14,2009年。20[20] A. Lin和F. Imai.基于可调颜色像素的场景自适应成像的高效光谱成像。在2011年色彩与成像会议上,第332-338页。成像科学与技术协会,2011年。20[21] C. Liu和J. Gu.用于基于光谱BRDF最佳投影的原始材料逐像素分类的判别照明。IEEE模式分析与机器智能交易,36(1):86-98,2014年。20[22] L. Mackey.稀疏PCA的缩减方法。在神经信息处理系统上,第21卷,第1017-1024页,2008年。40[23] L. T. Maloney和B. A. Wandell.色彩恒常性:一种恢复表面光谱反射率的方法。美国光学学会A杂志,3(1):29-33,1986年。30[24] B. Moghaddam,Y. Weiss和S. Avidan.稀疏LDA的广义光谱界限。在第23届国际机器学习会议上的论文集,第641-648页。ACM,2006年。20[25] Y. Monno, T. Kitao, M. Tanaka, and M. Okutomi.一种单相机一次多光谱成像系统的最佳光谱灵敏度函数。在IEEE国际图像处理会议(ICIP)上,第2137-2140页,2012年。20[26] J. Park,M. Lee,M. D. G.和S. Nayar.使用多路复用照明的多光谱成像。在IEEE国际计算机视觉会议(ICCV)上,第1-8页,2007年10月。20[27] M. Parmar, S. Lansel, and J. Farrell.用于获取多光谱场景的基于LED的照明系统. In Proc. SPIE ,volume 8299, pages 82990P–82990P–8, 2012. 20[28] M. Parmar and S. Reeves.用于彩色滤光片阵列的最优光谱灵敏度函数的选择. IEEE Transactionson Image Processing , 19(12):3190–3203, Dec 2010. 20[29] Y. Saad. 线性状态反馈中部分极点分配的投影和缩减方法.IEEE Transactions on Automatic Control , 33(3):290–297, 1988. 40[30] Z. Sadeghipoor, Y. Lu, and S. Susstrunk.单传感器彩色成像的最优光谱灵敏度函数. In Proc. SPIE , volume8299, pages 829904–829904–14, 2012. 221730[31] H.-L. Shen, H.-G. Zhang, J. Xin, and S.-J. Shao.多光谱成像系统中用于光谱反射重建的代表性颜色的最优选择.Applied Optics , 47(13):2494–2502, May 2008. 20[32] C. Sigg and J. Buhmann. 稀疏和非负PCA的期望最大化. I
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 电力电子系统建模与控制入门
- SQL数据库基础入门:发展历程与关键概念
- DC/DC变换器动态建模与控制方法解析
- 市***专有云IaaS服务:云主机与数据库解决方案
- 紫鸟数据魔方:跨境电商选品神器,助力爆款打造
- 电力电子技术:DC-DC变换器动态模型与控制
- 视觉与实用并重:跨境电商产品开发的六重价值策略
- VB.NET三层架构下的数据库应用程序开发
- 跨境电商产品开发:关键词策略与用户痛点挖掘
- VC-MFC数据库编程技巧与实现
- 亚马逊新品开发策略:选品与市场研究
- 数据库基础知识:从数据到Visual FoxPro应用
- 计算机专业实习经验与项目总结
- Sparkle家族轻量级加密与哈希:提升IoT设备数据安全性
- SQL数据库期末考试精选题与答案解析
- H3C规模数据融合:技术探讨与应用案例解析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)