多光谱成像用于复杂背景下的粉末识别

8699用于复杂背景作者：Tiancheng Zhi，Bernardo R.Pires，Martial Hebert和Srinivasa G.卡内基梅隆大学{tzhi，bpires，hebert，srinivas}@ cs.cmu.edu摘要数以百计的物质，如毒品、炸药、化妆品、食品添加剂，都是以粉末的形式存在。对此类粉末进行生物识别对于安全检查、犯罪识别、药物控制和质量评估是重要的。然而，粉末识别在计算机视觉界几乎没有引起关注。 粉末很难区分：它们是无定形的、无光泽的、几乎没有颜色或纹理变化，并且以复杂的方式与它们所沉积的表面混合。为了应对这些挑战，我们提出了第一个全面的数据集和方法，使用多光谱成像进行粉末识别。通过使用短波红外（SWIR）多光谱成像以及可见光（RGB）和近红外（NIR），可以以合理的精度区分我们提出了一种方法来选择歧视性的光谱波段，显着减少采集时间，同时提高识别精度。我们提出了一个混合模型来合成各种厚度的粉末沉积在广泛的表面上的图像。选择合适的波段，年龄合成，对复杂背景下的100种粉末进行了细粒度识别，在已知粉末位置的情况下，识别准确率达到60%~70% ， 在 未 知 位 置 的 情 况 下 ， 平 均 IoU 超 过40%。1. 介绍在有影响力的论文《看东西》[ 1 ]中本文阐述了人类如何通过形状、纹理、明暗、背景、光线、结构和习惯等多种因素的组合来视觉感知材料。这导致了许多计算机视觉方法来识别材料[3，10，17，32，39，41，44，45]。同样，这项工作也启发了细粒度识别“事物”的方法RGB SWIR Band I SWIR Band II近红外短波红外波段III短波红外波段IV图1.在可见光（RGB）和近红外（NIR）中不可区分的白色粉末在短波红外（SWIR）中显示最左边的样品是用于白平衡的白色斑块，而其他样品是粉末。第1行（从左到右）：奶油米，小苏打，硼砂洗涤剂，味之素，阿司匹林;第2行：碘盐，滑石粉，甜菊糖，海藻酸钠，蔗糖;第3行：玉米淀粉、酒石、黑板粉笔、硼酸、臭脚粉;第四排：杀菌剂，碳酸钙，维生素C，蛋白酥皮，柠檬酸.但是有一大类材料--粉末--人类（甚至专家）在没有通过其他感官手段（味觉、嗅觉、触觉）进行进一步测试的情况下无法视觉感知我们经常会想：这个容器里的粉末是糖还是盐？事实上，数以百计的物质，如毒品，炸药，化妆品，食品或其他化学品都是粉末状的检测和识别这些粉末对于安全检查、药物控制、犯罪识别和质量评估是重要然而，尽管它们很重要，粉末识别在计算机视觉界却视觉粉末识别具有挑战性的原因很多。粉末具有看似简单的外观-它们是无定形的，无光泽的，几乎没有纹理。图1显示了20种粉末，它们在可见光（RGB，400- 700 nm）或近红外（NIR，700- 1000 nm）光谱中表现出很小的颜色或纹理变化，但化学性质（食品成分到有毒清洁用品）非常不同。与草和沥青等材料不同，粉末可以存在于任何地方（键盘上的污迹，厨房，浴室，户外）。8700门等）因此场景上下文对于精确识别几乎没有用处。更糟糕的是，粉末可以沉积在不同厚度的其他表面上（因此，不透明），从污迹到堆。捕获这些数据不仅耗时，而且会消耗粉末并使表面退化。我们提出了第一个全面的数据集和方法，粉末识别使用多光谱成像。我们表明，广泛的光谱波长（从可见光RGB到短波红外：400- 1700 nm）可以以合理的准确度区分粉末。例如，图1显示SWIR（1000- 1700nm）可以区分RGB或NIR光谱中几乎没有颜色信息的粉末。虽然高光谱成像可以提供数百个光谱波段，但这导致了与采集、存储和计算相关的挑战，特别是在时间敏感的应用中。高维度也会损害机器学习的性能[14]，从而影响识别。因此，我们提出了一个贪婪的波段选择方法，使用最近邻交叉验证作为优化得分。与以前的高光谱波段选择方法相比，该方法显著减少了采集时间并提高了识别精度[6，30]。即使具有较少的光谱带，用于粉末识别的数据收集也是困难的，因为上面提到的厚度和粉末可以沉积在其上的表面的变化为了克服这一挑战，我们提出了一个混合模型，忠实地呈现各种厚度（和透明度）的粉末对已知的背景材料。该模型假设薄粉末外观是厚粉末（没有可见的背景）和背景之间的每通道α混合，其中α遵循Beer-Lambert定律。该模型可以通过近似从更准确的Kubelka-Munk模型[23]推导出来，但参数可实际校准。使用此模型呈现的数据对于在真实数据上实现强大的识别性能至关重要。我们的粉末识别多光谱数据集是使用共定位RGB-NIR-SWIR 成 像 系 统 捕 获 的 。 当 RGB 和 NIR 相 机（RGBN）按原样使用时，SWIR相机的光谱响应由两个电压控制。SWIR光谱响应的宽带特性（图6）在保持传统窄带高光谱数据的鉴别能力的同时，具有更高的光效[5，43]。该数据集有两个部分：Patches包含粉末和常见材料的图像，Scenes包含有或没有粉末的真实场景的图像。对于贴片，我们对100种薄的和厚的粉末（食物、着色剂、护肤品、灰尘、清洁用品等）进行了成像。和100种常见材料（塑料、织物、木材、金属、纸张等）在不同的光源下。场景包括256个杂乱的背景，有或没有粉末。我们结合波段选择和数据合成在两个识别任务中：（1）当粉末的位置已知时，100类粉末分类，实现60%到 70%的前1准确度;以及（2）当粉末的位置未知时，101类语义分割（包括背景类），实现超过40%的平均IoU。2. 相关工作粉末检测和识别：太赫兹成像用于检测粉末[38]，毒品[19，20]和爆炸物[33]。Nelson等人[29]使用短波红外高光谱成像来检测威胁材料，并决定粉末是否可食用。然而，他们中没有一个研究了具有各种背景的粉末的大型数据集。高光谱波段选择：波段选择[6，7，12，15，27，30，37]是一种常用的遥感技术MVPCA [6]最大化受噪声影响的方差基于粗糙集的方法[30]假设只有当两个样本可以被其中一个频带分离时，它们才可以被一组频带分离，这忽略了跨频带信息。混合模型：Alpha Blending [31]是一个线性模型假设所有通道共享相同的透明度，对真正的粉末来说是不正确的基于物理学的模型[4，13 ， 16 ， 23 ， 28 ， 35] 通 常 包 括 难 以 校 准 的 参 数Kubelka-Munk模型[23]通过双通量方法对背景上的散射介质进行建模然而，它模拟的是绝对反射率而不是强度，需要精确的仪器进行校准，而且需要花费时间。3. RGBN-短波红外粉末识别数据库我们建立了第一个全面的RGBN-SWIR多光谱数据库，用于粉末识别。我们首先在3.1节中介绍采集系统。 在第3.2节中，我们描述了数据集-为基于图像的渲染提供资源的补丁，以及提供有或没有粉末的杂乱背景的场景。为了减少采集时间，我们在第3.3节中提出了一种波段选择方法，并使用选定的波段来扩展数据集。3.1. 图像采集系统SWIR相机是ChemImage DP-CF型号[29]，安装有液晶可调谐滤波器组滤光片组的光谱透过率（1000- 1700nm）由两个电压（1.5V≤V0，V1≤4.5V）控制。我们将每个光谱设置称为波段或通道，对应于宽波段谱带（图6）。以0.1V步进扫描电压空间，获得961个波段的图像需要12min.一个像素的961个值（或平均补丁值）可以在2D电压空间上可视化为31×31SWIR签名图像我们共同定位三个摄像头（RGB，NIR，SWIR）我们-使用分束器（图2），并通过全息变换配准图像。垂直安装的装置体积庞大，因此平面上的目标通过8701场景相机粗胶粉薄形粉裸背景常用材料白斑45°镜目标图2.光源SWIR相机NIR相机分光镜RGB相机图像采集系统。 RGB、NIR和(a) 厚/薄粉末（b）常见材料图4. 补丁示例。将薄粉末置于相同的黑色背景材料上。补丁是手动的SWIR相机使用分束器共同定位。目标通过一面45毫米的镜子成像.(a)厚RGB贴片裁剪厚粉末，薄粉末，裸露的背景，普通材料和白色补丁。(a) 背景图像（b）粉末图像（c）GT粉末掩模图5。场景示例。通过背景减除和手动注释获得地面真实掩模。数据集ID目标灯Num(b) 厚NIR贴片（c）厚SWIR特征表1. 补丁. 100个厚的和薄的粉末和100个普通材料在光源集合A下成像。图3. 一百种粉末。 厚RGB色块，NIR图中示出了贴片和归一化SWIR特征。一面45厘米的镜子一个单一的光源被放置在镜子上。我们使用4种不同的光源进行训练或验证（A组），另外2种用于测试（B组）。数据集ID灯公司简介NumN粉3.2. 补丁和场景数据集包括两部分：Patches提供用于基于图像的渲染的补丁（大小14×14）;Scenes提供有或没有粉末的场景（大小为280×160）。白平衡是在每个场景中用白色补丁完成的。贴片（表1）包括100种粉末和100种常见材料，将用于在复杂背景上合成外观粉末选自多个常见的组-食品，着色剂，护肤品，灰尘，清洁用品等。例如马铃薯淀粉（食品）、青色爽肤水（着色剂）、BB粉（护肤品）、沙滩沙（灰尘）、潮汐洗涤剂（清洁）和尿素（其他）。查看完整列表的supple-campaign。100个粉末贴片的RGBN图像和SWIR信号如图3所示。粉末可以沉积在其上的常见材料（表面）包括塑料、织物、木材、纸、金属等。所有贴片在不同光源下成像4次（A组）。为了研究薄粉末的外观，我们还在恒定的背景下对薄粉末样品进行成像。如图4（a）所示，厚粉末、薄粉末和裸粉末可以在不同的温度下进行。表2. 场景每种粉末出现12次。Scene-sl-train和Scene-sl-test包括NNCV、网格采样、MVPCA [6]和Rough Set[30]选择的波段背景片在同一视场中被捕获场景（表2）包括有或没有粉末的杂乱背景。地面真实粉末掩模通过背景减除和手动编辑获得（图5）。补丁中的每种粉末在场景中出现12次。在表2中，使用光源集A捕获的场景用于训练或验证，而其他场景用于测试。Scene- bg只有背景图像，而其他的既有背景又有带粉的图像。Scene-sl-train和Scene-sl-test是仅包括选定波段的粉末场景的较大数据集（在第3.3节中解释）。3.3. 基于最近邻的频带选择捕获所有961个波段的成本为12分钟，迫使我们选择几个波段来捕获更大的功率/背景变化。波段选择可以用公式表示为se-来源补丁斑厚100厚粉末设置400小块薄的100个细粉末设置400斑块共同100种常用材料设置400来源带场景实例场景-bg设置961640场景价值设置96132200场景测试集合B96132200风景线列车设置3464400情景测试集合B34644008702B−A0.50.40.50.4（一）0.30.20.30.2（b）第（1）款0.101000 1200 14001600波长（nm）(a) NNCV0.50.40.30.20.101000 1200 14001600波长（nm）(c)MVPCA [6]0.101000 1200 1400 1600波长（nm）(b) 网格取样0.50.40.30.20.101000 1200 1400 1600波长（nm）(d)粗糙集[30]（c）第（1）款（d）其他事项图7.（a）厚粉末RGB、（b）薄粉末RGB、（c）SWIR特征和（d）κ特征的示例许多粉末的两个特征是负相关的。这样的数据很难。因此，我们提出了一个简单而有效的数据合成混合模型。图6. 4个选定波段（不同颜色）的理论光谱透射率NNCV具有良好的频带覆盖。从所有频带Ba中选择子集Bs，优化预定义的分数。 我们 提 出 了 一 个 贪 婪 的 方 法 优 化 最 近 邻 交 叉 验 证（NNCV）得分。设N是要选择的频带的数量日起Bs=n，我们应用相同的选择过程Ns次。在每次迭代中，我们计算每个频带b/∈Bs的Bsb的NNCV得分。选择使分数最大化的带b并将其添加到Bs。伪代码是补充的。为了计算NNCV分数，我们计算Patch-thick和Patch-common（表1）中每个斑块的平均值，以构建具有101个类别（背景和100个粉末）的数据集，并执行留一法交叉验证。具体来说，对于数据库中的每个数据点x，我们在数据库中找到它的最近邻居NN（x），并将NN（x）的类标签视为x的预测。分数是平均类别准确度。最近邻搜索中的距离是在BsBomb中的RGBN波段和SWIR波段上计算的。由于SWIR波段的数量在选择过程中会发生变化，因此在选择2个波段后，我们建议分别计算RGBN和SWIR波段的余弦距离，并使用平均值作为最后的距离我们称之为分裂余弦距离。我们通过只捕获场景来扩展场景数据集选择乐队表2中的Scene-sl-train和Scene-sl-test包括通过4种方法选择的34个条带（每种方法9个条带，丢弃重复）：（1）NNCV（我们的）如上所述，(2) 网格采样对2D电压空间进行均匀采样(3) MVPCA [6]最大化波段方差，（4）Rough Set [30]基于Rough Set理论优化可分性标准。所选波段的理论光谱透射比见图6。第5.2节和第6.2节中的实验将表明，选择4个波段将采集时间减少到3秒，同时还提高了识别精度。4. Beer-Lambert混合模型粉末外观在不同的背景和厚度之间变化。即使选择较少的乐队，捕获4.1. 模型描述该 模 型 是 每 个 通 道 的 α 混 合 ， 其 中 α 遵 循 Beer-Lambert定律。设Ic、Ac和Bc分别为薄粉末、无限厚粉末（无可见背景）和背景的通道c的设x为粉末厚度，κc为与粉末而不是背景相关的衰减系数。然后又道：Ic=（1−e−κcx）Ac+e−κcxBc（1）设η=e−x，模型可以写成：Ic=（1−ηκc）Ac+ηκcBc（2）方程1可以推导为Kubelka-Munk模型的近似[23]（参见补充材料）。推导表明，当粉体散射系数在通道间为常数时，κ与A如果我们将κ签名定义为一个31×31的图像，通过961个通道的κ值，类似于SWIR在第3.1节定义的特征中，如果散射系数在频带上是恒定的，则两个特征应显示负相关实际上，63%的粉末显示出小于-0.5的Pearson相关性。（图7中的示例）4.2. 参数标定参数κc可以通过一个简单的过程来校准，使用一个小的恒定阴影厚粉末补丁，薄粉末补丁，和一个裸露的背景补丁。通过计算每个薄粉末像素的κcx并在像素和通道之间对其进行归一化来完成校准（参见算法1）。设P是薄粉末块中的像素集合，C1是RGBN通道（RGB + NIR）集合，并且C2 是 短波 红外 通道 的集 合设p∈P 为 细幂 像素 ，c∈C1<$C2为通道.设Ip、c为薄粉末强度，且xp为粉末厚度。设AcBc是厚粉末斑和背景斑的平均强度。 然后，我们首先计算κcxp=-ln（Ip，c−Ac）对于每个像素p∈P，根据等式C c1. 然后我们计算κcmedian{xp}=medianp{κcxp}，透射率透射率透射率透射率8703Σ算法1Beer-Lambert参数校准输入：薄粉末像素组P; RGBN通道组C1; SWIR通道组C2;每个像素p和通道c的薄粉末强度Ip，c;平均厚粉末强度Ac;平均背景强度Bc输出：每个通道c的衰减系数κc对于每个c∈C1<$C2do对于每个p∈Pdotp，c← −ln（Ip，c−Ac） # computeκcxp(a) 场景（b）地面实况BG（c）修复BG(d)（e）用（b）预测（f）用（c）端Bc−Ac图8.用已知粉末定位器识别的示例kc←medianp∈P{tp，c}#computekcmedian{xp}使用地面真相和修复背面的照片（粉末掩模）端r←（1κc+1Σ κc）/2场.两种背景的结果具有可比性。|C 1| c∈C1|C2| c∈C2是修复背景的强度。 让A成为对于每个c∈C1<$C2，κc←κc/r#通道归一化端混合RMSE（平均值±标准值）RGBNSWIRα 0.028±0.018 0.028±0.020Beer-Lambert0.018±0.016 0.016±0.016表3. 面片细化时的拟合错误。Beer-Lambert混合显示比Alpha混合更小的误差假设κc对于每个像素是相同的。由于κ的尺度无关紧要，我们简单地让κc=κcmedian{xp}。为了使κc在一个方便的范围内，我们分别计算RGBN和SWIR通道的平均κc值，并通过将其除以两个值的平均值来归一化κc我们在表3中比较了Beer-Lambert和Alpha Blending的拟合误差。对于一个薄的补丁，我们为每个像素搜索最佳厚度，并使用厚渲染强度por wder inte n.它是y、背景、厚度和κ。我们都知道-来自Patch-thick用校准的κ。通道下标c被忽略。我们，η=0。0，0。1、…0的情况。图9示出了使用等式2绘制不同厚度的薄粉末像素的示例。我们通过在渲染数据集中使用Split Cosine Distance（第3.3节）找到Ip的最近邻居来对像素p进行算法2已知粉末掩模的识别输入：观察掩模中每个像素p的粉末强度Ip;估计背景Bp输出：预测pred votes←预测对于粉末掩模Do中的每个像素P中文（简体）对于每个补丁T∈补丁厚数据集，A←像素间T的平均值对于η= 0。0比0。一比零。9 doI′←使薄粉末强度与A，Bp，使用公式2计算ηD← D{I′}端ate RMSE=1（渲染-真实）2为端n像素×n通道WhitePatchy←Ip在D中的最近邻的粉末类每个补丁都在补丁薄中。表3显示，Beer-Lambert混合比阿尔法混合更适合。5. 已知粉末位置为了验证波段选择和混合模型，我们使用已知的粉末位置（掩模）进行100类分类。我们使用最近邻分类器，以获得全面的实验结果，而不需要长的训练时间。5.1. 合成数据集中的最近邻与算法2中一样，我们通过在为该像素渲染的薄粉末数据集中找到其最近邻居来识别掩模中的每个像素，并投票支持多数预测。为了构建这样的数据集，我们通过使用快速行进[36]修复掩模来估计背景，并使用Beer-Lambert Blending渲染薄粉末具体地，对于要识别的每个像素p，设Ip是其强度，并且Bp投票←投票{y}端pred←投票中的模式值5.2. 实验结果我们进行实验，以分析是否修补背景，啤酒兰伯特混合，三个摄像头，波段选择是有用的。我们报告了Scene-val，Scene-test，Scene-sl-train和Scene-sl-test的平均类准确度，因为训练数据仅来自补丁如果没有特别说明，使用RGBN（RGB和NIR）波段、NNCV选择的SWIR波段、Beer-Lambert混合和绘画背景。此默认设置实现60%到 70%的top-1准确率，以及大约90%的top-7准确率。图像修复与Ground Truth背景：表4和图8示出了修复背面的类似性能。地面和捕获的地面真实背景。8704本征图像分解（a）RGB图像(e)着色使用捕获的填充段（b）GT分割通用材料块（f）背景平滑阴影估计（c）RGB图像(g)厚度使用捕获的填充段厚粉贴片（d）GT细分（h）浓粉背景nSWIRVal测试SL列车SL检验地面实况96162.560.0--修复96163.559.5--地面实况468.065.563.0063.50修复472.064.062.5062.50表4. 修复与地面真实背景。内画不会显著降低性能.0.70.60.50.40.30.20.10全部961个波段平均961波段NNCV网格取样MVPCA粗糙集0 5 10 15 20 25SWIR波段表 5. 朗 伯 啤 酒 与 阿 尔 法 啤 酒 与 无 混 合 啤 酒 AlphaBlending优于No Blending，而Beer-Lambert Blending优于Alpha Blending。RGBNIRSWIR场景价值场景测试C20.518.0CC31.529.0C28.030.5CC33.035.5CC51.549.5CCC63.559.5表6. 摄像机消融。 如果选中“SWIR”，则使用所有961SWIR波段。正态余弦距离用于行1到行 4。所有三个相机（RGB，NIR，SWIR）都很有用。啤酒-兰伯特vs.阿尔法vs.没有混合：不掺混是指以粗粉强度作为掺混强度。表5显示了Beer-Lambert混合更好。摄像机消融：所有三个相机都是有用的（表6）。波段选 择 ： 我 们 在 图 9 中 比 较 了 NNCV 与 网 格 采 样 ，MVPCA [6]和粗糙集[30]。NNCV的性能在4个SWIR波段后饱和，优于其他方法和使用所有961个波段。6. 使用未知粉末面具识别在实际情况中，火药的位置通常是未知的. 算法应该区分后-图9. 波段选择比较。 网格采样是仅在平方数上测试我们报告的平均重-Scene-val 和 Scene-test 的 结 果 。 单 独 的 数 字 见 补 充NNCV的准确度在四个波段后饱和，优于其他方法。选择几个波段甚至比使用所有波段更好。（一）混合图像（j）GroundTruth粉末面膜图10. 粉末对背景数据合成。（a）（c）是来自NYUDv2 [34]的RGB区域，（b）（d）是它们的分割标签。我们通过内在图像分解获得阴影（e），并通过用来自Patch-common的补丁填充（b）中的片段获得背景图像（f）。我们通过平滑阴影估计获得粉末厚度图（g），并且通过仅针对具有正厚度的像素用来自Patch-thick的通过使用Equa混合背景（f）和厚粉末（h）获得最终图像（i）地面和粉末，导致101类语义段-心理任务（背景+100粉末）。我们使用合成数据和有限的真实数据来训练深度网络。6.1. 根据背景数据合成粉末由于真实数据有限或难以捕获，我们提出了在背景图像上渲染粉末我们用厚度图合成了一个厚的粉末图像，并通过Beer-Lambert混合将其与真实或合成的背景相我们使用NYUDv2 [34]数据集和Patches进行基于图像的渲染。图示见图10。（2）以（g）为1-n，并应用阴影（e）。通过对厚度（g）进行阈值化来获得地面实况（j）。背景综述：NYUDv2提供带有分割标签的RGB图像。我们随机裁剪RGB区域及其分割，并从Patch-common（表1）中为每个分割类分配一个随机的公共材料块。合成背景是通过使用图像绗缝”[11]或“”，或“”。RGB区域的阴影图通过固有图像分解来估计[24]。共混nSWIRVal测试 SL列车SL检验无混合96140.540.0--阿尔法搅拌96159.555.0--贝朗贝尔96163.559.5--无混合441.042.036.2543.00阿尔法搅拌461.558.058.2560.00贝朗贝尔472.064.062.5062.50精度8705RGBNIRSWIR ISWIR IISWIR IIISWIR IVPixNNIoU=7.8iIoU=7.7标准IoU=1.6iIoU=1.7我们的IoU=41.5iIoU=41.5地面实况图11. 场景测试与每像素最近邻（PixNN）和标准语义分割（标准）的比较。黑色表示背景，而其他颜色表示不同的粉末。我们的方法执行得更好。波段选择和数据合成导致了巨大的改进，而不是简单地在有限的真实数据上进行训练。粉末合成：Kovacs等人[21]提供了一种方法， 以估计平滑着色概率。它的输出热图看起来类似于粉末厚度图。我们将该方法应用于NYUDv2的图像，以获得厚度图。我们将热图中的像素值（介于0和1之间）视为等式2中的1−η。我们使用与渲染背景相同的方法来渲染像素的厚粉末图像使用Patch-thick中的patches，具有正厚度。最后，使用等式2混合随机合成背景和合成粉末掩模，并进行着色应用。标签通过将1−η的阈值设为0.1来获得6.2. 实验结果通过与基线的比较，我们表明我们的方法是优越的，并且通过烧蚀研究，Beer-Lambert混合和NNCV波段选择是必要的。实施详情：1000个粉末面具和1000个背景被渲染。我们使用DeepLab v3+ [8]网络，将NNCV选择的RGBN和4个SWIR波段作为输入。我们使用AdamWR8706我们无混合无SWIRPixNN标准随机完全混合带未扩展扩展10.90.80.70.60.50.40.30.20.100.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1表7.混合消融和条带选择。啤酒-Lambert混合与NNCV波段选择是优越的。假阳性率图12. 场景测试的ROC曲线。通过对波段选择和数据合成的简化，我们的方法优于Per.数量采集未扩展扩展像素最近邻（PixNN）和标准语义分割（Standard）。表8. SWIR波段数。选择几个频段可以缩短采集时间，同时提高IoU。[25]在渲染数据上，并针对来自Scene-bg和Scene-sl-train的真实背景以及来自Scene-sl-train的纯真实数据对渲染粉末进行微调。Scene-val用于验证。参见超参数的补充资料。评估指标：我们报告了从Cityspaces [ 9 ]借来的平均交集（IoU）和平均实例级交集（iIoU）。我们将同一图像中具有相同标签的像素定义为实例。与基线的比较：我们比较 对 场景测试有两个基线：每像素最近邻（PixNN）查找数据库中的每像素最近邻，包括来自Patch-thick和Patch- common的平均补丁值。Standard Semantic Segmentation（Standard）在来自Scene-val的纯真实数据上使用RGBN和961 SWIR波段训练DeepLab v3+ [8在图11中，我们的方法显著优于两个基线。混合、波段选择和SWIR波段数量的烧蚀研究：由于场景-sl-train和场景-sl- test不提供短波红外波段，我们进行两种类型的实验：（1）非扩展实验不包括场景训练，只对场景测试进行评价。(2)扩展实验包括Scene-sl-train的训练和评估在一个数据集上合并Scene-test和Scene-sl-test。表7显示，Beer-Lambert混合和NNCV选择优于其他设置。表8显示，4个SWIR波段在短采集时间（3s）下达到高性能，可及时使用。敏感应用（例如，图13中的人类场景）。ROC曲线：安全应用通常关心特定粉末的存在/不存在，而不是其确切的掩模。 因此，调整置信阈值，我们绘制图13. 手臂，手掌和牛仔裤上的粉末识别。该模型在十个具有渲染粉末的人类图像上进行微调 我们在每个连通的成分中投票选择多数类，并保留置信度≥ 0的成分。九十五图12中的2类分类任务的ROC曲线（和补充材料中的PR曲线），显示了我们的方法相对于基线的显著优越性。7. 结论我们提出的方法在识别已知粉末位置时达到60%至70%的准确度，在识别未知位置时达到40%以上的平均IoU（参见sup.1）。故障情况的补充）。我们相信，考虑到手头的细粒度100类识别问题，特别是在大量数据不容易获得或很难收集的情况下，这种性能是很强的虽然这种准确度对于要求近乎完美地检测危险粉末的安全应用可能是不够的，但是可以通过以下方式来改进：（a）添加更多的数据以减少背景上的假阳性和/或（b）考虑-具有 更宽的 光谱 范围， 包括中 波IR（ 2μ m 至 5μm）。即使粉末识别可能无法达到完美的准确度，如果只使用视觉线索，视觉识别系统可以排除大多数候选者，并且可以通过其他手段（显微镜，化学）进一步测试前N个检索。这项工作是解决粉末识别的初步尝试，我们将在未来解决上述问题。鸣 谢 。 这 项 工 作 部 分 由 NSF 资 助 CNS-1446601 和ChemImage Corporation资助。我们感谢Chemimage公司在这项工作中使用的DPCF-SWIR相机。真阳性率选择IOUiIoUIOUiIoU无混合NNCV9.710.029.329.9阿尔法搅拌NNCV30.230.239.339.5beer-Lambert网格取样30.430.836.337.4beer-LambertMVPCA [6]31.531.737.938.2beer-Lambert粗糙集[30]23.924.431.031.7beer-LambertNNCV36.837.042.742.2SWIR波段时间IOUiIoUIOUiIoU96112min29.128.9--1612s31.932.0--97s34.534.942.542.643s36.837.042.742.210.75s20.420.426.626.91（平均961个条带）12min18.218.3--1（平均4个波段）3s16.517.224.724.88707引用[1] 爱德华·H·阿德尔森。看东西：人类和机器对材料的感知。人类视觉和电子成像VI，第4299卷，第1-13页。国际光学与光子学学会，2001年。1[2] Yan Bai，Yihang Lou，Feng Gao，Shiqi Wang，YuweiWu，and Ling-Yu Duan.用于车辆重新识别的组敏感三元 组 嵌 入 。 IEEE Transactions on Multimedia ， 20（9）：2385-2399，2018。1[3] Sean Bell，Paul Upchurch，Noah Snavely，and KavitaBala.利用上下文数据库中的材料进行野外材料识别.在IEEE计算机视觉和模式识别会议论文集，第3479-3487页，2015年。1[4] Za la'nBod o' 。 发 光 材料的 某 些 光 学 性 质 Acta PhysicaAcademiae Scientiarum Hungaricae，1（2）：135-150，1951. 2[5] 阿扬·查克拉巴蒂和托德·齐克勒真实世界高光谱图像的统计。在计算机视觉和模式识别（CVPR），2011 IEEE会议上，第193IEEE，2011年。2[6] Chein-I Chang，Qian Du，Tzu-Lung Sun，and Mark LGAl-thouse.高光谱图像分类的波段优先和波段去相关联合波 段选 择方法 。IEEE地球 科学 与遥感 学报 ，37（6）：2631-2641，1999年。二三四六八[7] 张千 一和 王素。 超光 谱图像 的约 束波段 选择 IEEETransactions on Geoscience and Remote Sensing ， 44（6）：1575-1585，2006. 2[8] Liang-Chieh Chen，Yukun Zhu，George Papandreou，Florian Schroff，and Hartwig Adam.用于语义图像分割的具有粗糙可分离卷积的编码器-解码器。欧洲计算机视觉会议。Springer，2018. 七、八[9] Marius Cordts ， Mohamed Omran ， Sebastian Ramos ，Timo Rehfeld，Markus Enzweiler，Rodrigo Benenson，Uwe Franke，Stefan Roth，and Bernt Schiele.用于语义城市场景理解的cityscapes数据集在Proceedings of the IEEEconference on computer vision and pattern recognition，pages 32138[10] Joseph DeGol，Mani Golparvar-Fard，and Derek Hoiem.几何信息材质识别。在IEEE计算机视觉和模式识别会议论文集，第1554-1562页，2016年。1[11] Alexei A Efros和William T Freeman。图像绗缝纹理合成和转移。在第28届计算机图形和交互技术年会的会议记录中，第341-346页ACM，2001年。6[12] 耿秀瑞，孙康，季露燕，赵永超。基于体积梯度的高光谱 图 像 快 速 波 段 选 择 方 法 IEEE Transactions onGeoscience and Remote Sensing ， 52 （ 11 ） ： 7111-7119，2014. 2[13] 哈利·赫克特漫反射光谱的解释。在分光光度法和发光测量的标准化中：1975年11月19-20日在马里兰州盖瑟斯堡的国家标准局举行的研讨会会议录，第466卷，第57页。美国商务部，国家标准局，1976年。2[14] 戈 登 · 休 斯 统 计 模 式 识 别 器 的 平 均 准 确 度 。 IEEEtransactions on information theory，14（1）：55-63，1968. 2[15] Sen Jia，Guihua Tang，Jiasong Zhu，and Qingquan Li.一种新的基于排序聚类的高光谱波段选择方法。IEEETransactions on Geoscience and Remote Sensing ， 54（1）：88-102，2016. 2[16] 彼得·D·约翰逊从漫反射的绝对光学吸收。JOSA，42（12）：978-981，1952. 2[17] Christians Kampouris ， Stefanos Zafeiriou ， AbhijeetGhosh，and Sotiris Malassiotis.使用微观几何和反射率的细粒材料分类。欧洲计算机视觉会议，第778-792页。施普林格，2016年。1[18] Leonid Karlinsky ， Joseph Shtok ， Yochay Tzur ， andAsaf Tzadok. 通过单个示例训练对数千个对象类别进行细粒度识别在IEEE计算机视觉和模式识别会议集，第4113-4122页，2017年。1[19] 河濑幸藤用于药物检测和大规模集成电路检测的太赫兹成像。光学与光子学新闻，15（10）：34-39，2004. 2[20] 河濑幸藤，小川雄一，渡边优希，井上喜之.利用光谱指纹对非法药物进行非破坏性太赫兹成像。Opticsexpress，11（20）：2549-2554，2003. 2[21] Balazs Kovacs ， Sean Bell ， Noah Snavely 和 KavitaBala 。 野 外 阴 影 注 释 在 计 算 机 视 觉 和 模 式 识 别（CVPR），2017 IEEE会议，第850-859页IEEE，2017年。7[22] Jonathan Krause，Hailin Jin，Jianchao Yang，and Li Fei-Fei.无需零件注释的细粒度识别。在IEEE计算机视觉和模式识别会议的Proceedings，第5546-5555页，2015年。1[23] 保罗·库贝尔卡和弗朗兹·蒙克。一篇关于油漆层光学的文章。Z. Tech. Phys，12（593-601），1931. 二、四[24] 李正奇和诺亚·斯内弗利。从观察世界中学习内在的意象解构在IEEE计算机视觉和模式识别会议论文集，第9039-9048页6[25] 伊利亚·罗希洛夫和弗兰克·哈特。解耦权去cay正则化。在2019年国际学习代表。8[26] 楼一航，白燕，刘军，王世奇，段玲玉.嵌入对抗性学习 用 于 车 辆 重 新 识 别 。 IEEE Transactions on ImageProcessing，2019。1[27] Adolfo Mar t'Inez-UsO'Martinez-Uso，Filiberto Pla，Jose 'Mart' ınez Sotoca和Pedro Garc 'ıa-Sevilla。基于聚类的信 息 测 度 高 光 谱 波 段 选 择 。 IEEE Transactions onGeoscience and Remote Sensing ， 45 （ 12 ） ： 4158-4171，20