混凝土缺陷分类的基于CODEBRIM数据集的研究

1基于CONCRETE DEfect BRIDGE IMAGE数据集的多目标混凝土缺陷分类的Martin Mundt1岁，Sagnik Majumder1岁，Sreenivas Murali1岁，Panagiotis Panetsos2岁，VisvanathanRamesh1岁1. 歌德大学2.埃格纳蒂亚·奥多斯A. E.{mmundt，vramesh}@ em.uni-frankfurt.de{majumder，murali}@ppane@egnatia.grccc.cs.uni-frankfurt.de摘要识别混凝土基础设施（尤其是桥梁）中的缺陷是评估结构完整性的关键第一步，成本高且耗时混凝土材料外观的大变化、变化的照明和天气条件、各种可能的表面标记以及不同类型的缺陷重叠的可能性使其成为具有挑战性的现实任务。在这项工作中，我们介绍了 新 的 COncreteDEfectBRidge 图 像 数 据 集（CODEBRIM）的多目标分类的五个常见的混凝土缺陷。我们研究并比较了两种基于强化学习的Meta学习方法，MetaQNN和高效的神经架构搜索，以找到适合这种具有挑战性的多类多目标任务的卷积神经我们表明，学习架构具有更少的总体参数，除了产生更好的多目标准确性相比，流行的神经架构，从文献中评估我们的应用程序的背景下。1. 介绍为了评估混凝土桥梁的结构安全性，需要通过准确识别所有缺陷类型来确定退化程度。相对于桥接元件，缺陷往往较小，并且通常与缺陷类别的重叠同时发生。尽管可以想象单独处理每个缺陷类别，但重叠缺陷在结构安全方面更为严重。识别这些多类别多目标缺陷的要求形成了具有挑战性的现实世界任务的基础，该任务由于各种环境因素而进一步复杂化。混凝土作为一种复合材料，在表面反射率、粗糙度、颜色以及在某些情况下所施加的表面涂层方面具有广泛的变化。不断变化的照明条件，* 在法兰克福高等研究院进行的工作表面和各种各样的与安全无关的表面变化，如小孔、标记、污点或涂鸦，增加了变化的因素。这需要能够解决这种丰富的外观空间的计算机视觉技术。结合标记数据集的深度学习技术已被证明是类似复杂度的识别任务的理想候选者。特别是卷积神经网络（CNN）[21，32，1，37，16]已被证明在物体和材料识别基准方面表现出色[29，10，35，3]。不幸的是，混凝土桥梁中的缺陷识别在很大程度上还没有从深度学习方法中受益由于在注释过程中需要专业知识以及繁琐的图像采集，该任务传统上集中在裂缝上，算法基于特定领域的建模或人工检查。最近，数据集[31，36，26]和相应的深度学习应用程序[36，23，18，8]已经在该领域中为数据驱动方法做出了重大努力。他们的工作重点是裂纹只是结构相关缺陷的一个子集，并集中在物体识别文献中提出的CNN上，这可能不是材料缺陷识别的最佳选择。在这项工作中，我们解决了混凝土缺陷识别的两个关键开放方面：建立具有重叠缺陷类别的标记的多目标数据集，用于机器学习和设计针对任务定制的深度神经网络。为此，我们介绍了我们的新的COncreteDEfect BRidge IMage（CODE-BRIM）数据集，并采用特定于多类多目标缺陷分类的CNN架构的元学习。CODEBRIM有六个互不排斥的类：裂纹、散斑、风化、外露钢筋、腐蚀（污渍）和无缺陷背景。我们的图像是以高分辨率获取的，部分使用无人驾驶飞行器（UAV）进行近距离访问，并具有不同的规模和背景。我们评估了文献中关于CODEBRIM多目标缺陷的各种最佳实践CNN架构[21，32，1，37，16]1119611197识别任务我们通过调查和比较两种强化学习神经架构搜索方法，证明了元学习神经架构实现了等同或更好的准确性，同时参数效率更高：MetaQNN [2]和“高效神经架构搜索”（ENAS）[ 27 ]。CODEBRIM数据集可在https://doi.org/10.5281/zenodo.2620293.我们还将用于训练CNN基线和两种元学习技术的代码开 源 于 ： https://github.com/MrtnMndt/meta-learning-CODEBRIM。总结我们的贡献：• 我们介绍了一种新的高分辨率的多类多目标数据集，其特征在于混凝土桥梁背景中的缺陷图像• 我们评估和比较了用于多目标缺陷分类任务的最佳实践CNN• 我们适应和对比两种基于强化学习的架构搜索方法，MetaQNN和ENAS，在我们的多目标场景。我们展示了如何从这两种方法中获得元学习架构，从而在更高的准确性和更低的模型参数计数方面改进所提出的任务2. 先前和相关工作数据集。图像分类和目标检测基准主要集中在单目标场景。流行的例子是ImageNet [29]，Pascal VOC [10]或场景理解SUN数据集[35]，其中的任务是为图像，区域或像素分配特定的类最近的许多计算机视觉深度学习研究都是基于这些公开可用的数据集进行改进的。“上下文中的材料”数据库（MINC）[ 3 ]遵循了这一精神，并为材料和纹理相关的识别任务创建了MINC在很大程度上扩展了以前的数据集和应用程序，这些数据集和应用程序建立在（CURET）数据库[9]、FMD数据集[30]和KTH-TIPS [11，5]的先前工作基础上。关于混凝土结构的缺陷，特别是桥梁，公开可用的数据集仍然很少。根据需要识别的缺陷类型，我们的任务将风化或裂缝等纹理异常与外露钢筋等物体相结合。领域特定数据集的贡献是最近提出的然而，由于所有以前的作品fea- ture一个单一的目标，事实上单类任务 ， 我 们 决 定 扩 展 现 有 的 工 作 与 多 类 多 目 标CODEBRIM数据集。缺陷（裂纹）识别。Koch等人[20]对计算机视觉的现状进行了全面的回顾，混凝土缺陷检测和开放方面。总之，大多数方法遵循特定任务建模。数据驱动的应用程序仍然是例外，尚未得到充分利用。最近的工作[23，8，18]显示了使用几乎没有杂乱和缺乏结构背景的图像进行裂缝与非裂缝分类的[36]的作者考虑了另一类剥落缺陷与其他作品类似，他们专注于单目标场景和对先前对象识别文献中已知CNN基线的评估我们通过元学习更多特定于任务的神经架构来扩展他们的工作，以获得更多的缺陷类别和重叠缺陷。卷积神经网络。 LeCun等人对深度学习、其历史和神经架构创新进行了更广泛的回顾。[22 ]第20段。我们回顾了一些作为基线的CNN架构，并为元学习在我们的任务中产生的架构提供了参考框架Alexnet [21]在ImageNet上取得了巨大的成功[29]挑战，随后是一组更深层次的架构，通常称为VGG [32]。Texture-CNN [1]是Alexnet设计的改编版本，包括基于能量的自适应特征池，FV-CNN [7]使用Fisher向量池增强VGG以进行纹理分类。最近的工作通过添加与残差网络[14]，宽残差网络（WRN）[37]和密集连接网络（DenseNet）[16]的跳过连接来解决更深网络中的信息流。元学习神经架构。 虽然 深度神经网络在许多实际应用中经验性地工作良好，网络最初被设计用于不同的任务。最近一个绕过人类设计直觉的趋势是将神经架构本身从元学习视角，并在权重训练之上进行黑盒优化，以找到合适的任务特定架构设计。文献中的一些作品已经从各种角度提出了基于强化学习（RL）控制器[2，38，27，4]，可微方法[24]或进化策略[28]的架构元学习。在我们的工作中，我们评估并调整了两种基于RL的多目标缺陷分类方法：MetaQNN [2]和“高效神经架构搜索”（ENAS）[ 27 ]。我们选择这两种方法，因为它们共享训练RL控制器的基本原理。这允许我们选择由建议的CNN候选准确度确定的公共奖励度量主要区别在于RL代理的性质：MetaQNN采用Q学习来学习建议越来越准确的CNN，而ENAS使用策略梯度[34]来训练自回归递归神经网络，该网络基于先前的输入对各个层进行采样。11198(a) 从左到右顶行：1.）的人。暴露的钢筋、火花、裂缝（很难看到）2.） 头发丝裂纹与风化3.） 风化4.）无缺陷的混凝土最后一行从左到右：1.）的人。大面积剥落，钢筋外露，腐蚀2.）涂鸦涂鸦（3）腐蚀斑，轻微风化4.）无缺陷的混凝土，上面有污垢和标记。(b) 从左至右：1.）的人。剥落区域，钢筋外露，腐蚀和风化严重2.）暴露的腐蚀钢筋3.）更大的裂缝4.）部分外露锈蚀钢筋、裂缝5.）发际裂纹6.）重sperks，暴露的酒吧，腐蚀7。顶部有风化的湿/湿裂缝8.）9. 10.第10章.有风化的细裂缝。图1：数据集示例。上图：全高分辨率图像。图片经过大幅降采样，以pdf格式显示。下图：从带注释的边界框中裁剪的图像块（不对应于顶部图像）。图片大小调整为PDF格式，但与原来的纵横比。3. CODEBRIM数据集COncreteDEfectBRidgeIMAGE 的 收 购 ：CODEBRIM数据集的驱动因素是需要一组更多样化的经常重叠的缺陷类别，与之前的裂纹集中工作相比[31，36，26]。具体而言，由于视觉缺陷外观的许多变化因素，将深度学习应用于现实世界的预防方案需要对现实世界的背景进行我们的数据集由五种常见的缺陷类别组成：裂缝，spepper，暴露的钢筋，风化（钙浸出），腐蚀（污渍），在30个独特的桥梁中发现（忽略没有缺陷的桥梁）。根据不同的整体退化、缺陷程度、严重程度和表面外观选择桥梁（例如：粗糙度和颜色）。图像是在变化的天气条件下拍摄的，以包括不同尺度的多个相机的潮湿/染色表面。由于大多数缺陷往往是非常小的一个关键要求是在高分辨率的采集。考虑到大部分桥梁是人类无法进入的，我们的数据集的一个子集是由无人机采集的。我们继续介绍相机选择背后的要求和原理，以及导致数据集的注释过程，最后总结了重要的数据集属性。3.1. 图像采集和相机选择图像采集和相机选择的动机是典型的混凝土裂缝宽度小到0。3 mm[20]。在像素级上解决此类缺陷111994000300020001000缺陷边界框大小30个独特的桥梁，以不同的规模和分辨率获得• 5354个注释缺陷边界框（大部分具有重叠缺陷）和2506个生成非重叠背景边界框。• 以下类别的缺陷编号：裂纹- 2507，剥落- 1898，风化- 833，暴露的钢筋- 1507和腐蚀斑-1559。00 1000 2000 3000 4000 5000 6000较大侧背景边框大小14001200100080060040020000 250 500 7501000125015001750 2000较大侧图2：顶部面板：缺陷的注释边界框大小的分布底部面板：采样的非重叠背景边界框的大小分布。对获取图像的距离和分辨率施加了强约束。在一个简单的计算中，传统的消费级相机具有尺寸为23的示例芯片。50×15。60毫米和最大分辨率6000×4000，这意味着大约0。1毫米每像素的焦距为50毫米和距离约为1。5 m（假设针孔相机模型和观察轴垂直于表面）。基于这一要求，我们的数据集是用四个不同的相机在不同的距离和角度下以高分辨率和大焦距收集的此外，为了均匀地照亮较暗的桥区域，我们使用了漫射闪光灯。准确的相机型号和相应的详细参数可以在补充材料中找到。3.2. 数据集属性我们采用了一个多阶段的注释过程，首先管理采集的图像，注释每个缺陷的边界框，并依次分别标记每个类别。补充材料中概述了基本原理和准确的注释过程采集和注释过程产生具有以下属性的数据集：• 1590张高分辨率图像，从具有各种重叠和非重叠缺陷的装订盒中提取的图像和补丁的示例可以分别在图1a和1b中看到。我们指出，与大多数基于对象和纹理的基准测试相比，我们的大多数数据集都有一个以上的类同时发生。我们在补充材料中显示了每个单独边界框注释的缺陷类数量的相应直方图。除了多目标性质使我们的数据集比单类识别更具挑战性之外，由于不同缺陷及其边界框的纵横比，规模和分辨率存在很大差异，因此任务很困难。考虑到裂缝可以非常细和细长，而剥落区域几乎可以任意变化，这在场景级别上尤其如此。为了说明这些变化，我们在图2中可视化缺陷边界框大小和采样背景边界框大小的分布。有关图像尺寸分布、每个类别的边界框尺寸分布（由于多目标性质而存在重叠）和每个缺陷的纵横比分布的更多详细信息，请参见补充材料。4. 用于多目标缺陷分类的元学习卷积神经网络我们使用元学习来发现针对CODEBRIM数据集上的多目标缺陷分类的模型。为了找到一组合适的超参数用于元学习搜索空间和神经网络的训练，我们从T-CNN和VGG-A开始[32]基线并研究学习率，批量大小和补丁大小的影响为此，我们将数据集分为训练和验证部分，并留出最终测试集用于评估。然后我们调整MetaQNN [2]和ENAS[27]架构元学习方法，并将获得的结果与文献中提出的以 下 CNN 架 构 集 进 行 对 比 ： Alexnet [21] ， T-CNN[1]，VGG-A和VGG-D [32]，宽残差网络（WRN）[37]和密集连接的卷积网络（DenseNet）[16]。我们想指出的是，即使我们的数据集中存在边界框注释，我们也不评估任何边界框检测算法，因为我们在这个阶段的目标是建立已经确定的多目标分类任务。我们还评估了较小侧较小侧11200多目标准确度[%]取决于学习率计划：最大到最小架构批量大小<$10−1，10−5<$10−2，5 <$10−4<$10−2，10−5<$最佳价值BV检验bv列车最佳价值BV检验bv列车最佳价值BV检验bv列车1664.6269.5180.2763.6765.7183.3864.3067.9393.91T-CNN3264.7866.1987.6663.3668.7294.4962.8466.3596.226463.3670.1495.2163.5267.9398.1062.2666.8295.8512863.6767.4598.3163.3666.8298.6360.5365.0894.471660.2262.0875.7463.6768.2494.7864.9370.4598.29VGG-A3263.0567.7793.8863.0566.3594.2765.4069.5197.016463.3669.6698.0063.3770.4590.6459.9063.8297.0112863.2061.2992.9963.5268.0798.5558.8061.2992.99表1：T-CNN和VGG-A模型在不同批量大小和不同学习率时间表上进行的网格搜索。多目标最佳验证准确度（bestval）与每个模型在达到最佳验证准确度（bv-检验）的时间点上对测试集的准确度一起显示。类似的训练精度（bv-train）证明了模型不会欠拟合。这些验证精度已用于确定训练超参数。从ImageNet和MINC数据集转移学习，尽管没有改进，因此在补充材料中报告这些4.1. 数据集训练、验证和测试分割我们在每个类中随机选择了150个独特的缺陷示例，分别用于验证集和测试集。为了避免由于非常相似的上下文而导致的过度拟合，我们确保始终将来自一个图像的所有注释边界框仅包含在数据集分割的一部分中。分割数据集的另一种方法是根据唯一的桥来分离训练集、验证集和测试集。然而，由于各个桥梁的缺陷类别特征不一致（特别是类别重叠），因此无法平衡每个缺陷的等量发生率的这种分割然而，为了研究过拟合全局特性的重要性，我们研究并进一步讨论了补充材料中这种分裂的挑战。4.2. 训练过程我们的数据集具有挑战性的多类多目标性质使得以下措施成为必要：1. 多类多目标。为了精确估计多目标场景中模型为了使所有神经网络适应这种情况，我们对每个类使用Sigmoid函数，并结合二进制交叉熵损失函数。当我们计算分类精度时，我们将Sigmoid输出二进制化，阈值为0。五、注意，这可以被视为超参数，以潜在地获得更好的结果。2. 尺度和分辨率的变化。我们通过遵循基于先前数据集（如ImageNet [29]和[21，32，37，16]中提出的模型）的常见文献方法来这里，提取的补丁的较小侧被重新缩放到预定的补丁大小，并且在训练期间采取补丁大小的随机二次裁剪3. 列车不平衡。我们通过虚拟复制代表性不足的类示例来平衡训练数据集，使得每个类的总体缺陷数量处于相同的规模，以确保在训练期间对缺陷类进行请注意，测试集和验证集通过设计进行平衡。采用第二步的原因是允许与先前文献中提出的CNN进行直接比较，而无需对其架构进行修改。我们不使用单个类的准确性作为性能指标，因为很难比较不捕获重叠的模型。尽管如此，我们提供了一个示例表，其中包含多目标与补充材料中稍后显示的CNN文献基线的每类准确性。4.2.1公共超参数我们进行初始网格搜索，以找到一组合适的超参数，用于基于T-CNN [1]和VGG-A [32]架构使用随机梯度下降训练的CNN（元学习或非元学习）。为此，我们根据[25]的工作 网格搜索功能Threebuccycleswithrangesinspiredbybucpreviobuccuswork[25，27]：10- 1，10- 5，5·10−2，5·10−4和10- 2，10- 5，11201热重启周期长度为10个时期，每次重启后加倍，以及四种不同的批量大小：128、64、32和16。所有网络都经过四次热重启循环的训练，因此总共有150次，之后我们没有收敛。其他超参数是动量值0。9，批量归一化[17]值为10−4以加速训练，辍学率[33]为0。5在倒数第二分类层。根据Kaiming正态分布[13]初始化权重。我们使用交叉验证来确定一组合适的超参数，即根据整个训练过程中的最佳验证精度。然后，我们报告基于该模型的测试精度。我们在表1中显示了两种CNN架构的多目标精度 我们注意到，总的趋势是有利于低批量的学习和学习率基于补丁大小的66646260585696128 224 384 512斑块大小7270686664时间表范围为10-210-5 当评估-62最佳验证模型类似的趋势是，最好的测试准确度并不总是与更高的验证准确度相关，这表明分裂之间的光分布不匹配。我们进一步注意到，绝对最佳测试精度一般来说，模型似乎有一个测试分裂的精度略高。该表还显示，验证和测试集与训练集有合理的不同，所有研究的模型都实现了过拟合。在确定了一组合适的超参数之后，批量大小为16，学习率为10- 2，10- 5， 我们已经开始挑选通过基于最佳多目标验证精度的附加实验确定的斑块大小。我们再次强调，我们不会根据测试准确度选择超参数，即使验证准确度较低的模型具有更好的测试得分。4.2.2贴片尺寸鉴于文献中提出的大多数CNN架构都是针对224 ×224的补丁大小设计的，我们还通过根据最后一次卷积的空间输出分辨率修改T-CNN模型的第一个全连接层中的参数数量来评估不同补丁大小的范围在图3中，我们显示了不同补丁和批量大小的多目标最佳验证和相应的测试精度可感知的趋势是，在小于224的补丁大小上训练的模型产生较低的准确性，而验证准确性似乎趋于平稳或具有较大补丁大小的上升趋势。相应的测试精度反映了这一趋势。我们把更大的补丁大小的评估留给未来的工作。在剩下的工作中，我们继续605896128 224 384 512斑块大小图3：T-CNN多目标验证精度（上图）和最佳验证模型使用补丁大小224。虽然更大的补丁大小似乎有希望，但它们阻止了直接比较和对比元学习方法与文献中提出的神经网络模型，而无需修改其架构。4.2.3元学习特定参数我们为MetaQNN和ENAS设计了奖励，以通过将其设置为多目标验证准确度来适应我们的多目标场景我们重申，使用每类准确度作为度量，特别是设计RL奖励，可能会导致控制器偏向于天真地提高奖励，通过生成正确预测（最容易）类子集的模型，而不适当考虑多目标重叠。我们尝试将两种元学习方法的方法特定超参数设置为尽可能相似，以允许直接比较。因此，我们使用前面指定的SGDWR时间表和SGD超参数来训练所有子CNN模型。MetaQNN：我们采用了一种基于Q-学习的贪婪算法.我们总共训练了200个架构，并从100个架构的完整探索阶段开始，其中n= 1。0的情况。我们继续使用10个架构，其中的k值为0。九比零。3步为0。1，并以15个体系结构结束，其值为0。2和0。1.一、我们的搜索空间64128批量批量1632批量批量最佳验证准确度[%]最佳值检验准确度[%]批量批量1632批量批量6412811202移动平均奖励[%]被设计为允许具有至少3个和最多10个卷积层的神经架构。我们包括选择对于大小为3、5、7、9、11的二次滤波器，可能有61每层的特征数量为32、64、128、256。 我们用60Q学习率为0。1，折扣因子为1。0和初始Q值0。十五岁后者的动机是15%的有效期-在第一个58SGDWR循环。与[2]类似，如果一个体系结构如果超过此阈值，则将其丢弃并采样新的56MetaQNN64626058565452并受过训练除了不同的奖励设计之外，我们还对MetaQNN [2]进行了几次扩展：我们覆盖了下采样，其中对于大于5的滤波器大小，卷积步长s= 2。卷积层之后是一个自适应池化阶段，使用允许尺度为3，4，5的空间金字塔池化（SPP）[12]，并有可能在添加最终分类阶段之前选择大小为32，64或128的隐藏全连接层所有层之后都是批量归一化和ReLU非线性，以加速训练。我们还包括在两个填充的3×3卷积之间添加ResNet式跳跃连接的可能性，这些连接不会改变空间维度。如果卷积输出特征的数量相同，则跳过连接是简单的加法，而如果输出特征的数量需要改变，则添加额外的并行卷积（我们做了这些扩展，以提供一个更公平的比较，ENAS的架构搜索，通过设计包含批量规范化，自适应池和添加跳过连接的可能性。ENAS：与MetaQNN相比，每个架构的层数是灵活的，ENAS中的网络深度是由有向无环图（DAG）中节点数量的规范预先确定的。每个节点定义一组可能的特征操作，RNN控制器在每个步骤中与连接模式一起采样。在搜索过程中，使用相同的DAG来生成具有通过共享特征操作来共享权重的候选者的我们选择让搜索通过CNN在CODEBRIM训练集上的共享权重和RNN控制器在验证集上的权重的交替训练来发展，其中控制器对每个小批次的一个我们设计DAG，使得每个架构具有7个卷积层和1个分类层，然后是Sigmoid函数。我们选择这个深度与MetaQNN架构的平均深度进行直接比较允许的特征操作是使用大小为3和5的平方滤波器的卷积，对应的深度可分离卷积[6]，最大池化和平均池化，内核大小为3×3。每一层之后是批次归一化和ReLU非线性。由于ENAS在搜索中使用共享权重500 25 50 75 100 125 150 175 200建筑索引伊纳尔60504030201000 50 100 150 200 250 300搜索时期图4：移动平均奖励的演变，定义为通过元学习提出的架构的多目标验证准确性。顶部面板还以颜色显示了MetaQNN的各个架构精度。底部面板中的ENAS在训练过程中共享模型权重，因此需要最终的端到端重新训练步骤来最终验证各个架构的准确性。所提出的体系结构的最终再训练步骤是必要的。我们在搜索所有层的过程中使用64的特征量，并在最终训练中使用k= 2的DenseNet 增长模式[16] ，与Pham等人的工作一致。[27]第10段。搜索时期的总数为310（5个SGDWR周期），之后我们经历了控制器的收敛。RNN控制器由一个LSTM [15]组成，它有两个64个特征的隐藏层，使用ADAM [19]以10−3的学习率进行训练4.3. 结果和讨论我们证明了MetaQNN和ENAS神经结构搜索的有效性，用于CODEBRIM数据集上的多目标混凝土缺陷分类。我们在图4中显示了基于窗口大小为20的架构的相应移动平均奖励。MetaQNN的各个体系结构准确性以颜色显示每个步骤在顶部面板中。我们观察到，在最初的探索阶段之后，Q-学习者开始开发和架构，n相勘探移动平均奖励[%]重启= 0.9重启= 0.7重启= 0.5= 0.3单个架构奖励[%]= 0.159温暖温暖温暖11203架构多目标精度[%]参数[M]层最佳价值BV检验Alexnet63.0566.9857.028T-CNN64.3067.9358.608VGG-A64.9370.45128.7911VGG-D64.0070.61134.2816WRN-28-452.5157.195.8428Densenet-12165.5670.7711.50121ENAS-165.4770.783.418ENAS-264.5368.912.718ENAS-364.3868.751.708MetaQNN-166.0268.564.536MetaQNN-265.2067.451.228MetaQNN-364.9372.192.887表2：文献中流行的CNN与MetaQNN和ENAS的前三大架构在最佳多目标验证精度（best val），最佳验证模型的测试精度（bv-test），参数总量（Params）（以百万计）和可训练层数量方面的比较。对于WRN，我们使用宽度因子4，对于DenseNet使用k= 32Tures提高了多目标验证的准确性。在图的底部面板中，我们显示了共享权重ENAS DAG的相应奖励。我们观察到，这两种方法都学会了建议随着时间的推移具有改进的准确性的架构我们提醒读者，与MetaQNN相比，ENAS需要顶级架构的最终重新训练步骤来获得任务多目标验证和测试精度，再次报告在最佳验证的时间点，总体架构参数和层的数量为前三名MetaQNN和ENAS架构可以在表2中找到。我们还评估并提供了流行的CNN基线的这些值：Alexnet [21]，VGG [32]，Texture-CNN [1]，宽残差网络（WRN）[37]和 密集 连 接网 络 （ DenseNet ）[16]。 我们 看 到Alexnet的Texture-CNN与VGG模型相比，DenseNet架构的连接模式也提高了性能最后，我们注意到，我们只能用WRN配置实现严重的过拟合（即使是用其他超参数和其他配置，如WRN-28-10或WRN-40）。我们所有的元学习架构所获得的准确性，独立于底层算法，优于大多数基线CNN，并且与DenseNet相比至少具有相似的此外，它们具有更少的参数和更少的总层，因此比它们的计算量大的相互作用更有效。我们最好的元学习模型的验证准确率高达66%，而测试准确率高达72%，参数总数不到500万。与文献CNN基线相比，这些架构更切合我们的具体任务和目标。有趣的是，以前在Ima-geNet上从一个文献CNN基线到另一个文献CNN基线（如Alexnet 81）获得了改进。8%至VGG-D 92。8%的前5名准确率，在对我们的任务进行评估时未显示出类似的改善这强调了在评估架构进步时对不同数据集的需求，并展示了手工设计的架构，即使有令人难以置信的谨慎和努力，对于ImageNet这样的数据集，仍然可能不如元学习神经网络。在两种搜索策略之间，我们没有观察到性能的显着差异。我们相信这是由于前面提到的MetaQNN的修改，主要是增加了跳过连接和批量归一化，使提出的架构更类似于ENAS的架构。我们向读者指出了元学习架构的确切定义的补充材料。在那里，我们还包括一组图像补丁，通常被分类为正确的所有目标，图像，其中只有部分重叠的缺陷类预测和完全错误分类的例子。5. 结论我 们 介 绍 了 一 种 新 的 多 类 多 目 标 数 据 集 称 为CODEBRIM混凝土缺陷识别的任务。 与以前主要关注裂缝的工作相比，我们通过深度学习对五种常见的结构相关缺陷进行了分类。我们没有将我们的评估局限于文献中常见的CNN模型，而是调整和比较了两种最近的元学习方法，以确定合适的任务特定的神经结构。通过对MetaQNN的扩展，我们观察到这两种元学习技术产生了可比较的架构。我们表明，这些架构具有更少的参数，更少的层，更准确地比他们的人类设计的同行对我们提出的多目标分类任务。我们最好的元学习模型实现了高达72%的多目标测试准确率。我们的工作为未来的工作创造了前景，如多类多目标混凝土缺陷检测，语义分割和系统应用，如基于无人机的实时检测混凝土结构。鸣谢：这一项目已获得欧盟“地平线2020”的资助研究和创新方案687384“AEROBI”。我们要感谢所有参与AEROBI项目的人。特别感谢Egnatia Odos A.E.的土木工程团队和Netivei NTIC，没有他们，数据集的注释我们还要感谢FADA-CATEC、Tobias Weis和Sumit Pai在部分数据采集方面的支持，以及Hieu Pham对ENAS超参数的宝贵讨论。11204引用[1] 作者声明：John F.在卷积神经网络中使用滤波器组进行纹理分类。Pattern Recognition Letters，84：63-69，2016. 一、二、四、五、八[2] Bowen Baker 、 Otkrist Gupta 、 Nikhil Naik 和 RameshRaskar。使用再增强学习设计神经网络结构. 2016年国际学习表征会议（ICLR）。二四七[3] Sean Bell，Paul Upchurch，Noah Snavely，and KavitaBala.材料识别在野外与材料的上下文数据库.在计算机视觉和模式识别（CVPR），2015。一、二[4] Han Cai，Tianyao Chen，Weinan Zhang，Yong Yu，andJun Wang.通过网络转换进行高效的体系结构搜索。AAAI人工智能会议（AAAI），2018年。2[5] Barbara Caputo，Eric Hayman，and P Mallikarjuna.特定类 别 的 材 料 分 类 。 2005 年 国 际 计 算 机 视 觉 会 议（ICCV）。2[6] 弗朗索瓦·肖莱。Xception：使用依赖可分离卷积的深度学习。在计算机视觉和模式识别（CVPR），第1800-1807页，2017年。7[7] Mircea Cimpoi、Subhransu Maji和Andrea Vedaldi。用于纹理识别和分割的深度卷积滤波器组。在计算机视觉和模式识别（CVPR），2015。2[8] 威尔逊河L. da Silva和Diogo S.德卢塞纳。基于深度学习图像 分类 的混 凝土 裂缝 检测在 实验 机械 国际 会议（ICEM18），2018年。一、二[9] 作者：Kristin J. Dana，Bram van Ginneken，Shree K.Nayar，and Jan J.Koenderink。真实世界表面的反射率和 纹 理 ACM Transactions on Graphics （ TOG ） ， 18（1）：1-34，1999. 2[10] Mark Everingham，S. M.Ali Ali Eslami，Luc Van Gool，Christopher K.I.我是威廉姆斯，约翰·韦恩，安德鲁·齐瑟曼。Pascal Visual Object Classes挑战：一个回顾者。International Journal of Computer Vision（IJCV），111（1）：98-136，2014. 一、二[11] Eric Hayman ， Barbara Caputo，Mario Fritz， and Jan-Olof Eklundh.论现实世界条件对材料分类的重要性。欧洲计算机视觉会议（ECCV），2004年。2[12] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于视觉识别的深度卷积网络中的空间金字塔池。在欧洲计算机视觉会议（ECCV）中，第346-361页，2014年。7[13] K.他，X。Zhang，S. Ren和J. Sun.深入研究整流器：在imagenet分类上超越人类水平的性能在国际计算机视觉会议（ICCV），第1026-1034页，2015年。6[14] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。在计算机视觉和模式识别（CVPR），2016年。2[15] SeppHochr eiter 和 J ür genSchmidhube r. 长 短 期 记忆.Neural Computation，9（8）：1735-1780，1997. 7[16] 高煌，刘庄，劳伦斯·范德马腾，和基利安·Q.温伯格密集 连 接 的 卷 积 网 络 。 在 计 算 机 视 觉 和 模 式 识 别（CVPR），第2261-2269页一、二、四、五、七、八[17] S. Ioffe和C.赛格迪批次归一化：通过减少内部协方差偏移 来 加 速 深 度 网 络 训 练 。 国 际 机 器 学 习 会 议（ICML），第37卷，第448-456页，2015年。6[18] 金贤俊，安恩贞，申明洙，沈成汉.基于机器学习的混凝土表面图像裂缝与非裂缝分类结构健康监测，2018年。一、二[19] Diederik P. Kingma和Jimmy Lei Ba。亚当：一种随机优化方法。国际学习代表大会（ICLR），2015年。7[20] Christian Koch、Kristina Georgieva、Varun Kasireddy、Burcu Akinci和Paul Fieguth。基于计算机视觉的混凝土与沥青民用基础设施缺陷检测与状态评估研究综述Advanced Engineering Informatics，29（2）：196-210，2015. 二、三[21] Alex Krizhevsky、Ilya Sutskever和Geoffrey E. 欣顿。使用 深 度 卷 积 神 经 网 络 的 ImageNet 分 类 。 在 NeuralInformation Processing Systems（NeurIPS），第25卷，第1097-1105页，2012中。一、二、四、五、八[22] Yann Lecun，Yooney Bengio，and Geoffrey Hinton.深度学习Nature，521（7553）：436-444，2015. 2[23] 李云东，李红光，王宏仁机器人应用中使用深度局部模式预测器的逐像素裂纹检测。传感器，18（9），2018年。一、二[24] 柳 寒 笑 ， 凯 伦 西 蒙 尼 扬 ， 杨 一 鸣 。 DARTS ：Differentiable Architecture Search。国际学习表征会议（ICLR），2019年。2[25] I. Loshchilov和F.哈特随机梯度下降与温暖重启.国际学习表征会议（ICLR），2017年。5[26] Marc Macquire ， Sattar Dorafshan 和 Robert J. 托 马 斯SDNET2018：A混凝土裂纹im-机器学习应用的年 龄 数 据 集 。 https://digitalcommons.usu.edu/alldatasets/48（上次访问：06.11.18），论文48，2018年。一、二、三[27] Hieu Pham，Melody Y.放大图片作者：Guan，BarretZoph.Le和Jeff Dean。通过参数共享的高效神经结构搜索。国际机器学习会议，2018年。二四五七[28] Esteban Real ， Sherry Moore ， Andrew Selle ， SaurabhSax- ena，Yutaka Leon Suematsu，Quoc Le，and AlexKurakin.图像分类器的大规模进化2017年，国际机器学习会议（ICML）2[29] Olga Russakovsky ， Jia Deng ， Hao Su ， JonathanKrause ， San- jeev Satheesh ， Sean Ma ， ZhihengHuang ， Andrej Karpathy ， Aditya Khosla ， MichaelBernstein