软件 影响 7 （ 2021 ）100053原创 软件Publicationconflicting _ bundle . py 冲突- a python module两 个IDENTIFY 身份Problematic Layers Deep Neural 问题 层 神经 元NetworksDavidpeer ∗，Sebastian稳定 性 ，Antonio Rodríguez-Sanchez - 罗德里格斯Technikerstrae 21 a ， 6020 Innsbruck ， 奥地利1AR t i C l Ei n F o ;Keywords：Deep Learning 深度 学习NeuralNetworks 神经 网络AutoML 的解释 性AIAB s t R A C t设计神经网络架构是一项挑战任务，并知道神经网络的特定层必须适应改善性能几乎是一个谜。 In thispaper ， 我们 邀请The conflicting _ bundle . py 冲突模块 ， 以 确定 确定 培训 的 网络 的 准确 性 的层 。此外，这个软件模块有助于机器学习研究人员和工程师进行精确的分析和改进神经网络架构。同样 的 软件 模块 可以 被 用来 自动 创建 改进 的 神经 网络建筑 师 |codemetadataCurrentcode Version 版本Rolling ）RELEASEcommit6363623 a18 f582 e170 e66 eec 4f 911097 d 07 eca 5a 60 e66 eec 4f 911097 d 07 eec 5a 60 e66 eec 4f 911097d 07 eca 5a 60 e70 e66 eec 4f 9111097 d 07 eca 5a 62 e1常驻link 链接两 个代码/存储 库used for this code Version 版本https://github.com/SoftwareImpacts/SIMPAC-2020-61永久 链接 To生殖 器Capsulehttps://codeocean.com/capsule/8314999/tree/v1Legal 合法code LicenseApache 2.0 的LicenseCode 版本系统used走 吧Softwarecode语言 ，工具 ，及Services 服务usedPython工作 环境 ， Compilation Requirements&依赖 性Python 3.x ; TensorFlow 2.x ;故称https://github.com/peerdavid/conflicting-bundles/blob/master/requirements.txtif available 相关 链接开发 商手册/Manualhttps://arxiv.org/pdf/2011.02956.pdf支援 Emailfor Question 问题大卫 · 皮尔@outlook.com1. Introduction介绍创造 竞争 性 的 深度 神经 网络 架构 是 一 个 chal - 长 的 任务 ， 这是 通过 谨慎 的 重量 初始 化 实现 的 。1 - 3 [ 其他 ] 激活 函数 （4，5如skip connections 、 inception modules 或 其他 改进 等 。6 - 9].“寻找优秀的建筑往往是通过复杂的试验和错误的方法来完成的，而且这几乎是一个谜，为什么一些神经网络的架构师会在其他地方工作。一些 现象作为 积极 的 影响Residual Connections 剩余 连接（6，10为什么 深 层次网络 的 培训 是 挑战7 ◎ 片 名 Why a Good平衡Between width及Depth的（11] is Important 重要Among 先生其他 OthersCan be explained by a newly discovered problem called 可以 通过 一 个新 发现 的 问题 来 解释冲突 bundles（12] Which is described 描述Next ：一个神经网络的输出是由成功的propa计算的——通过每个隐藏层传递输入。如果两个隐藏层的输出都很小，只有轻微的差异，小于最小的分辨率—所使用的浮点数的限制，那么CPU或GPU上的输出相等。所有样本在通过一些隐藏的层后变得平等的集合称为Bundle。（ Peer etal. ）12” [ 3 ] 表明 ， 含有 不同 标签 的 样本 对 培训 产生 负面 影响 并确定 准确 性 。Those Bundles Are Called （ 那些 打 电话 的 人 ）冲突bundles和 导致 冲突 的 层Bundle is called The冲突 层。2013 年 12 月 23 日@下午 11 时 26 分 i = =https://codeocean.com/）. More information on生产力Badge倡议is available 可用athttps://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals。∗ Corresponding 相关作者 |Email address： 大卫 · 皮尔@outlook.com（ D 。peer）。1https://iis.uibk.ac.at。https://doi.org/10.1016/j.simpa.2021.100053接收7 12 月2020 ;接收在Revised Form 22 12 月2020 ;接受 的5一 月20212665-9638/© 2021 年 The Author （ s ）2013 年 12 月 21 日@下午 12 时 45 分 i = =http://creativecommons.org/licenses/by/4.0/）.Contents lists available 可 提供ScienceDirect 的Software影响Journal日志主页 ：www.journals.elsevier.com/software-impactsD. Peer ，s 。 稳定及a . Rodríguez-Sanchez -罗德里格斯软件 影响 7 （ 2021 ）1000532| ||↓|↓（���）（| |������↓���（���）=― ―���（���）ln���（���）���（���）（）���Table1下 一篇 ： Time consumption to calculate conflicting bundles on a single2019 - 05 - 26 00 ： 00 ： 00NVIDIA GPU for a network with 150 neuronsper layer for different batch size （ 适用 于 不同 的 批次 大小 的 神经 网络 ）下 一篇 ： 英语 歌曲 ： Depths L At A Single Time Step���。BatchSizeDepth 。Timing 时间（ S ）101.82502.808641281004.111505.322006.56103.27509.6210018.1415026.5120034.66104.765017.4110033.5915049.2620064.55训练 强 过 小 的 束缚 和 之前 （ Training stronger than small bundles andtherefore ）Consider 意见The尺寸of EACH Bundle withFig.1. Time Consumption 消费两 个卡路里冲突Bundles 的on A A single 单一2070 年NVIDIA 的������������������_���������������������（���（ ） = 1������∈���|������| ◎������GPUfor A A network with 150 neurons PER Layer for Different 不同Batch尺寸↓及Depths的lat A A single 单一Time step���。当前 解决 方案 以 克服 此 问题 从 架构 中 删除 冲突 层12]. Weintroduce the 我 们 介 绍 bundle - ing _ bundle 冲 突 pythonmodule in this paper to （ 1 ） quantify conflict - ing bundles and （ 2 ）detect all conflicing layers such that network architectures 在 本文 中 使用 Python 模块CAN be precisely 珍贵 的adapted 。2. 《 冲突 群团 》 The Conflicting Bundlesmodulethe conflicting _ bundle . py 冲突module provides 提供商bundle _ entropy （ 一 个 ）function which analyzes thequality of each layer of a TensorFlow 2.x model by measuring thebundle-entropy metric （ 分析 每 一 层 的 质量 ） [ 编辑 ] 12].Thismetric is calculated 估计as Follows ：WeCALL ↓���The set of all Bundles 的that is introduced 的By A A Layer���for a given mini—batch。 《单身狗的熵》The Entropy of a SingleBundle������ ∈↓���w.r.t. one-hot encoded labels 的 相关 文章of dimension 尺寸已 计算with������where 哪儿Presents 介绍The概率那些 样本of cl ���A A = s 1 s ���Occur在Bundle���。 Large Bundles 的influence The一个玩家冲突了，iff������������������_���������������������（���）> 0，其他的AA非冲突层。We Implemented The我们执行bundle_entropy（一个）func—tion in a vectorized form such that iterates only once overall samples一次以上采样的矢量形式of a mini—batch。对于具有200个图层和128个批量大小的网络，计算仅在单个2070 NVIDIA GPU上需要300毫秒。一般来说，冲突的图层可以被检测到2013 年 第 一 届 中国 国际 教育 展（12这 是 一 个 计算 密集 型 的 训练 ， 通常 需要 花费 几 个 小时 才能获得 。《 A More Detailed Empirical Analysis of the Time Consumptionfor Many Different Batch Size 》 （ 许多 不同 批次 大小 的 时间 消费 的实证 分析 ）及Layers 的is SHOWN在Table1及Fig. 1。一个量化的实验：比较220个不同神经网络架构的测试准确性Fig. 2（ A ）。 We compared fully—connected neural networks with differentwidth and depths.我们比较了完全连接的神经网络，具有不同的宽度和深度。Afterward，我们使用bundle_entropy（一个）function toevaluate the first—conflicting layer that occurs in the network hierarchyfor each width and show this layer as a red line in网络层次结构中出现的第一个冲突层，并将其显示为红色线Fig. 2 （ A ）。这个 检测 可以 在训 练 开 始 时 就 完 成 了 。 12 （ Such ） that this Evaluation isComputationally 计算机very inexpensive 。为了衡量冲突层对准确性的影响，我们通过不同数量的层培训网络Fig. 2 （ b ）并 评价The Bundle-Entropy 的及The test准确 性of allNetworks 。D. Peer ，s 。 稳定及a . Rodríguez-Sanchez -罗德里格斯软件 影响 7 （ 2021 ）1000533Fig. 2. Empirical 经验Evaluation of The Bundle Entropy 的及The测试 准确 性for充分connected NeuralNetworks 。D. Peer ，s 。 稳定及a . Rodríguez-Sanchez -罗德里格斯软件 影响 7 （ 2021 ）1000534可以看出，由于冲突，bundles是由冲突层造成的，其准确性下降了95%至50%。因此，可以得出结论，Bundle熵与训练模型的准确性是负相关的。3. Impactthe软件模块presented出席在thispaper文件isusedBy（ Peer et al. ）12” 在 他们 的 出版 物 中 。他们演示了如何使用自动化—调整算法，使网络架构可以自动避免冲突层，加快参考，以保持准确性。这不仅适用于研究人员，而且也适用于一般公共的神经网络，因为这些网络专门在嵌入式或移动设备上部署，需要较少的能量，mem—ory和更快。同样 的 软件 模块 可以 被 用于 新 的 AutoML 研究 ： 进化算法 用于 神经 网络 架构 的 计算 是 作为 神经 网络 训练 通常 需要 很多计算 时间 的 。13].使用 拟议 的 软件 模块 ， 培训 具有 冲突 层 的 进化候选 人 可以 被 巧妙 地 设计 ， 并且 附加 到 导致 冲突 的 边界 可以 被识别 的 层 ， 即 架构 可以 预先 设计mutated 。4. FutureWork所呈现的软件模块可以提供很大的帮助，因此也是机器学习未来研究的灵感来源。Nevertheless，我们认为这个软件的不同部分可以进一步改进：首先，提出的模块仅限于分类问题。我们 Arecurrently当前Working 两 个extend 延伸The Theory及The software moduleregression 的 问题 。另一个问题是，目前它仅在TensorFlow 2.x中实现。我们 正 致力 于 PyTorch 和 Kerasimplementation 。比赛 宣言 Declaration of CompetitionInterest作者 称 ， 他们 不 知道 如何 处理 财务 问题 - 商业 关系 或 个人 关系可能 引起 影响The Work报告在this纸 。Acknowledgments的。我们 认可 IIS 研究 组 的 所有 成员 ， 欧盟 2020 年 地平线 计划 （ 批准 号 731761 （ IMAGINE ） ） 和DeepOpinion 的for The机遇两 个continue with this研究 |References[1] K。嘿，X。张先生，S。Ren ，J 。深入 谈判 ： 超越 人类 水平Performanceon图片分类 ，IN ：2015 IEEE国际 计算机 视觉 会议 ， ICCV ， 2015 ， pp 。1026-1034,http://dx.doi.org/2010.110.2015.12.12 - 2010 - 01 - 20 00 ：00 ： 00。[2]x。辉煌的Y。Bengio，Understanding the Difficulty of Training Deep FeedforwardNeural Networks （ 英 语 ： Understanding the Difficulty of Training DeepFeedforward Neural Networks）你好，M。Titterington（美国），第十三届国际人 工 智 能 会 议 （ Proceedings of the Thirteenth International Conference onArtificial Intelligence）及Statistics，in： Proceedings of Machine LearningResearch，第9卷，PMLR，Chia Laguna Resort，撒丁岛，意大利，2010，pp。249 - 256 ， URLhttp://proceedings.mlr.press/v9/glorot10a.html。[3]G. E。Hinton，S。Osindero，Y.W. A Fast Learning Algorithm for Deep Belief 深度学习 算法Neural Comput ， 神经 网络 。18 （ 2006 ）1527-1554.[4]g。戴尔，T。Sainath，G.E.。Hinton ， " Improving deep neural networks forLVCSR using rectified linear units and dropout " （ 利用 线性 单元 和 Dropout 改善 LVCSR 的 深度 神经 网络 ） ， 2013 年 IEEE 国际 会议on Acoustics ，Speech演讲及Signal处理 ，2013, pp 。 8609-8613.[5]D. MISRA ： A self regularized non-monotonic neural activation function ， 自我调节 的 非 单调 神经 激活 函数 。2019 年 ， 科科ABS/1908.0681 。[6]K。嘿， X。张先生，S。Ren，J。图像识别的深度剩余学习（英语： Deepresidual learning for image recognition），发表于《计算机视觉和模式识别IEEE会议纪要》（Proceedings of the IEEE Conference on Computer Vision and PatternRecognition）。2016年，PP。 770-778.[7] r.k. Srivastava，K。 格雷 夫 ，J 。（ Highway Networks ： Deep LearningWorkshop ）国际Conference on Machine Learning ，2015.[8] C. Szegedy，V. Vanhoucke，S.（美国）iffe，J。Shlens，Z。Wojna ， 重新 思考 初始 化计算机 视觉 的 架构 ： IEEE 会议 录Computer Vision及PatternRecognition ，2016, pp 。 2818-2826.[9]D.皮特，S。稳定，A。罗德里格斯 - 桑切斯 ： 达成 路由 限制based capsulenetworks ， 2019 年 ，arXiv ： 1905.08744。[10] D.巴尔杜什，M。弗里达，L。Leary，J。刘易斯，K.W. D. 妈，B。 麦克 威廉斯Theshattered gradients problem ： 如果 答案 是 答案 ， 那么 问题 是 什么 ？问 ？第 34 届 国际 机器 会议 论文 集 Proceedings of the 34 th InternationalConference on Machine学习 ， 第 70 卷 ， JMLR 。，2017年，PP。 342-350.[11] D.他的最新著作是《How many hidden layers and nodes》。Int .J 。远程 感30 （ 8 ）（ 2009 年 ）2133-2147.[12] D.皮特，S。稳定，A。- - 罗德里格斯 - 桑切斯 （ Rodriguez-Sanchez ） ， 《 冲突 bundles ： 适应 艺术 》 （ Conflicting bundles ： Adapting Archi ） 作者Tectures towards the improved training of deep neural networks . （ 《 深度 神经网络 的 改进 训练 》 ）IEEE/CVF 计算机 视觉 应用 冬季 会议 （ WACV ）2021年 ， P 。 256-265.[13] J。梁文道，E。梅耶尔，B。对不起，D。芬克，K。胡说，R。 ”（Evolu—tionary neural automl for deep learning ， Proceedings of the Genetic andEvolutionary Computation Conference，2019）。 401-409.
