PyTorch中使用CNN处理六边形采样数据的软件：Hertz DLy 2.0.1 - 深度学习框架扩展

≥≥SoftwareX 9（2019）193原始软件出版物在PyTorch中使用CNN处理Hundreds DLy六边形采样数据Constantin Steppaa，2001，1，Tim L. Holchb，1a波茨坦大学物理和天文系实验天体粒子物理学，Karl-Liebknecht-Straße 24/25，14476 Potsdam-Golm，Germanyb柏林洪堡大学物理系实验粒子物理学，Newtonstr。15，12489 Berlin，Germanyar t i cl e i nf o文章历史记录：2018年11月26日收到2019年2月28日收到修订版，2019年保留字：卷积神经网络PyTorch天体粒子物理学a b st ra ctHertz DLy是一个Python库，扩展了PyTorch深度学习框架，在六边形网格上进行卷积和池化操作。它旨在简化卷积神经网络的访问，以用于依赖六边形采样数据的应用程序，例如，在地面天体粒子物理实验中常见的应用程序。©2019作者由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本2.0.1用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2018_240法律代码许可证MIT使用git的代码版本控制系统使用Python 3、PyTorch的软件代码语言、工具和服务编译要求、操作环境依赖性在Linux和Mac OS、Python 3.6、PyTorch 0.4上进行了测试如果可用，链接到开发人员文档/手册https://github.com/ai4iacts/hexagdly问题支持电子邮件steppa@uni-potsdam.de，holchtim@physik.hu-berlin.de1. 动机和意义卷积神经网络（CNN）是大数据分析和计算机视觉中功能强大且用途广泛的工具[1]。由于开源深度学习框架（DLF）的可用性，如TensorFlow，Caffe，PyTorch或Microsoft Cognitive Toolkit，它们的应用已在各个研究领域得到广泛推广。此外，在地面天体粒子物理实验中，需要分析大量的图像数据，CNN的应用已经成为焦点。这些数据通常是六边形采样的，这对CNN的应用构成了一个最初的障碍：DLF无法处理开箱即用的六边形采样数据解决问题的对策*通讯作者。电子邮件地址：steppa@uni-potsdam.de（中文）Steppa），holchtim@physik.hu-berlin.de（T.L.Holch）。1 两位作者贡献相当。已在多项适用性研究中提出[2这些解决方案中的大多数是基于经由预处理（诸如，重组、插值、过采样和轴剪切）将六边形采样的数据转换为矩形网格上的近似表示。另一方面，HondrousDLy提供了一种处理六边形采样数据的本地解决方案。它依赖于六边形采样数据的特定寻址方案，该方案允许使用PyTorch2 [8]提供的方法在六边形网格上构建卷积和池化因此，HPLCIDLY旨在利用直接处理六边形采样数据的好处，其中最值得注意的是减少的计算资源[9]，更有效的图像处理算子[10]和更高的角分辨率[11]。在CNN的背景下，Hoogeboom等人已经证明了应用六边形卷积的优势，2 https://pytorch.org/网站。https://doi.org/10.1016/j.softx.2019.02.0102352-7110/©2019作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx194C. Steppa和T.L. Holch / SoftwareX 9（2019）193=Fig. 1. 具有以笛卡尔坐标给出的像素位置的六边形阵列的说明性示例（左）和从所描述的寻址方案推断的对应的张量索引（右）。张量的空白元素必须用任意值填充由于六角滤波器的各向异性降低而提高了精度[12]。使用HPLC-DLy，六边形卷积可在开源软件中使用，重点是用户友好性。它便于访问任何类型的六边形采样数据的CNN，除了基于地面的天体粒子物理学之外，还可以在其他研究领域中找到，如生态学[13]或数值气候建模[14，15]。在下面的第2节中，对软件进行了描述，包括其功能和对输入格式的要求。第三节通过一个实例说明了HPLC-DLy的应用，并对应用进行了比较研究六边形和正方形卷积核。在地基天体粒子物理学中使用六边形卷积的潜在好处在第5节中概述。2. 软件描述Hundreds DLy在基于PyTorch例程构建的六边形网格上提供卷积操作。给定这些例程所需的输入格式，必须选择寻址方案以将六边形采样数据映射到笛卡尔张量。然后相应地调整卷积和池化操作以反映原始数据的六边形结构，该六边形结构也保存在输出中。这是通过构造自定义六边形内核来实现的，这些内核与严格的填充和跨步方案相结合下面概述了HASHINGDLy背后的主要思想请参阅代码元数据了解存储库和软件依赖项。2.1. 输入格式为了将六边形采样的数据映射到笛卡尔坐标，可以应用不同的寻址方案（例如，见[12]）。Hondrance DLy使用允许最有效的数据存储的方案。由于六边形网格可以解释为两个重叠的矩形网格，因此可以通过对齐两个矩形部分将数据点组合在单个正方形网格阵列中。该过程在图1中示出，其中笛卡尔坐标中的六边形阵列首先被旋转以实现相邻元件（以下称为像素）的垂直对准。这允许将数据分成列。然后通过将每隔一列向上移动相邻像素之间距离的一半来水平对齐像素，从而形成具有行和列的正方形网格阵列。从上到下计数行，从左到右计数列，得到输入张量中每个元素的索引，它对应于六边形阵列中的某个像素。张量元素不具有六边形阵列中的相应对应物必须填充任意值。图二. 图10是从HALGODLy内的矩形子核构造六边形核的示意图。只有子内核的外部列包含值，而内部列通过设置dilation1而被忽略（有关详细信息，请参阅PyTorch文档）。2.2. 异面核所实现的卷积操作使用六边形网格上的具有6重旋转对称性的核（即六边形形状的核）。因此，核的几何形状仅通过其大小来描述，其大小是对应于其中心元件周围的相邻元件的层数的单个整数。在内部，HALGODLy从矩形子内核构建这些六边形内核，如图所示。二、所示的大小为2的核由三个子核组成，每个子核表示六边形核的一组等长列。这些列之间的空间关系是通过定义的水平膨胀来解释的。2.3. 卷积运算由于六边形核由多个直角子核构成，因此通过输入张量的多个卷积与这些子核的组合来实现单个六边形卷积运算。如第2.1节所述，六边形阵列的列被移动以匹配PyTorch所需的张量格式。因此，必须调整单个子卷积，以便考虑这种偏移。这是通过为填充定义复杂的方案来实现的C. Steppa和T.L. Holch / SoftwareX 9（2019）193195∼∼图三. 在HPLC-DLy中实现具有大小为1的核的六边形卷积。首先，将输入数据重新排列为张量（如第2.1节所述），将核划分成矩形子核。对于每个子内核，不同的填充和步幅被应用于输入以考虑移位的列。子卷积的结果然后被合并并相加以接收张量格式的卷积的六边形数据以及输入张量的切片在该方案中，为每个子卷积填充或切片的行和列的数量六边形内核和应用的步幅。为了保存数据的六边形结构，从左上角的单元格开始，只执行沿着六边形网格的三个对称轴的相等大小的步长中的对称步幅图3示出了用于玩具张量与大小为1的六边形核的卷积的该过程的单个步骤。重要的是要注意，内核始终以是实际输入张量的一部分而不是填充的行和列的一部分的像素。为了保留HASTODLy使用的数据格式，将忽略可能导致输出列长度不等的步骤。图图4示出了针对不同步幅和内核大小的这种填充和卷积元素选择，包括省略步骤的这种情况2.4. 软件功能HALGORIDDLy提供二维和三维六边形卷积运算。在三维情况下，输入数据预期在x-y平面中具有六边形布局这使得例如。以处理具有六边形布局的二维检测器的时间分辨数据在卷积运算的设计之后，相应地实现池化方法。这是通过将基于PyTorch的子卷积替换为相应的池化方法并将输出与聚合函数相结合来完成的，而填充和跨越方案是相同的。通过采用PyTorch-API，这些操作可以很容易地合并到PyTorch中定义的CNN模型中。此外，可以为每个核元素定义具有定义值的定制六边形核，使得可以手动实现结构检测核或执行数据处理，如对六边形采样数据进行平滑。在线存储库中以jupyter笔记本的形式提供了示例（参见代码元数据），这些示例演示了由Hubble DLy提供的方法的功能和用法。3. 说明性示例为了概述HPLC-DLy的应用，在线存储库中提供了一组涵盖基本用例的示例以及HPLC-DLy源代码一种说明性的方式来证明HALGORIDDLy的功能和能力是对本身呈现6重对称的六边形采样形状执行图在图5中，示出了将显示六边形形状的图像与六边形核卷积的结果。可以清楚地看到，六边形网格上的原始形状的6重对称性在输出中是守恒的。有关如何在CNN中使用Hupyter DLy的示例，请参阅在线存储库中提供的jupyter notebook（参见代码元数据）。4. 比较六边形和正方形卷积核如第1节所述，二维数据的六边形采样允许与正方形网格采样相比更有效的数据处理。从六边形采样数据开始，转换为正方形网格表示因此意味着数据处理效率较低。此外，将六边形采样的数据重新采样到正方形网格可能会引入采样伪影，并且通常需要增加分辨率以减少失真。在深度学习的背景下，重新采样的影响和处理效率的降低可能会对设计、优化和应用基于CNN的算法的过程产生重大影响。虽然所应用的重采样方法是可以优化的独立参数，但是分辨率的增加需要更多的计算机存储，并且意味着更大的卷积核或更多的卷积层以保持一定的感受野。结合起来，这些效应可以显着影响CNN的性能。下面通过比较CNN的性能来证明这一点，CNN是为相同的任务训练的，但分别对六边形或重新采样的数据对于所提出的实验，创建了一个数据集，该数据集具有六边形网格上随机位置处的四个不同六边形形状的图像，覆盖有高斯噪声。然后将该数据集内插到相同分辨率的正方形网格中（小）以及具有四倍像素数的正方形网格（大）。图6中示出了具有相应的重采样图像的这种六边形形状的示例。建立了具有相同架构的两个CNN模型，唯一的区别是使用六边形（h-CNN，小）或正方形网格操作（s-CNN，小）。这两个模型有两个卷积层和三个全连接层，13k可学习参数。第三个CNN模型具有三个卷积层和三个全连接层，总共1。2 M个可学习参数（s-CNN，大）建立和训练的大型正方形网格数据。196C. Steppa和T.L. Holch / SoftwareX 9（2019）193见图4。 具有不同内核大小和步幅的卷积的填充和步幅方案的说明。绿色和红色元素标记有效和省略步，分别。内核的第一个位置以及结果中相应的输出单元格都用蓝色标记图五. 将尺寸为1的六边形内核应用于六边形网格上的六边形形状的示意图。相应的代码在灰色框中给出，而定义操作的参数是彩色编码的。启用调试模式会将所有内核元素设置为1。CNN模型和数据集的完整实现在在线存储库的jupyter笔记本中提供这三个CNN在每类128张图像上训练了100个epoch，并具有自调整学习率。这是重复150次，在每次迭代中重新生成训练数据并重新初始化模型图6显示了每个CNN模型的所有迭代的学习曲线。可以看出，h-CNN可靠地达到了C. Steppa和T.L. Holch / SoftwareX 9（2019）193197见图6。 三个CNN模型的150次迭代的学习曲线，用于区分四种不同的六边形形状。其中一个的示例图像在每个学习曲线右侧的不同采样中示出了四个形状有关CNN模型和数据集的详细信息，请参见第4经过几个时期的训练后，100%的准确率另一方面，两种s-CNN都表现出普遍较差的学习行为。虽然它们在某些情况下都能够达到100%的准确率，但只有在所有迭代的60%（小）和80%（大）中，模型才能达到高于随机猜测性能的准确率。这个小例子说明了直接处理六边形采样数据在可靠性和准确性方面的优势两种s-CNN的性能差异表明，可以通过提高重采样数据的分辨率以及扩展CNN容量来补偿重采样的影响。然而，即使有两个数量级的可学习参数，h-CNN的性能也没有达到。尽管h-CNN和s-CNN之间的性能差异然而，与PyTorch中相应的正方形网格操作相比，目前在Hubble DLy中实现的六边形操作产生了显着的计算开销。这可以增加用HPLDLy实现的h-CNN的处理时间，但不影响如上所述应用六边形卷积的优点。5. 影响在高能立体系统（H.E.S.S.）等地面原子粒子物理实验中，受阻采样数据很常见，皮埃尔俄歇天文台或冰立方，其中大面积必须有效地覆盖有限的数量的探测器。这可以通过将检测器布置在六边形网格，因为它允许二维欧几里德平面的离散平铺和循环带限信号的最佳采样。在这些实验中，高利率，主要是背景为主。此外，该数据可以覆盖大的参数空间，例如，多个望远镜同时获取数据。因此，先进的数据处理算法被用来分析这些数据。应用 机器学习技术已经成为这方面的标准[16，17]。随着机器学习领域的进展，CNN代表了进一步改进天体粒子物理实验数据分析的有前途的通过提供可直接应用于六边形采样数据的卷积和池化操作，Hundreds DLy提供了一个用户友好的环境，以探索CNN在这些实验中的适用性由于不需要预处理，因此与其他方法相比，CNN应用的初始工作量可以显着减少。未来天文台的规模和灵敏度不断增加，如切伦科夫望远镜阵列[18]将导致需要分析的数据集更这将在业绩和资源方面给分析工作HALGORY DLy提供的方法可以帮助解决这些挑战。6. 结论随着对CNN的兴趣越来越大，可以观察到越来越多的努力将卷积运算适应于非笛卡尔数据，例如球面数据[19，20]和非欧几里得流形[21]。除[12]外，Hundreds DLy还提出了一种六边形采样数据的解.专注于灵活性和用户友好性，Hundreds DLy提供六边形网格上的卷积和它基于PyTorch，并使用torch.nn模块来实现这些操作。与特殊的数据寻址方案相结合，它有助于访问六角形采样数据的CNN通过利用直接处理六边形采样数据的优势，Hundreds DLy旨在促进基于CNN适用性的研究，例如。在地面天体物理学中。目前，HPLDLy用于研究CNN对H.E.S.S.数据分析的适用性。实验目前正在编写关于初步结果的报告确认该软件项目是一项研究的一部分，旨在探索深度学习算法在图像分析中的应用。把切伦科夫望远镜的数据输入到地球同步卫星。协作我们感谢整个合作项目的支持。我们特别要感谢我们的同 事 Matthias Büchele 、 Kathrin Egberts 、 Tobias Fischer 、Manuel Kraus 、 Thomas Lohse 、 Ullrich Schwanke 、 IdanShilon和Gerrit Spengler，他们进行了富有成效的讨论，促进了HALLY DLy的发展198C. Steppa和T.L. Holch / SoftwareX 9（2019）193引用[1] 李 康 Y ， 本 吉 奥 Y ， 辛 顿 G. 深 度 学 习 Nature 2015;521 （ 7553 ） ： 436http://dx.doi.org/10.1038/nature14539网站。[2]Feng Q，Lin TTY.使用卷积神经网络分析VERITAS μ子图像，见：国际天文学联合会会议录，第12卷，2016年。[3]Holch TL ， Shilon I ， Büchele M ， Fischer T ， Funk S ， Groeger N ，Jankowsky D ， Lohse T， Schwanke U， Wagner P. Probing convolutionalneural networks for event reconstruction inγ-ray astronomy with Cherenkovtelescopes，in：PoS ICRC 2017，The Fluorescence detector Array of Single-pixel Telescopes ： Contributions to the 35th International Cosmic RayConference（ICRC 2017），p. 795，http：/dx.doi.org/10.22323/1.301.0795，arXiv：1711.06298.[4]欣内费尔德湾物理学中的深度学习以冰立方中的μ子-中微子事件重建为例，见：PoS ICRC 2017，单像素望远镜的荧光探测器阵列：对第35届国际宇宙射线 会 议 的 贡 献 （ 红 十 字 国 际 委 员 会 2017 年 ） ， 第 1057 页 ，http://dx.doi.org/10。22323/1.301.1057。[5]放大图片作者：J. 基于深度学习的宇宙射线诱导空气簇射的再现。Astropart物理2018;97：4653.http://dx.doi.org/10.1016/j.astropartphys.2017.10.006 ， URL http ：//www. sciencedirect.com/science/article/pii/S0927650517302219。[6]Mangano S，Delgado C，Bernardos M，Lallena M，Vzquez JJR.基于模拟切伦科夫望远镜阵列数据的卷积神经网络方法从图像中提取伽玛射线信息。在：ANNPR2018.LNAI ， 第 11081 卷 ， 2018 年 ， 第 243-54 页 。http://dx.doi.org/10.1007/978-3-319-99978-4，arXiv：1810.00592。[7]Shilon I，Kraus M，Büchele M，Egberts K，FischerT、HolchTL，Lohse T，Schwanke U，Steppa C，Funk S. 深度学习方法在成像大气切伦科夫分析中远距离，远距离范围数据。Astropart Phys 2019;105：44-53.http://dx.doi.org/10.1016/j.astropartphys.2018.10.003，URLhttp://www.sciencedirect.com/science/article/pii/S0927650518301178。[8]2005年10月27日，中国人民解放军总参谋长办公室副主任，中国人民解放军总参谋长办公室副主任，中国人民解放军总参谋长办公室副主任，中国人民解放军总参谋长办公室副主任。PyTorch中的自动微分，在：NIPS-W，2017年。[9]Mersereau RM.六角形取样二维信号的处理。Proc IEEE 1979;67（6）：930-49.http://dx.doi.org/10.1109/PROC.1979的网站。11356[10] 斯汤顿河图像数字化的六边形采样结构的设计及其与局部算子的结合使用。ImageVisComput1989;7（3）：162-6.http：//dx.doi.org/10.1016/0262-8856（89）90040-1.[11] RichardC.斯汤顿NS。管道图像处理中正方形和六边形采样方法的比较。Proc SPIE 1990;1194：1194- 1194 - 10.[12]Hoogeboom E，Peters JWT，Cohen TS，Welling M.六角锥形。2018年，ArXiv电子打印arXiv：1803.02108。[13] Birch C，P. Oom S，A. Beecham J.用于生态学观察、实验和模拟的矩形和六边形网格。生态模型2007;206：347-59。http://dx.doi.org/10.1016/j.ecolmodel.2007.03.041网站。[14]萨尔湾用于地理空间计算的半球形离散全球网格系统。Arch PhotogrammCartogrr Remote Sens2011;22：363-76.[15]Satoh M，Tomita H，Yashiro H，Miura H，Kodama C，Seiki T，NodaAT，Yamada Y，Goto D，Sawada M，Miyoshi T，Niwa Y，Hara M，Ohno T，Iga S-i，Arakawa T，Inoue T，Kubokawa H.非静力二十面体大气模 式 ： 描 述 与 发 展 。 Prog Earth Planet Sci 2014;1 （ 1 ） ： 18.http://dx.doi.org/10.1186/s40645-014-0018-1网站。[16] 放大图片作者：John S.用多变量分析方法在甚高能γ射线天文学中分离γ/强子。AstropartPhys2009;31：383-91.http://dx.doi.org/10.1016/j.astropartphys.2009.04 的 网 站 。 001 ， arXiv ：0904.1136。[17] Aartsen等人MG. 用冰立方-79寻找银河系中心的暗物质湮灭Eur Phys J C2015;75：492. http://dx.doi.org/10.1140/epjc/S10052-015-3713-1。[18]T.切伦科夫望远镜阵列联合会阿查里亚岛阿古多萨马拉伊河阿尔法罗角，加-地阿里斯帕赫河 阿尔维斯·巴蒂斯塔P. Amans等人，切伦科夫望远镜阵列的科学，2017，ArXiv电子印刷品，arXiv：1709.07997。[19][10] Cohen TS，Geiger M，Khler J，Welling M.球形CNN，在：国际学习表示会议，2018年，URL https：//openreview。net/forum？id=Hkbd5xZRb。[20]张文 辉， 王文 辉， 王文 辉. Deepsphere ：高效 的球 形卷 积神经 网络 与HEALPix采样的宇宙学应用。2018年，arXiv：1810.12186。[21]Masci J，Boscaini D，Bronstein MM，Vandergheynst P. Shapenet：非欧几里得流形上的卷积神经网络。2015年，网址http：//arxiv.org/abs/1501.06297网站。