软件 影响 9 Software Impacts 9（ 2021 ）100095原创 软件PublicationTensorFlow-Keras with RaggedTensor Representation 中 的 神经 网络 图形（ KGCNN ）帕特里克 · 旅行A A，B，∗- Andre埃 伯哈德B，帕斯卡 Friederich A A，B，∗∗A AInstitute of Nanotechnology ， Karlsruhe Institute of Technology （ KIT ） ， Hermann-von - Helmholtz-Platz 1 ， Eggenstein-Leopoldshafen ， 德国 ，GermanyBInstitute of Theoretical Informatics ， 卡尔斯鲁厄 理工 学院 ， Am Fasanengarten 5 ， 76131 卡尔斯鲁厄 ， 德国 ，GermanyAR t i C l Ei n F o ;Keywords：Graph的Neural NetworkMachine 神经 网络 机器learningAB s t R A C tGraph Neural Networks是一个多功能的机器学习架构，它在应用范围内收到了大量的关注。在这份技术报告中，我们提出了一个图形革命和图形着色层的实现，允许无缝和灵活的集成到标准的Keras层中以功能方式设置图 形模 型。 我 们 开发 The K eras G RAPH C Onvolutional 革命 n欧元 n etwork python 包 KGCN based ontensorFlow-Keras which focus on a transparent tensor structure 基 础 上 的 TensorFlow-Keras which focuspassied Between Layers 的及AN ease-of - use 的 使用Mindset 。codemetadataCurrentcode Version 版本v1.0.0常驻link 链接两 个代码/存储 库used for this code Version 版本https://github.com/SoftwareImpacts/SIMPAC-2021-57永久 链接 To生殖 器船长https://codeocean.com/capsule/8499626/tree/v1Legal 合法code LICENCEMIT LicenceCode 版本系统used走 吧Softwarecode语言 ，工具 ，及Services 服务usedPython 3compilation需求 ，operating 操作environments 环境&依赖 性TensorFlow ≥ 2 4if available link to 如果 有 可能开发 商手册/Manualhttps://kgcnn.readthedocs.io/en/latest/index.html支援 Emailfor Question 问题Reiser . Reiser@kit.eduSoftwaremetadataCurrentsoftware Version 版本v1.0.0常驻link 链接两 个可 执行of this Version 版本https://pypi.org/project/kgcnn/永久 链接 To生殖 器船长https://codeocean.com/capsule/8499626/tree/v1Legal 合法software LICENCEMIT LicenceComputing操作 平台/Operating SystemsLinux ， 微软 Windows ， Mac OS安装 要求&依赖 性TensorFlow ≥ 2 4if ifavailable ，link 链接两 个user 用户manual-IF Formally 正式published 出版包括A A参考两 个-The publication in the reference 相关 文章列表支援 Emailfor Question 问题Reiser . Reiser@kit.edu2013 年 12 月 23 日@下午 11 时 26 分 i = =https://codeocean.com/）. More information on生产力Badge倡议is available 可用athttps://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals。∗ Corresponding author at ： Institute of Nanotechnology ， Karlsruhe Institute of Technology （ KIT ） ， 赫曼 冯 亥姆霍兹 广场 1 ， 76344 埃根 斯坦 - 德国狮子 座 港口 ，德国 .∗∗Corresponding 相关Author 作者at ：研究 院of理论 上Informatics 信息 ，Karlsruhe 卡尔斯鲁厄研究 院of technology 技术（ KIT ） ，AM Fasanengarten 简介5,76131 Karlsruhe ，德国 .EMAILAddresses ：Reiser . Reiser@kit.edu（ P 。 （ 旅行 者 ） ，作者 ： Friederich@kit.edu（ P 。 弗里德 里克 ） 。https://doi.org/10.1016/j.simpa.2021.100095接收25 may 啊2021 年 ;接收在Revised Form 1六 月2021 年 ;接受 的2六 月20212665-9638/© 2021 年 The Author （ s ）2013 年 12 月 21 日@下午 12 时 26 分 i = =http://creativecommons.org/licenses/by-nc-nd/4.0/）.Contents lists available 可 提供ScienceDirect 的Software影响Journal日志主页 ：www.journals.elsevier.com/software-impactsp。 旅行 者 ，a . 埃 伯哈德及p 。friederich软件 影响 9 Software Impacts 9（ 2021 ）1000952���|������������1. Introduction介绍GNN （ Graph Neural Networks ） 是 一 种 常见 神经 网络 架构 的 自然 扩展 ， 可 作为 卷积 神经 网络 （ CNN ） 。1 - 3 " for imageclassification to graph structured data " （ 以 图形 结构 化 数据 为 对象的 图像 分类 ）4].例如 ， 对于│ │（5，6] ，convolutional 革命（4，7 -9]及时空 空间 Temporal（10（ 重 定向 自 Grapher as autoencoders ）11，12（ 重 定向 自Transformer Models ）13，14 [ 我 在 文学 上 写 过 。A Graph图���=（，���is defined as a set of vertices or nodes.（定义为一组广告或节点）������∈在Edges��������� =（������，，������）∈���连接两个节点 有 一 个 现成 的 综合 性 和 广泛 的 评论 文章 ， 用于 图形 神经 网络 ， 总结 和 分类 相关 文献 在 图形 学习 （15，16]. GNU最常使用的应用程序包括节点分类或图形嵌入任务 。 While node classification is a common task for very large graphssuch as citation networks （ 当 节点 分类 是 一 个 非常 大 的 图形 作为引文 网络 的 常见 任务 ）12（ 重 定向 自 Social Grams ）17） ， 以及 ，7，18] ， 则 实数 a 的 值 为 （19，20].早期 的 工作 原理 （ 英语 ： Early work on applying neural networks to graphs ）21 [ 网络 ] 通过 propa 建立 了 神经 网络 的 备忘 录 ， 并 进一步 通过 图 中 的 信息 迭代 。5，18，22，23].图形 网络 （ Graph Networks ） May operate onthe graph 's spectrum （24，25] 或者 直接 在 其 结构 中26].最 突出 的图形 卷积 神经 网络 （ GCN ） 之 一 ， 由 Kipf 等人 开发 。4多 个 卷积层 和 汇集 层 用于 深度 学习 ， 以 产生 一 个 高 级别 的 节点 表示 ， 其中 只能 有 一 个 本地 节点 和 全球 图形 分类 。大多 数 GCN 可以 作为 消息 考虑passing Networks（27，28]，A A class of Graph Networks在Whichinformation 信息is宣传Along 的EDGE Between社区 Neighbouringnodes 。Table1平均绝对验证错误：QM 9数据集目标作为分子轨道能量（HOMO，LUMO）和能量差距������in Popular使用人口GNN的架构是用kgcnn实现的。No hyperparameter optimizationor feature 无 参数 优化 或 特征工程 What performed 。modelHOMO [ EV ]HOMO [ EV ]������[ EV ]MpNN（27]0.0610.0470.083Schnet（7]0.0440.0380.067例如 ， Mixnet （32]0.0450.0370.0661.1. Graph 的librariessinceGraph Neural Networks 需 求 modified convolution 讨 论 及pool - ing operators ， many python packages for deep learning haveemerged for either TensorFlow （ 一 个 操作 员 ， 许多 用于 深度 学习 的 Python 包 已 出现 ）44，45（ 重 定向 自 PyTorch ）48”（ Work with graphs ）Wetry两 个Summarize 总结The Most notable什么ones Without any claim 说that这 份 名单 是complete 。• PyTorch Geometric 的 使用（49]. 一个基于PyTorch的图形库，可能 是 最 大 和 最 常 用 的 图 形 学 习 Python 包 到 目 前 为 止 。 Itimplements a huge variety of different graph models and uses adisjoint graph representation to deal with batched graphs （ 图形表示 在 补充 中 讨论 ）信息 ） 。• DeepGraph 的Library（ DGL ）（50]. A Graph model图书馆withA A Flexi-ble 的 backend 及 A A Performance 乐 观的implementation 。 IT has own graph data class with manyloading options . 有 自己 的 图形 数据 类 ， 有 很多 加载 选项 。其他 题名 ： Variants such as generative graph models 51（ Capsule ）52（ Transformers ）53 ◎ Are 你包括 在内 。·each update step 的 相关 文章���， the central node 's hiddenrepresentation ， 中央 node 's 隐藏 的 表示���正在 convolved with its社区Neighbourhood给予by ：↓ ���+1 = U���（���， ，������+1），（1 ）Spektral 频谱（54]. 在 Keras （47 [ graph 用法 ] graph convolu -Network的。Originally restricted to spectral graph filters （ 原始限制 ， 以 特殊 图形 过滤 器 ）30“ 现在 包括 空间 融合 和 池 操作 。theGraphPresentation介绍isMade的灵活的ByDifferent 不同Graph���������modes detected by each 官方 网站莱耶where 哪儿������denotes the aggregated message and U （ 美国 ）���的 更新功能 。The message to update is usually acquired from总结消息函数���From The Neighbourhood的评论���（���）={���∈（���， ，���） ∈��� ◎ 片名 Of Node���：• StellarGraph 的（55].在 Keras （47 [ 2 ] 实施 了 一 套 革命 性 的 布局 和 几 个 着色 层 ， 以及 一 个 定制 的 图形 数据 格式 。WithPyTorch Geometric 几何及DGL在 此are准备 好Large 大Graph������+1= ↓������（���，���， ，���������）。（2）librarieswith A A lot of贡献 者from both 什么 东西学术 界及工业 .���∈���（���）More Complex Aggregation Schemes Are of Course Possible （ 复杂 聚合方案 是 可能 的 ）29]. there那里（ 2 ） 基于 特定 操作 符 （ Varietyin Conversion Operators ， which can be spectral ） 。30以 空间 为 基础的 直 接 邻 居 或 路 径of connected nodes to walk and collectinformation from （ 加入 我们 ）14，28]. 10 月 28 日 消息 更新 功能 可以 从 recur 构 建 - rent networks （ 31 （ 重 定 向 自 Multi-LayerPerceptrons ）32注意 头 （ Heads ）33 [ 什么 是 可能 的 聚合 或 汇集操作 集 的 补充 。聚合 是 经常 做 的 一 个 简单 的 Av - erage of noderepresentations 或 由 一 个 更 细化 的 set 2set 编码 器 部分 [34（ 重 定向 自 Gilmer et al. ）27]. 图中的节点减少是由与CNN的类似物实现的，但这对任意结构化数据具有更多的挑战。（ 1 ） 可能 存在 的 差异 性 和可 学习 的 池 过滤 器 的 示例 （ Examples of possibly differentiable andlearnable pooling filters introduced in literature Diffare Pool ）35（ 重定向 自 Edgebox ）36， 则 bill （37” （ GC-P ）35（ 重 定向 自 Saggle（38（ 重 定向 自 IBO ）39（ 自 定义 域 ） [40 and graph basedclustering methods such as the graclus algorithm （ 基于 图形 的 聚类 方法 ， 作为 重力 算法 ）（25，41 - 43].为了充分利用不同的图形操作范围来建立一个定制的GNN模型，一个模块化的转换和堆积层框架是必要的。我们汇总并讨论现有的图形库及其代码 覆盖范围。Then ，a short overview of representing graphs intensor form is given.如果有，可以提供一个简短的概述。最 后 ， 我们introduce introduce 进入the焦点of The Graph package presented 出席Here 这里is on A A neat一体 化p。 旅行 者 ，a . 埃 伯哈德及p 。friederich软件 影响 9 Software Impacts 9（ 2021 ）1000953of graphs into the TensorFlow—Keras framework in the most straight—forward way.（最直接的，向前的）Theby，we hope to provide Kerasgraph layers which can be quickly rearranged，changed，and extendedto build custom graph models with little effort. 我 们 希 望 提 供 Kerasgraph layers，其中可以很容易地重新排列、变更，并扩展到构建自定义图形模型。此实现适用于新的TensorFlow's RaggedTensor class，其中最适合灵活的数据结构，包括图形和自然语言。 主 条目 ： TheMain Field ofapplications 相关Target 目标with this package is Graph嵌入 式Tasks 任务of英文 名称 ： molecules ， materials and contextual or knowledgegraph学习 |2. Description介绍灵活而简单地将图形操作集成到TensorFlow—Keras框架中，可以通过ragged tensors实现。超过，RAGGED Tensors是有效的代表图的能力，并且具有在张量内流动的可变方法（见补充信息）。For moresophisticated pooling algorithms which cannot be operated on batches ，a parallelization of individual graphs within the batch could be achievedwith the Tensor Flow map functionality ， although this is less efficientthan vectorized operations . 对于 更多 更 复杂 的 绘制 算法 ， 无法 在 批处理 上 操作 时 ， 独立 图形 的 并行 化 可能 会 被 实现及Depends 的onimplementation 实施Details 。We introduce a python package 我们 开发 了 一 个 Python 包KGCN 1图片 转换 和 消息 之间 的 图形 层 已 通过passing模特 。 We Believe thatThe use of RaggedTensors 的our 我们Graph package KGCN for TensorFlow 2 的 S Keras API（44 - 46]，WhichSeamlessly 的统筹Graph Layers 的Into The Keras（47]环境 。1 https://github.com/aimat-lab/gcnn_keras。p。 旅行 者 ，a . 埃 伯哈德及p 。friederich软件 影响 9 Software Impacts 9（ 2021 ）1000954允许使用透明且易于使用的编码样式，使TensorFlow方法与许多TensorFlow方法无缝集成，从而可用于自定义布局，并使代码易于调试。 我们实现了一组TensorFlow的基本Keras层，其中许多模型在文献中可以被构建。A simple code example is shown in listing （ 一 个 简单的 代码 示例 正在 列表 中 ）1。importTensorFlow的。 KerasasksfromKGCNN的。 a y r s. GatherimportGatherNodes ：from KGCNN的。a y r s. Kerasimport DENSE，Concatenate的# RAGGED的sUport 文件fromKGCNN的。 a y r s. POOLING的import分享Local Message ， ，半 导体N = KS。a y r s. input（ shape = （ None ， 3 ） ， name = node _ input的 值， 则 dtype =《 一 对 一 》 F LO A T3 2，ragged = true （ 真 ）所以i = k？a y r s. input（ shape = （ None ， 2 ） ， name =例如 ： edge _index _ input， 则 dtype = int 64， ragged = true ;）n_i n_u n = GatherNodes ：） ， （ n ，i ] ;node _ messages 信息= DENSE（10 、A A C t i v A A t i o ; n ='r E lu'）（n_i n_o ; u t）node_updates（更新）分享Local Message（n，node_messages，e i）n_node_updates）；=Concatenate的）（1）（a）[ node _ updates ]（ n _ embedd ）DENSE（ 1 ） n _ node _ updates）g_embedd（英文）=半 导体（ n _ embedd ））passing_passing消息= KS。模特。model（input = n，[i]，输出 = g _ embedd）清单1：Python code example for setting up a simple one—layermessage passing network in the functional API of TensorFlow Kerasfor a graph embedding task.（在TensorFlow Keras函数API中设置一个简单的单层消息传递网络，用于执行图形嵌入任务。网络 规模 与 架构for this示例is chosse arbitrarily 任意 的The Python package implements the following architectures asexamples： GCN （4]， interaction network （9]， Message消息passing（27]，（ Schnet ）7 [ 美 股 百科 ] Megnet 32， 则 [37” （ 《 明报 》 ）56（ 图/翻 摄 自 Sage （29因此 ， gat [33 ◎ 片 名 DimeNet ++（57].focus 是 set on graph embedding tasks ， 但 因 此 node 和 linkclassification tasks 可以 被 实现using KGCNN 的 。 the模型were测试with Common 的（ 重 定向 自 Benchmark Datasets Such As Cora ）58母亲 （ Mutag ）59” [ 1 ] 在 M9 中 。60].典型 基准 标记 准确 性 在 QM 9 中 的 化学 准确性 数据 集 已 通过 在 kgcnn 中 实施 的 对应 模型 实现 。Table1）.3. Software影响Learning dedicated graph embeddings is high interest in for ex -ample classification tasks and molecular property （ 专用 图 嵌入 式 对前 - ample 分类 任务 和 分子 材料 有 很 高 的 兴趣 ）61 - 64] ， 以及 反应 预测 （65 - 68].一 个 差异 的 和 连续 的 图形 进化 模型 可以 在 基本的 重构 中 ， 为 分子 动力 学 模拟 （ MD ） ， 当 训练 我 的 量子 - 可能的 计算7，69 - 71].这 包括 作者 的 工作 （28， ，72，73].一般 来说 ，表示 学习 允许 我们 编码 图形 结构 化 的 知识 ， 关于 交互 实体 （ i.e.节点 ） 并 将 其 存储 在 一 个 三维 矢量 中 ， 这 可以 进一步 由 机器 学习 （ ML ） 模型 进行 处理 。74].图形 模型 重新 实现KGCN are widelyapplicable and are well established in litera-ture （ 非常 适用 ， 在 文学领域 表现 出色 ）7，27].我们 相信 这 一 点KGCN可以 通过 其他 科学 领域 的 研究 者 使用 ， 以 获得 不同 的 图形 学习 任务 ， 而 无需 详细 了解 图形 表示 或 实现 细节 ， 并 通过 与 已知 的 TensorFlow - Keras 深度学习 使用环境 。4. 限制 和 未来发展当 前 版 本 The Current Version of KGCN is targeted for graphrepresentation learning of small graphs such as molecules.目的是学习小图作为分子的表示。在单一图形上训练，即引用网络，如果不适合记忆，目前尚未探索。培训的Although Distribution Strategies are alreadyintegrated into TensorFlow的high—level Keras API，他们还没有进行过模型提供的测试KGCN。We Plan to continue 继续 。两 个extend 延伸TheKGCN图书馆两 个Incorporate 公司NEW模特 ，在p。 旅行 者 ，a . 埃 伯哈德及p 。friederich软件 影响 9 Software Impacts 9（ 2021 ）100095510 、 使用 混合 方法 （35] 并 改善 功能 。A Future Goal is to provideextremely large graph neural networks for distributed training on anexhaustive dataset for applications in chemistry and materials . （ 一 个面向 化学 和 材料 应用 的 未来 目标 是 提供 极大 的 大 图 神经 网络 用于 分布式 培训 ）Science 。5. Conclusion协议总而言之，我们讨论了一种将图形革命模型集成到TensorFlow—Keras深度学习框架中的方法。Main Focus of Our 主要 焦点KGCNpackage 是 tensor 表示 的 透明 性 。The Seamless 的一体 化with OtherKeras模特 。比赛 宣言 Declaration of CompetitionInterest作者 称 ， 他们 不 知道 如何 处理 财务 问题 - 商业 关系 或 个人 关系 可能 引起 影响The Work报告在this纸 。acknowledgement的。p.f.欧洲 联盟 地平线 2020 研究 与 创新 计划 的 资助 来自 MarieSklodowska - Curiegrant协议no 795206.附录A. 补充dataSupplementary material related to this article can be found online相关文章可在网上找到athttps://doi.org/10.1016/j.simpa.2021.100095。References[1]y. LEGO ，B . 博 施 ，js 。 思考 者 ，D . 亨德森 ，R . E 。 霍华德 ，w 。Hubbard ，L. D。Jackel，Backpropagation applied to handwritten zip code recognition，Neural Comput.（中文翻译：回通信应用于处理zip代码识别，Neural Comput）1 （ 4 ） （ 1989 ） 541 - 551 ，http://dx.doi.org/10.1162/neco.1989.1.4。541，，arxiv：https://direct.mit.edu/neco/article-pdf/1/4/541/811941/neco.1989。1.4.541.pdf。[2]y.你好，K。Kavukcuoglu，C. Farabet，卷积网络和应用2010年IEEE国际电路与研讨会（英语：IEEE International Symposium on Circuits and 2010年，PP。253-256,http://dx.doi.org/10.1109/ISCAS.2010.5537907。[3]a. Krizhevsky，一。Sutskever，G. E。他的最新著作是《Imagenet classificationwith deep convolutional neural networks》。ACM 60（6）（2017）84—90，HTTP//DX的。 doi.org/10.1145/3065386。[4]n. t 。 Kipf ， M 。 Welling ，Semi-supervised classification with graphconvolutional networks ， 2017 年 ， ArXiv ： 1609.02907 [ Cs ， 统 计 数据 ] ，http://arxiv.org/abs/1609.02907， ，URL arXiv ： 1609.02907。[5]F. Scarselli，M。Gori，A. C。对不起，M。 Hagenbuchner，G。 《 神经 图谱 》 （ The Graph Neural ）network模型 ，IEEE Trans 。 Neural Netw 。 20（ 1 ）（ 2009 年 ）61-80, HTTP ：//dx.doi.org/10.1109/TNN.2008.2005605， 会议 名称 ： IEEE Transactions在Neural Networks 。[6]h。来吧，Z。Kozareva，B。戴尔，A。可怜的，L。Song，Learning steady—states of iterative algorithms over graphs ， in ： International Conference onMachine Learning，PMLR，（ISSN：2640—3498）2018，pp. Song，迭代算法超过graphs的学习阶段，在：国际机器学习会议，PMLR，（ISSN：2640—3498）2018，PP.1106-1114，URLhttp://proceedings.mlr.press/v80/dai18a.html。[7]kt. t。 张 旭 ，h . e 。 沙 乌 地 ，p - J。 Kinderman 's 孩子 ，a . Tkatchenko ，K - - R。 穆勒 ，Schnet一 个 用 于 分 子 和 材 料 的 深 度 学 习 架 构J 。 Chem. Phys. 148 （ 24 ）（ 2018 ） 241722 ， http://dx.doi.org/10.1063/1.5019779URL 的 https ：//aip.scitation.org/doi/full/10.1063/1.5019779图片 来源 ： American Instituteof Physics[8]m. ” 不 ， M 。艾 哈 迈 德 ， K 。Kutzkov ， Learning convolutional neuralnetworks for graphs ， 2016 ， ArXiv ： 1605.05273 [ Cs ， 统计 数据 ] ，http://arxiv.org/abs/1605.05273， ，URL arXiv ： 1605.05273。[9]ps. w。Battaglia，R。帕斯卡尔，M。李，D。对不起，K。Kavukcuoglu ，Interaction net - works for learning about objects ， relations and physics ，2016 ， ArXiv ， 1612.00222 。[ CS ] ：http://arxiv.org/abs/1612.00222URL 的arXiv ： 1612.00222。[10] B. 你，H。 Yin，Z。 英文名：Spatio—temporalGraphconvolutional革命Networks：A 交通预测的深度学习框架，2018年第27届人工智能国际联合会议 纪 要 ， 页 。 3634 - 3640 ， http://dx.doi.org/10.24963/ijcai.2018/505 ， ，http://arxiv.org/ABS/1709.04875 其它URL 的arXiv ： 1709.04875。[11] s。潘，R。你好，G Long，J。Jiang，L。来吧，C。Zhang ， Adversariallyregularized graph autoencoder for graph embedding ， 2019 年 ， ArXiv ：1802.04407 [ Cs ， 统 计 数 据 ] ， http://arxiv.org/abs/1802.04407URL 的arXiv ： 1802.04407。p。 旅行 者 ，a . 埃 伯哈德及p 。friederich软件 影响 9 Software Impacts 9（ 2021 ）1000956[12] n. t 。 Kipf ， M 。 Welling ， Variational graph auto-encoders ， 2016 年 ，ArXiv ： 1611.07308 [ s ， 统 计 ] ， http://arxiv.org/abs/16
我的内容管理
展开
