Hermes：混合云环境中容器化生物信息学的无缝交付

SoftwareX 6（2017）217原始软件出版物Hermes：在混合云（HTC）环境中无缝交付容器化生物信息学阿萨纳西奥斯Kintsakisa，*，Fotis E. Psomopoulosb，a，Andreas L.西蒙娜，伯里克利A米特卡斯aa希腊塞萨洛尼基亚里士多德大学电子和计算机工程系b应用生物科学研究所，希腊塞萨洛尼基研究和技术中心，57001ar t i cl e i nf o文章历史记录：2017年3月5日收到2017年7月31日收到修订版，2017年关键词：生物信息学混合云科学工作流程分布式计算a b st ra ctHermes推出了一种新的它结合了传统的并行化工作流管理系统和分布式计算平台的基于容器的方法的功能它提供无缝部署，克服了设置和配置软件和网络要求的负担。最重要的是，Hermes通过支持软件执行环境的标准化来促进科学工作流程的可重复性，从而实现一致的科学工作流程结果并加速科学产出。©2017作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v0.6用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-17-00022合法代码许可证Apache许可证v2.0使用Git的代码版本控制系统软件代码语言、工具和服务使用Java 8、Unix shell脚本编译要求、操作环境依赖性Oracle Java 8、Docker、SSH服务器如果可用，链接到开发人员文档/手册https://github.com/akintsakis/Hermes/blob/master/README.md技术支持电子邮件：akintsakis@issel.ee.auth.grathanassios. gmail.com软件元数据当前软件版本v0.6此版本可执行文件的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-17-00022法律软件许可证Apache许可证v2.0计算平台/操作系统Ubuntu Linux。安装要求依赖关系Oracle Java 8、Docker、SSH服务器如果可用，链接到用户手册-如果正式出版，包括参考出版物在参考列表https://github.com/akintsakis/Hermes/blob/master/README.md技术支持电子邮件：akintsakis@issel.ee.auth.grathanassios. gmail.com1. 动机和意义生命科学已逐步导致非常苛刻的计算问题。测序成本的不断下降导致了大量的数据，这些数据只能暗示可以潜在地提取并随后应用的知识。尽管现有的分析数据的方法广泛地通讯作者。电子邮件地址：akintsakis@issel.ee.auth.gr（A.M. Kintsakis）。http://dx.doi.org/10.1016/j.softx.2017.07.007生物信息学研究界在开发直接适用于新类型数据和不断增加的数据量的方法方面总是落后一步。大多数生物信息学研究人员都受到缺乏IT经验或基础设施利用效率低下的困扰，这导致了最重要的问题之一，即实验的可重复性。不断增长的科学需求已经使研究人员可用的计算资源和存储设施不堪重负，从而导致他们转而利用云计算2352-7110/©2017作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx*218上午Kintsakis等人/SoftwareX 6（2017）217基础设施。在混合云计算的形式中组合本地和远程基础架构的选项正在成为分布式计算的新兴形式。混合云被定义为两个或多个云（私有云、商业云或公共云）的组合，这些云仍然是唯一的实体，但为了给定的应用程序而绑定在一起。从这个角度来看，在混合云上简化生物信息学工作流程的执行是一个令人兴奋的新问题。工作流可以被设想为一系列计算过程，其顺序由数据相互依赖性和目标结果严格定义云计算的普及导致了大量的云计算-生物信息学解决方案。最初的工作集中在解决计算昂贵的管道中众所周知的瓶颈，最具特色的是下一代测序（NGS）数据分析和全基因组组装（WGA）。[1]，[2]，[3]，[4]，[5 ]，[6 ]，[7]，[9]，[10]，[11]，[12]，[13]，[14]， [15]，[16]，[17]，[18]，[19]。这些方法虽然非常成功，但问题特定，并且通常难以设置和配置。此外，当考虑到生命科学研究人员有限的IT经验时，它们很难集成这引发了统一平台的创建，如Galaxy [7，8]和其他值得注意的方法[9-13 ]，这些方法集成了大量现成的工具生物信息学领域也引发了许多人的兴趣域不可知的工作流管理系统。 Taverna [14] 、KNIME [15] 和Kepler [16]主要关注可用性，同时在其基本发行版中对使用分布式计算资源提供有限或不存在的支持另一方面，Swift [17]，Condor DAGMan [18]和Pegasus [19]主要专注于在本地和分布式资源上实现并行化。上述方法需要大量的专业知识来在混合云环境中建立和部署，在混合云环境中，一个或多个云提供商的持久和临时供应的资源被组合。诸如防火墙后的网络通信、共享文件系统的可能使用和本地软件安装等问题都成为用户的责任可用性问题也很大程度上存在于工作流描述过程中，其中研究人员面临着要么诉诸（非用户友好的）基于代码的工作流描述，要么诉诸图形描述的困境，其中缺乏循环和控制流操作符使过程费力和重复。然而，最重要的挑战是科学工作流程的可重复性在分布式计算环境中，挑战成倍增加，特别是在将持久多用户计算资源与临时供应的VM相结合时。我们的方法，即爱马仕，解决上述问题，通过Docker [20]使用容器技术，并通过SSH在防火墙后隧道化网络流量，使混合云中的无缝部署成为可能。工作流描述通过使用免费提供的GraphML工具以图形方式执行，允许工作流可导出和可转移。最重要的是，Hermes通过容器在软件级别提供了执行环境的标准化，从而支持工作流结果的再现。与此同时，Hermes不仅能够识别传统的并行化机会并采取行动，而且还能够分析应用程序和exaction-tion站点，从而实现智能调度策略的开发。据我们所知，虽然类似的集装箱努力-2. 软件描述2.1. 软件构架Hermes遵循分布式架构; Hermes主设备在用户终端的主机操作系统上执行，并负责加载所提供的工作流和附带的输入文件，初始化工作站点并协调工作流执行。在可以是任何类型的虚拟机或物理机的工作站点上，执行环境的标准化是通过在容器内运行所有计算进程来实现的，容器通过Docker部署。容器是虚拟化的仅在操作系统层，与主机共享计算资源，因此与虚拟机相比，初始化和运行时开销明显减少。Hermes容器包括所有软件依赖项以及工作流所需的软件，在初始化过程中由工作站点检索。此外，Hermes Client守护程序启动，监听命令并向Hermes master报告。对于任何分布式计算平台，站点之间的网络通信，特别是在硬化的安全防火墙后面的网络通信，可能是需要解决的最重大挑战之一，是故障和故障排除的来源。Hermes通过SSH隧道处理从主站点到工作站点以及跨工作站点的控制信号和文件传输。Hermes容器的唯一要求是通过SSH协议进行访问，它利用HPN-SSH1来实现高性能文件传输，并利用autossh2来持续监控和重建失败的隧道。这导致了参与站点之间的健壮、安全和高性能的星型网络拓扑分布式Hermes体系结构的示意图如图1所示。1.一、Hermes工作流被建模为GraphML [22]语言中描述的有向非循环图（DAG）。遵循预定义的建模规则，研究人员可以使用任何免费的GraphML编辑器设计他们的工作流程。Hermes支持强大的分组，ING，并行化和减少程序，带来了最关键的优势，基于代码的描述在GUI的方法。软件参数在工作流描述阶段定义，而软件路径可以是Hermes 容器中 的绝对路径 ，也可以 以 XML 格式声 明一次并由Hermes管理。泛基因组分析用例工作流程（在第3节中讨论）的示意图见图。 二、在执行阶段，解析工作流DAG，并自动识别基于数据依赖关系的并行化机会Hermes调度程序是一个抽象接口，它将进程的执行映射到可用的站点。如果在执行过程中丢失了一个执行站点，Hermes将利用剩余的站点来完成工作流，并删除任何中间结果无法访问的任务。Hermes能够对执行站点进行基准测试，并对工作流任务进行分析，因此可以采用智能的配置策略。目前实现的优先级包括常见策略[23]，如先到先服务（FCFS），最快处理器最大任务（FPLT）和数据密集型最快处理器最大任务（DI-FPLT），这是在Hermes项目背景下开发的贪婪算法。DI-FPLT是FPLT算法的一种改进，在选择最大的任务时，形成一个帕累托前沿，包含可以以最少的文件传输执行它的站点;在这些站点中，选择最快的站点本质上，它是一种FPLT方法，优先考虑数据局部性而不是计算能力。是科学工作流程中存在基于方法的方法[21]，但它们不保留了工作流管理系统的传统功能，也没有提供我们的方法的功能。1 https://github.com/rapier1/openssh-portable网站。2 http://www.harding.motd.ca/autossh/网站。上午Kintsakis等人/SoftwareX 6（2017）217219Fig. 1. 分布式Hermes架构的主/工作组件图。嵌套矩形通过主/工作执行站点位置、容器化和属于Hermes主或守护进程将Hermes组件分组在一起。黄色的组件是Hermes的内部组件，而洋红色的组件是外部组件，但它们要么位于本地执行站点上，要么位于内部运行的容器中。红色的组件是外部的，可以通过Web访问。(For对本图图例中所指颜色的解释，读者可参考本文的网络版。）图二、左边是Hermes Pangenome分析工作流程和流程图的示意图，右边是相关流程的说明。220上午Kintsakis等人/SoftwareX 6（2017）217[]==[]=[]=[]个字符=[]=[]个字符=[]个=[]个数据密集型生物信息学工作流程的默认Hermes算法，并在图表框1中进行了描述算法1DI-FPLT1：sites getAvailableSites（）2：getReadyToExecuteTasks（）3：while（isNotEmpty（availableSites）isNotEmpty（waitingTasks））做4：largestTask selectLargestTask（waitingProcesses）5：minimalTransferSites6：最小值7：for（site in sites）do8：fileTransferscalculateFileTransfers（site，largestTask）9：if（fileTransfersmin）然后10：minimalTransferSites。add（site）11：else if（fileTransfersmin）then<表1宏基因组学工作流程：靶基因组频率。¯涉及生物体。它们固有的复杂性导致了高计算要求，因此可以极大地受益于一个强大而有效的框架，如Hermes。12：min=fileTransfers. 清除（）最后，系统发育分析是一种技术，13：minimalTransferSites14：minimalTransferSites. add（site）15：如果结束大量基因组中两个性状的共同存在或不存在被用来推断有意义的生物学联系，16：结束第17章：一夜情=selectFastestSite（minimalTransferSites[]）例如，两种不同的蛋白质参与同一个18：scheduleForExecution（fastestSite，largestTask）第19章：一个女人remove（fastestSite）20：等待任务。remove（largestTask）第21章：结束在工作流执行阶段，Hermes调度程序确定每个过程将被执行的站点。该决定不影响工作流目标结果，因为Hermes容器允许跨所有执行站点的公共软件环境因此，参与执行站点的数量和计算能力只影响工作流执行时间，而不影响目标结果。2.2. 软件功能Hermes可以分布式地执行任何工作流，以图形方式描述并在GraphML中导出，跨多个扩展站点。部署和配置以及测试大多是自动的，并在自述文件中有很好的文档记录。3. 说明性实例为了建立Hermes平台的整体影响，我们考虑了来自生物信息学领域的三个真实世界数据和计算密集型工作流，特别是metage-nomics管道，泛基因组方法和系统发育谱的构建。宏基因组学已成为研究特定微观或宏观环境（如土壤、海水和肠道微生物组）中存在的物种的不可或缺且广泛负担得起的工具在这种情况下，宏基因组分析旨在通过识别与参考数据库最接近的同源物来注释输入样品，从而提供样品内容的概述。如前所述，有几种生物信息学工具和管道用于宏基因组分析的不同方面，但没有标准化的，全面的管道覆盖所有方面。大规模的因此，Hermes提供了一个全面且易于部署的框架，有助于标准的宏基因组学过程。宏基因组基本上是跨物种组的局部视图，因此需要通过泛基因组方法进行补充，即对目前已知“起源”的整个群体进行研究。泛基因组被定义为给定基因组集合的整个基因组库[25]。泛基因组分析正在成为一种标准工具，用于探索一组给定基因组的多样性，以及提供有关基因组特异性的见解。生物学途径[26，27]。作为一个固有的数据密集型过程，系统发育谱的构建非常适合Hermes平台。下一节提供了通过Hermes执行上述工作流程的总体结果。3.1. 简单的宏基因组学工作流程工作流程的关键概念是在NR参考数据库[28]的情况下表征一组未知序列。该过程涉及使用NCBI BLAST工具在参考数据库中鉴定同源物[29]，靶序列与基础物种的交叉引用，以及最后对共同基因组进行聚类。工作流的示例性目标结果可以在表1中看到，其中识别了输入数据集的前6个基因组以及估计的出现频率。3.2. 泛基因组分析这种特定的泛基因组分析构建了给定基因组集合中所有可能的蛋白质家族，并产生了泛基因组的各个集合以及图3中所示的相应谱的热图。该过程涉及参与基因组中所有可能的序列对的序列比对，再次使用NCBI BLAST工具[29]。这个过程是非常计算要求和复杂性接近O（n2），但基因组序列比对可以并行进行。3.3. 系统发育概况对于给定的一组序列的系统发育谱的构建，最初再次涉及参与基因组中所有可能的序列对的序列比对，并且基于导出的数据，可以通过鉴定研究中的多个基因组中的所有同源物来图1显示了大约100个物种中大约100万个序列的系统发育谱。 四、3.4. 性能和可扩展性Hermes的性能和可扩展性在分布式计算环境中进行了评估，该环境利用了大量的扩展站点，包括我们机构和云的本地资源样品一致性基因组%卷叶木蓝13.4乌氏扁花天牛13.1木蓝6.7亚马逊利科宁6.6Pisum sativum6.3Glycine max6.2. . .. . .上午Kintsakis等人/SoftwareX 6（2017）217221图三. 目标物种（列）的蛋白质热图（行），如上面的分类树所示。颜色方案对应于每个蛋白质（行）与相应物种（列）的蛋白质的匹配数量，蓝色表示低值，红色表示高值。不匹配用白色表示。热图显示了两个主要物种集群的蛋白质水平的高分辨率概览，即左侧的蓝细菌和右侧的绿色植物。占据中间行（红色）的一组蛋白质在所有物种中都有很高的匹配数量。这是预期的，因为它们对于存在于上述光合物种的两个簇中的细胞的主要功能是必需的。(For对本图图例中所指颜色的解释，读者可参考本文的网络版。）Okeanos 的 资 源 [30] ， GRNET 的 项 目 和 欧 盟 网 格 基 础 设 施（EGI）联合云的一部分。为了概述我们方法的优势，我们选择在Hermes和Swift中执行三个用例工作流并进行比较。Swift是在任何分布式计算环境（包括由混合云组成的ad-hoc配置）上执行工作流的最高性能框架之一。它强调并行化性能，并且不需要将exaction-tion站点配置为群集。由于Swift不支持容器化，复制工作流需要对执行站点进行管理访问，以安装所需的软件并配置网络。泛基因组分析和系统发育谱工作流程主要是计算密集型工作流程，因此，额外的CPU可显著减少执行时间。在这两者中，pangenome工作流程最终包括一个不可并行化的从图5中可以看出，Hermes的性能明显优于Swift，因为它能够评估任务的计算负载和执行站点的计算能力，从而利用了2.1中描述的DI-FPLT调度器。在计算密集型工作流中，HermesSwift采用类似于循环调度的调度策略，在这种情况下无法提供同样的优势宏基因组学工作流程是显著的数据密集型的，其受到包含以下内容的主站点的网络带宽的限制：输入文件。额外的执行站点在超过某个点时不会产生结果，除非源的网络带宽增加。Hermes的性能再次明显优于Swift，这主要是由于DI-FPLT调度程序的数据感知组件，该组件将任务优先调度到输入数据已经存在的执行站点。此外，Hermes支持执行站点之间的直接文件Swift既不支持数据感知调度，也不支持在没有共享文件系统的情况下在站点之间直接传输文件，而共享文件系统通常在混合云环境中不可用4. 影响Hermes预计对科学界的主要影响是能够无缝创建、共享和复制科学工作流程，同时减轻用户部署和配置分布式计算环境的不必要负担。基于容器的虚拟化允许执行环境的抽象，使研究人员能够描述和共享他们的工作流，其结果只受工作流描述和提供的输入文件的影响。该过程对于执行站点上的软件和硬件是不可知的通过为科学工作流程提供这种可重复的科学工作流计算范例可以证明有助于验证222上午Kintsakis等人/SoftwareX 6（2017）217图四、参 与 物种（列）的100万个蛋白质序列（行）的系统发育谱矩阵，如上面的分类树所示。 与图在图3中，颜色方案对应于每个蛋白质（行）与相应物种的蛋白质（列）的匹配数量。非匹配用黑色描绘，而匹配遵循白色到红色的强度标度，其中最高数量的匹配朝向红色。使用基数排序对行重新排序从简单到更复杂的物种（从左到右）的进化过程反映在越来越多的蛋白质与更复杂的物种相匹配与参与物种相匹配的蛋白质数量有两个明显的飞跃第一个对应于从蓝细菌到绿色植物的过渡，第二个对应于向更复杂的绿色植物物种的（关于此图例中颜色的参考解释，请读者参考本文的网络版本结果的程序Hermes通过利用分布式计算资源的并行化机会提供了经验证的可扩展性此外，通过分析过程和exaction-tion网站，它可以适应智能调度策略，优于传统的解决方案。该软件已成功地用于一个独立的研究中的土壤细菌群落的变化，使用基于Illumina的宏基因组学数据（出版物正在审查中）。该研究旨在调查Amino 16和氮肥施用如何影响希腊生菜种植的细菌群落结构，该研究在希腊研究与技术中心的应用生物科学研究所进行。作为一种支持工具，Hermes可以使用任何可用的计算资源对大量数据进行数据分析，而无需额外的设置或配置。最后，该软件是出于学术目的开发的，它由ISSEL Lab3支持，并将保持开源和免费使用。3 http://issel.ee.auth.gr/网站。5. 结论在这项工作中，我们提出了Hermes，一个分布式计算平台，用于可重复的生物信息学研究。Hermes将支持并行化的工作流管理系统和分布式计算平台的传统功能结合到基于容器的方法中，从而实现执行环境的无缝部署和标准化通过向社区免费提供软件，希望生物信息学研究将大大加快，同时培养更高标准的可重复性和科学结果的一致性致谢这项工作通过GRNET-Okeanos Cloud的国家电网基础设施使用了欧洲电网基础设施（EGI）。我们还要感谢Panagiotis Madesis博士在宏基因组研究中使用Hermes软件，以及他对进一步改善用户体验的建设性意见。上午Kintsakis等人/SoftwareX 6（2017）217223=图五. 由Hermes和Swift执行的三个用例工作流的工作流执行时间。由于所使用的执行站点的异构性，CPU的数量可以是十进制的，并且对应于Okeanos云的基准虚拟CPU的等效数量。每一点上的百分比差异是赫尔墨斯对斯威夫特的效率优势。并行计算的效率定义为E（p）T（1）/（p T（p）），其中p是处理器的数量，T（1）是使用1个处理器的执行时间，T（P）是使用p个处理器的执行时间。引用[1] 李晓梅，李晓梅，李晓梅.在云端使用Google Chrome进行基因分型2012年生物信息学现行方案（章节：单元15.3）。[2] Chong Z，Ruan J，Wu C-I. Rainbow：一个集成工具，用于高效聚类和组装RAD-seq读数。Bioinformatics2012;28（21）：2732-7.[3] [10]杨文，李文. CloudMap：用于分析突变基因组序列的基于云的管道。Genetics2012;192（4）：1249-69.[4] 沙茨MC。CloudBurst：使用 MapReduce的高敏感读取映射。生物信息学2009;25（11）：1363-9。[5] Naccache NS等人，用于临床样本下一代测序的超快速病原体识别的云兼容生物信息学管道。Genome Res2014;24（7）：1180-92.[6] Wall PD，Kudtarkar P，Fusaro AV，Pastarov R，Patil P，Tonellato JP.比较基因组学的云计算。BMC Bioinform2010;11（1）：259.[7] 银河：一种支持生命科学中可访问、可复制和透明计算研究的综合方法。Genome Biol2010;11（8）：R86.[8] Afgan E ， Baker D ， Coraor N ， Chapman B ， Nekrutenko A ， Taylor J.GalaxyCloud-Man：Delivering cloud compute clusters.BMCBioinform 2010;11（Suppl12）：4.[9] Reid GJ等人，将基因组学引入云端：部署Mercury，下一代序列分析管道。BMCBioinform 2014;15（1）：30.[10] 刘B，Madduri KR，Sotomayor B，Chard K，Lacinski L，Dave JU，Li J，LiuC，Foster I.用于大规模下一代测序分析的基于云的生物信息学工作流程平台。JBiomed Inform 2014;49：119-33.[11] DDBJ read annotation pipeline：A cloud computing-basedpipeline for high-throughput analysis of next-generation sequencing data. DNA Res2013;383-90.[12] Sreedharan TV，Schultheiss JS，Jean G，Kahles A，Bohnert R，Drewe P，Mu-drakarta P，Görnitz N，Zeller G，Rätsch G. Oqtans：云中的RNA-seq工作台，用于完整和可重复的定量转录组分析。生物信息学2014;1300-1。[13] Tang W，Wilkening J，Desai N，Gerlach W，Wilke A，Meyer F，用于宏基因组学的可扩展数据分析平台。在：大数据，2013年IEEE大数据国际会议，2013年，p。21比6[14] Wolstencroft K ， et al. The Taverna workflow suite ： designing andexecutingworkflow of Web Services on the desktop，web or in the cloud. 核酸研究2013;557-61。[15] Berthold MR，Cebron N，Dill F，Gabriel TR，Kötter T，Meinl T，Ohl P，SiebC ， ThielK ， Wiswedel B. KNIME ： Konstanz 信 息 矿 工 。 Data Anal MachLearnAppl2008;319-26.[16] LudäscherB，Altintas I，Berkley C，Higgins D，Jaeger E，Jones BM，LeeEA，TaoJ，Zhao Y.科学工作流程管理和开普勒系统。 ConcurrComput：PractExper2006;18（10）：1039-65。[17] Zhao Y，Hategan M，Clifford B，Foster I，Von Laszewski G，NefedovaV ， Raicu I ， Stef-Praun T ， Wilde M ， Swift ： Fast ， reliable ， looselycoupled parallel computa-tion.在：服务，2007年IEEE服务大会，2007年，第。199-206.[18] Litzkow MJ，Livny M，Mutka MW，Condor-a hunter of idle stations.In：Distributed Computing Systems，1988.第八届分布式计算系统国际会议，1988年，p. 104比11[19] DeelmanE，et al.Pegasus：一个将复杂的科学工作流映射到分布式系统的框架。科学计划2005;13（3）：219-37.[20] 默 克 尔 ·D Docker ： 轻 量 级 Linux 容 器 ， 用 于 一 致 的 开 发 和 部 署 。 LinuxJ2014;2014（239）：2.[21] Gerlach W等人，Skyport：用于多云科学工作流的基于容器的执行环境管理。In ： Proceedings of the 5th international workshop on data-intensivecomputing in the clouds，2014，p.25比32[22] G队G队graphml文件格式，2015年。http://graphml.graphdrawing.org网站。[23] Iosup A，Sonmez O，Anoep S，Epema D，大规模分布式系统中的任务袋性能。在：第17届高性能分布式计算国际研讨会论文集，2008年，p。97比108[24] Handelsman J. Metagenomics or Megagenomics？国家微生物学评论 20053（6）：457-8.[25] 张 文 龙 ， 王 文 龙 ， 王 文 龙 . 十 年 的 泛 基 因 组 分 析 。 Curr OpinMicrobiol2015;23：148-54.[26] [10]杨文辉，杨文辉.通过比较基因组分析确定蛋白质的功能：蛋白质系统发育谱。Proc Natl Acad Sci1999;96（8）：4285-8.[27] PsomopoulosEF，Mitkas AP，Ouzounis AC，Pomonas JV.利用模糊系统发育图谱检测基因组特异性。PLoS One2013;8（1）：1-16.224上午Kintsakis等人/SoftwareX 6（2017）217[28] Pruitt DK，Tatusova T，Maglott RD. NCBI参考序列RefSeq：基因组、转录物和蛋白质的cu- rated非冗余序列数据库。核酸研究2005;33（增刊1）：501-4。[29] 洛博岛基本的局部比对搜索工具BLAST。国家教育部2008 ;1（1）：215.[30] Koukis V，Venetsanopoulos C，Koguis N.okeanos：构建云，逐集群。IEEEInternet Comput. 2013;（3）：67-71.[31] Hill DM，Marty RM.多核时代的阿姆达尔定律。 Computer2008;（7）：33-38.