大规模并行计算的可扩展架构设计：巴黎东部大学博士论文

面向大规模并行计算的可扩展架构设计阿尼亚·卡奇引用此版本：阿尼亚·卡奇。大规模并行计算的可扩展体系结构设计。信息学和语言[cs.CL]。东巴黎大学，2016年。法语。NNT：2016PESC1044。电话：02944823HAL ID：电话：02944823https://theses.hal.science/tel-02944823提交日期：2020年HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire数学与科学博士论文为了巴黎东部大学博士，专业通过Ania KACI面向大规模并行计算的可扩展架构设计论文导师：Patrick SIARRY。监督员：Huy-Nam Nguyen和Amir Nakib。论文评审团：评审团主席：Boubaker DAACHI巴黎第八大学教授报告员：Nouredine MELAB大学教授里尔第一法鲁克·亚拉维大学教授大学技术。来自特鲁瓦审查员：Huy-NamNguyen研究工程师，博士阿托斯-布尔阿米尔·纳基布HDR高级讲师巴黎东克雷泰伊大学帕特里克·西瑞大学教授巴黎东克雷泰伊大学谢谢你。这篇论文是一个丰富的经验，不能不感谢那些在过去三年里指导、帮助和支持我的人我想感谢：评审团成员：我的论文导师：我的导师：LISSI实验室的成员Boubaker DAACHI、Nouredine MELAB和Farouk YALAOUI。帕特里克·西瑞。Huy-Nam Nguyen和Amir Nakib。R &D Atos-Bull（Les Clayes-Sous-Bois）的成员。我的家人：我的父母，我的丈夫和我的姐妹。摘要为了响应各种应用（例如：金融建模、亚原子模拟、生物信息学等）对性能日益增长的需求计算机系统变得更加复杂并在尺寸（计算组件、存储器和存储容量的数量）上增加。这些系统日益增加的复杂性反映在其体系结构向计算技术和编程模型的异构性的演变中。这种异构性的协调管理、本文通过关注所有处理器共享一个公共帧空间的共享存储器子系统来解决这种复杂性的一个领域。这项工作将主要集中在缓存一致性和内存一致性协议的实现、可扩展的体系结构以及验证该实现的方法上。在我们的方法中，我们选择了ARM的64位处理器作为计算组件，AMBA ACE和AMBA ACE-Lite共享存储器协议以及该体系结构的推广和参数化，以及在gem5仿真环境中的验证，构成了本文论文结束时获得的结果往往证明了关键词：计算机系统，共享内存，缓存一致性，内存一致性，事务建模，TLM，异构性，仿真，互连网络摘要为了响应广泛应用程序（例如金融建模、亚原子模拟、生物信息学等），计算机系统变得更加复杂，并且规模（计算组件、内存和存储容量的数量）不断增加。这些系统的增加的复杂性导致它们的体系结构朝着使用异构计算技术和相关编程模型的方向发展。这种异构性的协调管理以及资源优化和功耗最小化代表了未来计算机系统设计中的主要技术挑战。本文通过关注所有处理器共享公共地址空间的共享内存子系统来解决部分复杂性工作将集中于在可扩展体系结构上实现缓存一致性和内存一致性协议，以及验证该实现的方法。在我们的方法中，我们选择了64位ARM处理器和通用协处理器（GPU、DSP等）。作为计算组件，共享内存协议AMBA ACE和AMBA ACE-Lite以及相关的CoreLink CCN架构作为入门解决方案。该体系结构的推广和参数化及其在GEM5仿真环境中的验证是本文的主干。在论文结束时获得的结果往往表明我们的目标的实现。关键词：计算机系统，共享内存，缓存一致性，内存结构- tency，事务级建模，TLM，异构性，仿真，网络互连-工程，架构，并行计算。1目录3.2基于互连网络的系统中的高速缓存一致词汇表。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... ... ... ... ... ... ...41论文的背景和目标51.1引言。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... ...51.2论文的背景。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1.2.1共享内存系统。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...661.2.2内存一致性和缓存一致性问题。. . . ...61.3论文的目标。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...71.4手稿大纲。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...82最新技术水平92.1共享内存系统。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...2.1.1存储器模型。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...9102.1.2互连系统... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...112.1.3一些共享内存系统架构。... ... ... ... ... ...142.2内存一致性。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...152.2.1顺序一致性。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...162.2.2强一致性（总存储开销）。... ... ... ... ... ... ... ... ... ... ... ...172.2.3松弛一致性。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...172.3缓存一致性。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...182.3.1高速缓存一致性问题。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...2.3.2缓存一致性协议及其管理机制18193.3 AMBA ACE协议。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...202.4结论。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... ... ...213基于ARM多处理器的混合系统223.1 ARM的系统。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...3.1.1 ARM处理器。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...222223.3.6交易333.3.7将一致性请求分配给侦听请求353.3.8交易顺序353.3.9审计问题的复杂性373.4结论374在通用和可扩展上实现AMBA ACE缓存一致性4.1通用体系结构384.1.1处理器和协处理器384.1.2缓存建模394.1.3共享内存的建模414.1.4互联网的建模4.2CCN-xx 51互连的微体系结构4.2.1L’architecture interne de l’interconnexion CCN étendue4.2.2数据交换514.2.3配置选项514.3ACE53协议的实施4.3.1交易说明4.3.2完成交易的534.3.3提议的通用架构中的一些事务流4.4结论635验证方法645.1计算机系统的建模和验证645.1.1通过分析方法进行验证645.1.2通过正式验证进行验证645.1.3通过模拟进行验证665.1.4系统评估：应用于混合系统和高速缓存一致性协议665.2Gem5仿真环境675.2.1GEM568模型的结构5.2.2执行模式5.2.3模拟模式695.2.4一些预定义的模型695.3在GEM569中实现5.3.1组件的互连695.3.2数据交换705.3.3proc和 coproc71组件5.3.4L2组件735.3.5snoopFilter74的功能5.3.6系统监视器组件755.3.7内存缓冲区765.3.8Mem76组件5.4第77章6测试描述和结果分析7836.1测试模式的生成786.2测试参数786.3评估指标6.4结果796.4.1验证ACE协议在architec上的建议的一般用途796.4.2作为操作恢复率函数的平均访问延迟的演变6.4.3平均访问延迟随系统中处理器和协处理器数量的变化6.4.4模拟持续时间随sys大小的变化模拟866.4.5重试请求速率随请求大小的表请求列表886.4.6reqList表占用率的变化取决系统的大小906.5结论90结论和展望92参考文献984术语表ACEAXI一致性扩展AMBA高级微控制器总线架构 AXI高级可扩展接口BCS Bull相干开关CCN缓存相干网络CMP芯片多处理器CPU中央处理器DSP数字信号处理器先进先出FPU浮点单元gem 5通用执行驱动多处理器/内存5 GPU显卡IO输入/输出IP知识产权最少使用的LU没有交错流水线阶段的MIPS微处理器，存储器管理单元NIC网络接口卡NUMA非统一内存访问OMNET++在C++ RISC简化指令集计算中的RTL寄存器-传输级RTOS实时操作系统SoC片上系统TLM事务级建模UMA统一内存访问VHDLVHSIC硬件描述语言5第一章论文的背景和目标1.1简介如今，它的发展满足了处理非常大的数据的应用程序日益增长的需求，因此对计算能力的最新的并行体系结构旨在通过提供高计算能力来满足这些通过高速网络互连的多处理器代表了当今分布式机器的主要架构模型。即使对于中等规模的系统，它们也已成为一种具有成本效益的技术[Hagersten和Hill，1999]。最新的计算机系统主要由处理器、许多特定于某些应用的加速器、输入/输出设备、存储器等的集合（通常是异构的）组成。它们可以根据其存储器的编程模型来分类[Culler等人， 1999]：共享存储器系统，其中存储器作为公共和全局地址空间可由所有处理器访问;以及分布式存储器系统，其中处理器通过发送消息在彼此之间交换存储器中的数据。共享内存的原则要求建立一个严格的协议，以确保不同系统缓存之间的数据一致性和内存一致性。它定义了管理对共享内存的访问的其设计的复杂性根据系统中计算组件的数量而变化例如，在ARM的AMBA ACE协议中要建模的状态的数目是7000N，其中N是计算组件的数目[ Oury等人，2015年]。本文解决了这个复杂性问题。我们的工作重点是共享内存子系统，提出该架构将围绕ARM现有的CoreLink CCN互连进行设计然后，我们提出了一种基于事务级建模（TLM）的该体系结构的模拟验证方法在本章中，我们将从6通过介绍分层内存系统、内存一致性和缓存一致性来然后，我们描述了本论文的主要目标，并对本论文的贡献及其结构进行了总结性描述1.2论文的背景1.2.1具有共享我们工作中考虑的系统遵循多处理器系统的体系结构，其中处理器通过网络互连并共享存储器空间。系统中的每个内核都可以以相同或不同的延迟访问每个存储器位置。处理器可以具有用作数据高速缓存的本地存储器。L’architecture访问可以采用两种模型中的一种：统一存储器访问（UMA）模型和非统一存储器访问（NUM）模型[ Culler等人， 1999年]。在UMA模型中，对于相同的地址，每个处理器在相应的存储器位置具有相同的固有访问时间L’organisationNUM模型在处理器之间分配内存[Baxter等人， 1999年]。访问非本地内存的延迟取决于处理器与所请求内存的物理位置之间的距离。为了减少这种延迟，已经提出了几种方法。一种解决方案是使用缓存[Gharachorloo等人，1990a]。我们将在第2章中详细介绍共享内存系统。1.2.2内存一致性和缓存一致性问题记忆的一致性在设计共享内存体系结构时内存一致性模型由对内存请求的处理顺序相对于它们在执行程序中出现的顺序的约束来定义在共享存储器系统中，处理器可以同时对共享存储器中的公共位置执行读和写操作，因此使用Lamport时钟[ Puzak，1985a ]，可以对这些操作进行时间戳，以定义内存操作的总顺序在[Puzak，1985a]中，

下载后可阅读完整内容，剩余1页未读，立即下载