没有合适的资源?快使用搜索试试~ 我知道了~
英文 名称 : Anton 3 : Twenty MicrosecondsofMolecular Dynamics Simulation 之前LunchDavidE 。 Shaw ,A APeter J 。 亚当斯 ,BAsaph 信息菱 果 苔 草Joseph a . 银行 ,Brandon Batson ,Alistair贝尔 ,MichaelBergdorf ,JHANVI Bhatt ,BJ. Adam Butts,Timothy Correia,Robert M.巴茨迪克,C Ron O。醉 了 ,B迈克尔 · P · 伊斯特伍德 , 布鲁斯 · 爱德华 兹 , AmosEven , Peter Feldmann , Michael Fenn ,克里斯托弗 ·h 。 Fenton ,安东尼 ·第 四 ,Joseph Gagliardo , Gennette , 美国Gill ,玛利亚Gorlatova ,BBrian Greskamp ,J . P 。 格罗斯曼 ,BJustinGullingsrud ,Anissa哈珀 ,William哈森 特 鲁 格 ,Bmark Heily ,Benjamin Colin Heshmat ,Jeremy亨特 ,道格拉斯J 。 伊戈达拉 ,Lev伊泽 罗 维奇 ,Bryan L 。 杰克逊 ,Nick p 。 约翰逊 ,Mollie m . Kirk ,B约翰 · L 。 克莱佩达 ,Jeffrey :s 。 库斯科 ,Kenneth m . 麦肯 齐 ,Roy J 。 Mader , 理查德 · 麦高 文B亚当 · 麦克劳 克林 , Mark A .穆罕默德·H. Moraes Nasr ,B Lawrence J.Nociolo , Lief O ' Donnell , Andrew帕克 ,约翰·L。Peticolas,Goran Pocina,Cristian Predescu,Terry Quan,John K.萨 蒙 ,C卡尔 · 施文克 ,B Keun Sup Shim , NaseerSiddique ,B JOCHEN Spengler ,B塔 马 斯Szalay ,Raymond Tabladillo ,BReinhard鞑靼 人 ,BAndrew g 。 鸽子 ,Michael Theobald ,Brian Towles ,BWilliam维克 ,B斯坦利C . WANG ,Michael Wazlowski ,Madeleine J 。 魏 家 卫 ,约翰m . 威廉姆斯 ,B及Kevin a . yuhD. E。Shaw Research , 纽约 , NY , 10036 , 美国USAabstract抽象Anton 3是专门设计用于原子水平模拟与生物学相关的分子的超级计算机家族的最新成员。DNA,蛋白质和药物 分 子 ) 。 英 文 名 称 : Achieves Order-of - MagnitudeImprovements 解 决时 间TimetoSolutionoveritsPREDECESTER 前任安 东 Anton 2( The Current( 2 ) 生物学 和 药物 发现 的 关键 问题 的 研究 已经 超过 100 倍 , 超过任何 现有 的 超级 计算机 。这 一 速度means that A A第 512 章安 东 Anton 3 simulates 模 拟 A A 百 万 atoms at over 100microseconds per day ( 一 天 大约 有 100 个 微秒 )Anton 3在他的论文《模拟微秒比任何其他机器消耗更少能量的大订单》(Order of Magnitude Less Energy by Simulated MicrosecondThanAnotherMachine)中写道。LikeIt的PREDECESSORS , 安 东 Anton 3 何 为 designed from Theground up我们 需要 一 个 新 的 定制 芯片 来 最 好 地 利用 新技术 提供 的 能力 。We present here the main architectural andalgorithmic developments that were necessary to achieve suchsignificant 我们 现在 这里 是 主要 的 架构 和 算法 开发 , 需要实现 如此 显著 的 效果advances 。I.J支持 for ACM G Ordon 的B ELL p大米安 东 Anton 3sets NEW Records 记录( by命令of magnitude )在TheSpeedof ATOM 所 有 BIOMOLECUAL 生 物分 子Simulations 。Compared 比 较 with the fastest general-purpose supercomputers , a 64 - node Anton 3 is 120 最 快的 通用 超级 计算机 , 64 - node Anton 3 is 120 Timesfaster on A A 24,000 - Atom standard BENCHMARK ,While a 512 - node 机器 在 220 万 个 原子 核糖 体 上 速度快 460 倍系统 |II. p Erformance A Tributes 的III. o ;英文 名 : View of the p Roblem所有 AtomMolecular 分子dynamics( MD )simulationis A A研究 生物 大 分子 行为 的 强大 工具 ( powerfultoolforstudyingthebehaviorofbiologicalmacromolecules ) 蛋 白 质 , RNA 和 DNA [1] 。 IT CANANSWER 基础 知识Question 问题about 关于The Functionof These 这 些 生 物 分 子 by simulation Their 3D 尺 寸motion ,及CAN Facilitate 药物design By IDENTIFYING身份及quantifying 数量how小 分子 化合 物 Small MoleculeCompounds Interact 的 with potential 的 Drug 目 标。Performing MD 在 规模 和 速度 需要 解决 这些 研究 的 模拟 Question 问 题 within 其 中 Practical 实 践 时 间 轴 ,However ,A highly challenging problem 一 个 高 挑战 的问题超级 计算机 。我们设计、构建并部署了两代Anton超级计算机,Anton 1 [4]和Anton 2 [5],以解决这个问题,当它部署时,它在每次最快的目的超级计算机上实现了一百多次更高的速度。These increases in performance 已 翻译 成重要的 科学 进展 , 截至 300 多 个 同行 评审 的 论文 , 来自研 究 组 的 数 百 个 申 请 时 间 这 些 机 器 [ 6 ] 。Furthermore ,simulations from these machines havecontributed to the discovery of three drug candidates currentlyin clinical . 进一步 研究 了 三 种 药物 的 发现 。trials 。MD 模拟 性能 的 持续 进步 可能 非常 有 价值 , 作为一些 重要 的 生物 系统( 包括many that are Highly 的相关两 个Drug design )《 科学 地 总结 数百 万 个 原子 》及在时间尺度上发生的药物决定性结构变化在历史上并不可能实现模拟。 Moreover ,accurately 准确 的obtaining 相关Statistical Properties of Biochemical Systems ( E.G. ) 生化系 统 ( 重 定 向 自 Binding Rates of Drugs to TheirTargets ) CAN 需 求Milliseconds 千 禧 一 代of AggregateSimulated时间 。Category ofAchievement解决时间Type of method 方法usedExplicit说明reported on 基地ofWhole application including 全部 应用I/OPrecision 精确报告混合 式Precision系统scale 规模512个节点以前Anton Machines在复杂系统上获得长期时间的能力在我们的药物发现工作中已经发挥了重要作用。一 个 类似 模拟 的 例子 是 图解 的在Fig. 1, Which shows A ASnapshot from A A 185,000-A A大卫·E。Shaw also affiliated with the Department of Biochemistry and Molecular Biophysics,Columbia University,New York,NY10032. Shaw是生物化学和分子生物物理学系的附属机构,哥伦比亚大学,纽约,NY 10032. Email Correspondence :David .Shaw@DESHAWResearch.com 。B , C湖Acknowledgements 的 评论section for之后information 信息about 关于These 这些former D . E 。 Shaw 的研究 Research Team members 。ThisWork is licensed 许可 证Under A A创意 Creative Commons归因 非 商业国际4.0执照 。SC 21 号, 11 月 14 - 19 , 2021 , 圣路易斯 , MO ,USA© 2019 Copyright is held by the owner/author(s).版权所有。ACM ISBN 的978-1-4503-8442-1/21/11.https://doi.org/10.1145/3458817.3487397Anton 24 Microsecond Anton 2 Simulation of a Potassium ionChannel ( a family of protein we have simulated extensivelyas part . ) ( 一 个 蛋白 质 家族 , 我们 作为 一 部分 进行 了 模拟 )of our 我们Drug Discovery 发现研究 ) 。 We湖many NEW研究 机会 , however , 需要 更 快 的 MD模拟 , 以及 许多interesting biological 生物Systems thatFall Outside 外面The 2 安 东 的 能力结果 , 我们 开发 了Anton 3 , 一 个 特殊 的 , 目的 是 超级 计算机 设计 围绕 一 个 新 的 客户 芯片 到 一 个again dramatically 戏剧 性increase 增 加 The Speed 及 scale 规 模 of 全原 子MDsimulation相关两 个基本 的Science及Drug design .Fig. 1。Rendering from an MD simulation of potassium ( blue spheres )passing ( 蓝球 ) 传递through 通过AN ion channel Protein( gray )cutaway )嵌入 式在A A细胞 膜 ( 英语 : Cell membrane ) ( Thefully rendered molecules on either side of the channel ) 。MD 仿真 预测 了 化学 系统 中 原子 的 三维 运动 超过了 离散 时间 的 大 数值Steps 。 During 持续 时间EACHTime step ,inter-atomic 原子部队Among 先生原子 们areComputed using基于 物理模型known as Force Fields 。论文原子力的认识Bond terms债券该模型是由1—3个共价键共同分离的小原子群之间的力量。非bonded所有原子对之间的作用力。“ 总 的 来说 , 一 个 给定 的 原子 上 的 力 是如此 之 大 , 以至于 给 了 原子 上 的 总 的 力 , 这 是 牛顿 第 二 个 。law )Directly 直接决计The加速of The Atom而 Thus( by integration 综合over时间 )CAN be used两 个update The原子 位置 和 速度 , 以 其 价值 在 下 一 次 步骤 。Without approximating some calculations , the numberof 没有 估计 , 一些 估计INTER - ATOMIC FORCEScomputed on each time step scales quadetically with thenumber of atoms , 意思 是 有 一 个 巨大 的 增加 , 及时解决 系统 的 增加 . Furthermore , “ 十 亿 次 的 步骤 是必要 的 , 以 模拟 原子 的 微粒 集成 ” 。motion 。在令两 个make 做SUCH simulation Computationally 计算机MD tractable , most implementations of MD ( 包括安 东 机器 上 的 那些 )express The部队Among 先生非bonded atoms as A A和 有限 的 远程 和 远程 的 力量 。Range-Limited Forces rapidly with distance ,and areindividually computed ( 英 语 : Range-Limited forcesdecayrapidlywithdistance,andareindividuallycomputed )Between Pairs of atoms up两 个A A Cutoff 的距离 。 长 距离 的 力量 , 随着 距离 的 增加 , 正在 计算使用 有限 的 范围 内 的 原子 与 电网 点 的 常规 晶格 相互 作用 , 遵循 在 电网 上 的 革命 , 并 遵循 第 二 范围有限 的 双边 互动of The atoms with The grid Points 项目[ 7 ] [ 8 ] [ 9 ] With this最优化(optimization):计算力中的操作数与原子数几乎呈线性增长(与平方数相当)。Each machine in the Anton family executes the MD algorithmentirely within custom chips we designed for the machine.我们为那台机器设计的每一台机器都执行了MD算法。图 2 显示 了 MD模拟 的 数据 流 , 指示The Division of实验 室Among 先生特殊用途新 安 东 3 芯片 内 的 管道 和 通用 处理 器 。theFIGURE isA A简化Presentation 介绍of The computation ; functionality showin each element of the figure is often distributed across severalfunctional units , some of differing types . 这个 函数 在 每 一 个数字 的 元素 上 通常 是 分布 在 不同 的 函数 单元 上 , 有些是 不同 的 类型 。例如 , 力 总和 , 是 作为 分布式 硬件 减少实现 的 , 非 绑定 力量 是 以 两 种 不同 类型 的 特殊 计算 的管道 。Fig. 2。数据流的一个MD模拟。安东3号,有限非键力,简单键术语和原子网格交互是由特殊用途数据管道计算的。基于 网格 的 革命 , 更 复杂 的 债券 条款 和 集成 是 由 通用 计算 的处理 器 。近似也是用来减少计算机需求。With appropriate integrationalgorithms [ 10 ] , for example , 使用 方法The成本 costly longrange 长度部队CAN be Computed on每次 第 二 次 或 第 三 次 。In addition , the use of rigid constraints 使用 限制” [ 11 ] 12 。两个消除The Fastest motion of Hydrogen 原子allows 的Time Steps步骤up两 个~2.5五 个 月 。 if if The氢 原子 的 质量 也 是 人工增加 的 , 时间 步长 为 4 - 5 fs 是 可能 的 。超过 10 4数字 操作必须 每 原子 进行 一 次 , 并 转换 为 周围 10 18在 一百 万 个原子 的 系统 上 进行 模拟 时间 的 操作 , 甚至 结合 这些 优化和 近似 。计算 的 强度 , 与 精细 的 grained 通信 一起 , 需要每 隔 一 段 时间 就 将 计算 并行 化 [ 15 ] , 使 生物 分子 系统的 MD 模拟AN极端挑战在高 绩效电脑 。IV. C CURRENT s影片 名 : 时间 01 : 00 Tate of the A RT生物 分子 系统 最终 depends on simulation speed , 这 是 报告 的 Here In Microseconds 的 of Simulated Time PER DAY ofelapse 相关wall-clock 时间 。为了 简化 本 节 中 的 比较 , 我们将 重点 放在 百万 原子 系统 的 模拟 上 , 即 摩西 Satellite 烟草病毒( STMV ) ,both 什么 东西因为IT is Representative 介绍of许多 生物 有趣 的 系统 , 因为 它 已经 被 广泛 使用 , 以基准 性能 在 许多 机器 和 软件 包 。We report comparativeperformance on a range of benchmarks in Section 我们 报告 了 在一 个 基准 测试 领域 的 比较 表现七 。MD模拟经常在普通计算机上运行,其中一个或更多的GPU作为计算加速器提供。单节点平台由许多MD软件包提供支持。[17]张永:18岁。 CHARMM [19], 德斯蒙德 [20], GROMACS” [ 21 ]蓝色 HOOMD[ 22 ] LAMMPS 的” [ 23 ] namad ;” [ 24 ]及each with different features and performance ( 不同 的 功能和 性能 )characteristics 。目前,这些代码最快的单节点兼容性平台包括NVIDIAA100 SXM 4 GPU;该平台在STMV基准测试上的峰值性能报告低于0.07 μ s/day [21][25]。1 . 寻求 减少 对 其他 平台 的 解决 时间 , 增加 超出 8 个 领域 的 处理 单元 数量Improvement On 改善The stmv Benchmark 的” [ 21 ] scaling的is Even Worse for小 分子 Molecular Systems因为The代价of Distribution Among 计算机The Large 大Number of GPUCore 的及integration 综合The结果 of those Computations onEACHTimestepOvershadows的 anygainsfromparallelization across the core ( 通过 线 支付 )” [ 27 ]Several MD 软 件包(GENESIS [ 28 ] ,GROMACS , HOOMD-blue [ 29 ] , LAMMPS , 和NAMD )CAN生物分子系统的十亿分之十到几个十亿个原子,穿过机器处理通用目的节点的大尺寸数字,但这些机器的缩放并没有产生超出0.2 μ s/天的性能。结果 模拟 开放 的 短期( 分 - Microsecond ) 观点 极端 大 生物 分子 系统 , 但他们 没有 实现 长期 的 必要 性能 ( 多 Microsecond 至Millisecond ) 具有 一百 万 科学 原子 或 辐射 的 系统 的模拟 , 一 个 规模 的 范围 包括 微生 物 组 对 基本 药物和 研究 的 兴趣Discover 。Aside from the Anton Machines , other supercomputersspecialized for MD Simulation已经有报道。MDGRAPE—4A是一个512—node特殊用途的机器,每个node带有一个定制芯片。MDGRAPE - 4A 的 容量 尚未 报告 , 但 其 在STMV ( 从 模拟 中 推断 出 的 性能 )of~ 100 , 000 atoms ) [32] would be ~ 0.1 μ s/day 。 基 于FPGA的专业硬件[33][34]已被设计用于MD,且报告了与单个GPU的性能竞争。安 东 2 是 全 原 子 MD 模 拟 的 艺 术 现 状 ofBiochemical 生物 化学Systems of up两 个三 位百万原子它典型 地 被 用于 对 100 个 Microseconds each 进行 模拟( 虽然 有些 人 达到 了 几 个 千禧 年 ) , 并且 是 我们药物 发现 和 生物 化学 的 基础研究 | OUR第 512 章安 东Anton 2 Machines 机器( With每个 node 的 单 点 定制 芯片 ( Single Custom-Designed Chip Per Node )achieve。周 围10μ s/day of simulation on The 百 万原 子 stmvBenchmark 在 2013 年 的 一 份 报告 中 表示 , 一 项 超过两 个 订单 规模 的 速度 超过 了 当时 最 快 的 通用 超级计算机 可用 的 速度 , 并 超过 了 今天 的 顶级 超级 计算机 。安 东 3 超级 计算机 described in this paperredefines 的The State of The ART for解决 时间 Time to Solution as well作为 per-node throughput on MD simulation , 感谢 新 的重要 创新design .V. i novations 的R危险本 节 第 一 次 介绍 了 安 东 3 号 芯片 架构 的 概况 ,及then Details selected Innovations在subsections A-D 。安 东 Anton3何 为designed from The ground up两 个Reduce通过 最 大 化 并行 化 并 利用 不断 演变 的 硬件 技术 来 解决 问题 的 时间 。Though it carries over a fewgeneral design ( 很少 有 普通 设计 )主题from安 东Anton 1及安 东 Anton 2 . 包括 在内The use或 特 悬CHIPS的with AN综合 性3D torus network( Fig. ) Anton 3 的 共同 设计 算法 , 硬件 和 软件 - 实际 设计 由 Anton 3 提供 , 其 适配 器 的 细节 很少 。The Novel Design of theAnton 3 Chip supports many ( 安 东 3 号 芯片 的 创新 设计 )NEW Molecular 分子simulation能力及is乐观 的解决半 导体 技术 中 的 两 个 关键 扩展 趋势 : 增加 高 性能芯片 和 减少 通信 带宽 相对 于 计算 阈值 的 功率 需求 ,以及 增加 MD 的 有效 并行 化应用 程序 。As在prior 主世代 ,The MD Application partitions The3D 空间of The chemical系统Into竞争 性BOXES及Assigns他 们 两 个 nodes So that Neighboring 邻 居 chemical 系 统BOXES reside on neighboring nodes in the torus 附近 的 节点 。2013年04月21日@下午12时40分@上午11时40分@上午12时20分@上午10时00分)(Home Box因此,将这些原子子集的位置发送到其他节点,以允许在不同盒子中计算原子之间的力量。 the结果 resulting部队are then returned 相关 两 个 Their 2.2.1 . subsequently integrates the forces toupdate atom positions for the next time 下 一 次 更新 原子 位置 的 力 。step .有效 地 平行 化 MD 的 发展 , 以 维持 通信 和 写作之间 的 平衡 ,communication bandwidth is Scaling 的More慢 于 当前 半 导体 技术 中 的 计算 阈值 。 TO Addressthis挑战 ,The安 东 Anton 3 Chip adopts a highly regular ,tiled layout ( Fig. 3b ) that optimizes both communication .采纳 了 一 个 非常 常规 的 , tiled 布局及Computation 。the Chip consists 意见primarily 主要of repeated 相关CoreTiles 的 评论及Edge Tiles 系列。核心 Tiles Are Arranged InAnArray 的of 12 ROWS By 24 columns在The Center of The芯片 ,并 包括 两 个 专门 的 管道 和 执行 MD 计算 的 通用 目的 处理 器 。Edge Tiles Flank the Core Tile array onthe left and right , managing communication between CoreTiles and the inter-chip 3D ( 3D ) ( 边缘 Tiles Flank theCore Tile 数组 在 左 和 右 , 管理 核心 票据 与 Inter-chip3D 之间 的 通信 )Torus Network ( 英语 : Using Off-Chip High-Speed Serial Network Outboard )of The edge 的Tiles在Fig. 3B ) 。 the Chip contains 96关闭 芯片 串行 通道 (英 语: Off chip serial lanes )( SERDEStransmit/receive pairs )at29 Gbps in each direction , providing 5.6 Tbps of totalbandwidth(each direction中为29 Gbps,提供总带宽5.6Tbps)Fig. 3c shows the components of the core tile in moredetail.图3c显示核心区的组件在更详细的地方.网络安全公司(Core Router系统(1)将计算机块连接到2D通用网络中的芯片。专用公交 车 位置及Force 巴士例如 , 原子 位置 和 力 的 移动 , 并 从Pairwise Point Interaction Modules( 双 点 交互 模块 )PPIM : 包括 用于 计算 非 绑定 交互 的 专用 管道( subsection )b ) 。 NEW在安 东 Anton3, A A特 悬Bond Calculator 计算 器( BC ) handle computationof bond term forces ( subsection D ) . ( 结合 后 的 力 )TheTwo 两 个geometry 核心( GC ) , 及其 关联128 KiB - -Flex的SRAM Memory 记忆Blocks ,行动all Time Step processing thatis not performed by the BC or 没有 经过 BC 的 过程PPIM ,Fig. 3。( a ) Inter-chip 3D torus network , ( b ) tiled layout of the Anton 3 chip showing core tiles ( purple ) and Edge tiles ( yellow ) , ( c ,d ) block diagrams of the Core Tile and Edge ( 安 东 3 芯片 显示 核心 线 和 边缘 的 tiled 布局 )时间 。包括 数据 运动 的 序列 , 网格 演进 的 距离 交互 , 原子位置 的 整合 和 计算of The Few interaction that are tooComplex for一 是 特殊 管道 。GC 的 微 架构 针对 3D 几何 和 MD 计算 进行 了 优化 , 同时 确保 每个 单位 区域的 高 性能一般 用途 的 代码 。为了 给 最 大 的 模具 提供高制 造收 益,Anton3 CAN Circumvent 环 境Manufacturing 制造defects在Core Tiles by operating with anarbitrary number of Core Tile columns disabled ; results inthis paper reflect 22 enabled 核心 标题 列 。3 戴尔 PowerEdge 12 G T320 (Channels 频道每 一 个芯片 都 有 一 个 连接 器 ( with each channel connecting toone of the chip ) 。six邻居在The 3D torus using A A Groupof Serdes 。EACHChannel 频道故称Connects两 个AN edge的 Router , Which Forms 的 AN edge 的 Network with TheOther edge 的Tiles on The SAME EDGE of 2 、 允许 流量在 芯片 间 3D 环形 网络 中 跨越 尺寸 。Edge路由器与核心Tile的2D网状网络相连,用于喷射和发射。最 后 , TheInteraction Control Blocks 交互 控制 模块ICBs ( Connectthe Edge Router to the Internet )Force及立场公共 汽车thatrun across 的The Core时间Array 。ICBs 包括 大型 自助 餐和 可 编程 DMA 引擎Which are used两 个send 发AtomPositions 地点onto The公交 车 位置 They故称接收Atom部队from The Force公共 汽车然后 send Them两 个The edge的Network for Delivery 交付两 个The Flex 的Sram 。A. 新 的 CustomNetwork芯片网络主要由半导体技术控制,并以符合逻辑的较差的布线和密度进行扩展。在 以前 的 技术世代 ,差 一点 ,低 延迟Wiring Resources如果 它 更 容易 提供 , 并且 它 是 可能 的 , 以 使 合理 的 连接Between On-chipsubsystem 子 系统在AN非 结构 化way by auto-routing themthrough or around physical blocks . 通过 物理 块 自动 路由它们 。在 current技术 ,this is no longer 长Practical 实践When The Highest Performance 最 佳 表演is required 。 安东 Anton第 三 S tiled Layout benefits使用 允许 网络 重复利用 、 在 各 分区 间 高度 优化 的 路径 、 在 高 带宽 和低 延迟 下 实现 的 在线 通信Networks 。Physical 物理packaging限制故称shaped 的The design of芯片 - Chip Networks ,及Have HERO The Number of Sereslanes在 node Roughly 的常量across 的安 东 Anton世代 。约束 约束Long Range 长 距离Electrical Signaling故称限per-lane 的Bandwidth 。 To achieve the required bandwidthscaling , 安 东 3 introduces a low-latency ( 已 实现 所 需带宽 缩放 )MD 具体compression algorithm 算法at Thecore 核心SIDEofThe Serdes 。 两者The compressor 压缩 机at The SendingSIDE及接收 端 的 解 压缩 器 将 最 多 的 原子 位置 放在链路 上 , 并 使用 过去 的 位置 来 施加 第 二 顺序 呈现器 ( 合并 位置 , 速度 ) ,及Acceleration )for EACHATOM 的Current阵地 。 对于 缓存 中 的 原子 , 压缩 机只能 发送 预测 和 实际 位置 之间 的 差异 , 这 是 小 幅度 的 , 并且 可以 在 整个 位置 上 使用 可变 长度 格式进行 编码 。The same variable-length format is also used for同样 的 可变 长度 格式 是 用于部队 。这些压缩技术增加了有效的带宽可用于两个因素的应用。Together with a doubling of Anton 2 's SERDES bitrate( Table 1 ) ( 与 安 东 2
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- RTL8188FU-Linux-v5.7.4.2-36687.20200602.tar(20765).gz
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
- SPC统计方法基础知识.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功