后续设计步入正轨。我们将整个开发过程划分为多个阶段,并与相关的
检查点相关联,以确保完成。在每个阶段,通过市场调查或咨询从不同
的最终用户那里获得需求,然后选择代表对决策和实施的结果进行反
馈。我们根据反馈改进我们的工作,并在每个阶段重复这样的程序。基
于 第4.1节中提出的标准,CpsMark+的主要软件组件及其整体基准框架
如图所示。1.一、
CpsMark+基准测试工具包含三个组件:
•
自 动 安 装 程 序 , 批 量 安 装 第 三 方 应 用 程 序 和 主 控 制 程 序
(MCP)。MCP 负责基准测试的执行,包括测试初始化、资源
提取、数据完整性检查、工作负载扩展、日志记录、度量测量和
计算以及报告生成。
•
资源包,包括工作负载操作的输入文件
行动。
•
第三方应用程序包,包含所有第三方应用程序的设置
MCP 的 源 代 码 在 线 维 护 于 https://github.com/wanghong
3116/CpsMarkPLUS,该源代码仍在进一步改进中并可能发生变化。
资 源 和 第 三 方 应 用 包 已上 传 至 国 家 计 量 数 据 中 心 网 站 ,可 通过
https://jc在线访问。nmdc.ac.cn/view-40-609748.html网站。请注
意,CpsMark+仅支持Microsoft Windows 10。
我们没有像大多数商业基准那样将输入文件、工作负载应用程序和
MCP集成到一个单一的包中,这使得我们的工作透明且易于维护。第一
使用CpsMark+,每个第三方应用程序的试用版自动安装在测试的计算机
系统上,并通过执行自动设置程序进行配置。同样,每个工作负载以完
整软件的形式独立运行,相应的应用程序不合并到MCP中,只从被测计
算机系统的后台同步接收指令。这样的设计减少了MCP对系统性能的影
响,并且能够清楚地查看日志提供的工作负载状况
MCP设计为串行布局,包含两个独立的测试模块。用户可以初始化
要运行的迭代次数
消除基准结果的波动。由序列组成的 对于有序执行的工作负载,每个
模块独立地生成反映包容性工作负载的性能的综合得分。测试计算机系
统在以下时间段自动重新启动: 用于消除变化的系统状态的影响的两
个模块(例如,高速缓存)上的模块独立性。
4.3.
工作负载
CpsMark+有两个独立的模块,用于模拟现代办公场景中感知的用户
体验,即,综合应用(CA)和综合计算(CC),可在测试过程中选择并
独立运行。它们中的每一个都有一系列以特定顺序执行的工作负载。在
本节中, 我们将详细介绍每个模块中工作负载的设计和特征。
4.3.1.
办公室计算机的用户轮廓提取
Chen等人[22]指出,基准测试应该与实际的应用领域相关联,并
反映生存中的实际虽然大型雇主可能有许多用户细分,但适当的分类
可以最大限度地减少复杂性,并更好地了解特定用户细分的性能要
求。对于现代办公场景中台式计算机的日常使用,我们从职业和专业
的角度抽象了最终用户的配置文件,如表1所示。
由于CpsMark+是为现代办公场景中使用的台式计算机的商业评估而
设计的,因此表1中总结的用户配置文件不包括在实验室、研发中心、
工厂或远程办公的用户。本文主要针对大部分知识工作者和部分高级用
户进行研究。
4.3.2.
使用场景建模和应用选择
企业某个特定部门的用人单位往往从事固定的日常工作,因此在办
公计算机集中采购时,应更加重视同质工作部门特定任务的性能要求。
为了将工作负载的设计与测试计算机的面向使用场景高度关联,我们专
注于探索在日常办公场景中工作的预期最终用户
根据抽象的办公计算机用户模型,我们将使用模型聚类为四组常见
的办公场景