软件性能测试指标及其注意地方
采用自动化负载测试工具执行的并发性能测试,基本遵循的测试过程有:测试需求与测试
内容,测试案例制定,测试环境准备,测试脚本录制、编写与调试,脚本分配、回放配置
与加载策略,测试执行跟踪,结果分析与定位问题所在,测试报告与测试评估。
并发性能测试监控的对象不同,测试的主要指标也不相同,主要的测试指标包括交易
处理性能指标和 UNIX 资源监控。其中,交易处理性能指标包括交易结果、每分钟交易数、
交易响应时间(Min:最小服务器响应时间;Mean:平均服务器响应时间;Max:最大
服务器响应时间;StdDev:事务处理服务器响应的偏差,值越大,偏差越大;Median:
中值响应时间;90%:90%事务处理的服务器响应时间)、虚拟并发用户数。
应用实例:“新华社多媒体数据库 V1.0”性能测试
中国软件评测中心(CSTC)根据新华社技术局提出的《多媒体数据库(一期)性能
测试需求》和 GB/T 17544《软件包质量要求和测试》的国家标准,使用工业标准级负载
测试工具对新华社使用的“新华社多媒体数据库 V1.0”进行了性能测试。
性能测试的目的是模拟多用户并发访问新华社多媒体数据库,执行关键检索业务,分
析系统性能。
性能测试的重点是针对系统并发压力负载较大的主要检索业务,进行并发测试和疲劳
测试,系统采用 B/S 运行模式。并发测试设计了特定时间段内分别在中文库、英文库、图
片库中进行单检索词、多检索词以及变检索式、混合检索业务等并发测试案例。疲劳测试
案例为在中文库中并发用户数 200,进行测试周期约 8 小时的单检索词检索。在进行并发
和疲劳测试的同时,监测的测试指标包括交易处理性能以及
UNIX(Linux)、Oracle、Apache 资源等。
测试结论:在新华社机房测试环境和内网测试环境中,100M 带宽情况下,针对规定
的各并发测试案例,系统能够承受并发用户数为 200 的负载压力,最大交易数/分钟达到
78.73,运行基本稳定,但随着负载压力增大,系统性能有所衰减。
系统能够承受 200 并发用户数持续周期约 8 小时的疲劳压力,基本能够稳定运行。
通过对系统 UNIX(Linux)、Oracle 和 Apache 资源的监控,系统资源能够满足上
述并发和疲劳性能需求,且系统硬件资源尚有较大利用余地。
当并发用户数超过 200 时,监控到 HTTP 500、connect 和超时错误,且 Web 服务
器报内存溢出错误,系统应进一步提高性能,以支持更大并发用户数。
建议进一步优化软件系统,充分利用硬件资源,缩短交易响应时间。
疲劳强度与大数据量测试