1.什么是负载测试?什么是性能测试?
负载测试是一种性能测试指数据在超负荷环境中运行,程序是否能够承担 在这种测试中,将使测试对象承担不同的工作量,以评测和评估测试对象在不同工作量条件下的性能行为,以及持续正常运行的能力。负载测试的目标是确定并确保系统在超出最大预期工作量的情况下仍能正常运行。此外,负载测试还要评估性能特征,例如,响应时间、事务处理速率和其他与时间相关的方面。
性能测试主要使用场景测试软件系统的性能是否满足生产性能的要求,包括负载测试,强度测试,数据库容量测试,基准测试以及竞争(并发,用户)测试。
2.性能测试包含了哪些测试(至少举出3种)
包括负载测试,强度测试,数据库容量测试,基准测试以及竞争测试
3.简述性能测试的步骤
第一步:需求分析、计划测试,设计测试用例
第二步:测试设计和开发(测试脚本录制及调试,测试场景设计)
第三步:测试执行(测试环境搭建,场景部署,场景执行,监视场景) 第四步:测试结果分析,性能问题定位,测试报告评估
4.简述使用Loadrunner的步骤
制定性能测试计划-》使用Vuser录制调试脚本VuGen-》用Loadrunner Controller设置场景-》运行场景-》监视场景by Loadrunner online runtime等-》分析测试结果
5.什么时候可以开始执行性能测试?
功能测试通过;
一般需要进行性能测试的系统,都是用户量比较大、业务使用比较频繁、比较重要的功能模块。
6.LoadRunner由哪些部件组成?
Virtual User Generator-生成用于“Controlier”部署的Vusers LoadRunner Controlier-产生压力和搜集测试结果数据
LoadRunner Analysis-通过图表分析工具来编译和显示测试结果。
7.你使用LoadRunner的哪个部件来录制脚本?
使用Virtual User Generator录制测试脚本
8.LoadRunner的哪个部件可以模拟多用户并发下回放脚本?
LoadRunner的Controller组件。
9.什么是集合点?设置集合点有什么意义?Loadrunner中设置集合点的函数是哪个?
在性能测试过程中,需要模拟大量用户在同一时刻,访问系统并同时操作某一任务,可以通过配置集合点来实现,多个用户同时进行某操作;
集合点可以在服务器上创建密集的用户负载,使LoadRunner能够测试服务器在负载状态下的性能。
设置集合点函数:lr_rendezvous("Meeting"); // Meeting是集合点名称
10.什么是场景?场景的重要性有哪些?如何设置场景?
场景用于模拟用户实际业务操作;
LoadRunner中场景有手工场景和面向目标的场景。
设置场景:选择场景类型、设置运行时设置、模拟用户数、加减压方式、持续时间,配置负载生成器。
11.请解释一下如何录制web脚本?
利用Virtual User Generator录制测试脚本,录制步骤:
1、选择合适的协议-Web(Http/Html),
2、设置录制选项(HTML-based Script/URL-based Script)
3、开始录制
12.为什么要创建参数?如何创建参数?
A12:LoadRunner在录制脚本的时候,只是忠实的记录了所有从客户端发送到服务器的数据,而在进行性能测试的时候,为了更接近真实的模拟现实应用,对于某些信息需要每次提交不同的数据,或者使用多个不同的值进行循环输入。这时,在LoadRunner中就可以进行参数化设置,以使用多个不同的值提交应用请求。
【参数化】:使用指定数据源中的值来替换脚本录制生成的语句中的参数。
【参数化好处】
● 减少脚本的大小
● 提供使用不同的值执行脚本的能力,更加真实的模拟现实应用。
【参数化步骤】
● 用参数替换Vuser脚本中的常量值
● 为参数设置属性和数据源
13.什么是关联?请解释一下自动关联和手动关联的不同。
A13:【关联的定义】简单的说:就是把脚本中某些写死(固定)的数据,转变成动态的数据,或者说将前面语句的结果数据保存下来,然后在后面的语句提交请求时使用这些数据。
【需要关联的前提条件】: 客户端需要从服务器端返回数据中获取部分数据,并将这些部分数据处理后作为自己下一次请求的一部分发出。
【自动关联与手工关联的不同】:自动关联是在脚本录制过程中,VuGen会根据已经制定好的规则,自动找出需要关联的值或脚本录制完成后,执行脚本一次,通过Correlation Studio自动找出需要关联的数据,并建立关联;而手动关联是需要录制两份相同业务流程的脚本,输入的数据要相同,利用WinDiff工具,找出两份脚本之间不同之处,也就是需要关联的数据,再通过web_reg_save_param函数手动建立关联,将脚本中用到关联的数据参数化。
14.你如何找出哪里需要关联?请给一些你所在项目的实例。
A14:
1、录制两份相同业务流程的脚本,输入的数据要相同
2、利用WinDiff工具,找出两份脚本之间不同之处,也就是需要关联的数据
3、通过web_reg_save_param函数手动建立关联,将脚本中用到关联的数据参数化。 通过录制两份脚本,进行对比,可知jsessionid、sap-ext-sid、sap-wd-cltwndid、sap-wd-tstamp需要进行关联。
15.你在哪里设置自动关联选项?
录制选项中进行设置
16.哪个函数是用来截取虚拟用户脚本中的动态值?(手工管联)
A16:Web_reg_save_param函数主要根据需要做关联的动态数据前面和后面的固定字符串来识别、提取动态数据,所以在做关联时,需要找出动态数据的左、右边界字符串。
1.函数原型:
int web_reg_save_param (const char *ParamName, , LAST);
2.参数说明:
ParamNam:存放动态数据的参数名称
List of Attributes:其它属性,包含Notfound、LB、RB、RelFrameID、Search、ORD、SaveOffset、Convert、SaveLen。
17.你在VUGen中何时选择关闭日志?何时选择标准和扩展日志?
在脚本运行调试成功后应关闭日志。创建发送函数和消息日志时用标准日志,创建警告和其他信息是用扩展日志。
18.你如何调试LoadRunner脚本?
在VuGen设置断点breakpoints,然后使用单步跟踪Run Step by Step,输出调试日志
19你在LR中如何编写自定义函数?请给出一些你在以前进行的项目中编写的函数。
Give me few functions you wrote in your previous project? - Before we create the User Defined functions we need to create the external
library (DLL) with the function. We add this library to VuGen bin directory. Once the library is added then we assign user defined function as a parameter. The function should have the following format:
__declspec (dllexport) char* (char*, char*)
lr_load_dll("user32.dll");
Examples of user defined functions are as follows:GetVersion, GetCurrentTime, GetPltform are some of the user defined functions used in my earlier project.
20.在运行设置下你能更改那些设置?
pacing: 每个虚拟用户脚本包括三个部分:vuser_init, Run (Actions), vuser_end. 当你运行脚本的时候你能通知,虚拟用户重复执行run部分,每一个重复做为一个iteration.
注意: vuser_init 和vuser_end 部分是不被重复的。
Think Time Settings: 虚拟用户think time仿效一个真实用户在活动中等待的时间,例如:当一个用户从服务器接受数据的时候,在响应前这个用户需要等待数秒来接受数据,这个被耽搁的时间就是think time。
Error Handling:你能指定一个虚拟用户在脚本执行期间如何处理错误,默认的,当一个虚拟用户发现一个错误的时候,它会随着下一次重复继续下去,你能使用这个设置来通知虚拟用户当发生错误的时候是否继续执行脚本。
Run Logic:迭代次数
21.你在不同的环境下如何设置迭代?
A21:在“Run Time Settings”中设置
22.你如何在负载测试模式下执行功能测试?
A22:在负载测试模式下,可以通过同时运行数个虚拟用户,通过增加虚拟用户数,确定服务器在多大的负载量下,仍然可以正常运行,我一般进行核心功能操作,验证核心功能运行是否正常。
23.什么是逐步递增?你如何来设置?
A23:虚拟用户数随着负载时间逐渐增加,可以帮助确定系统响应时间减慢的准确时间点。 可以在“加压”选项卡中进行设置:如下图所示,将设置更改为:“每 30 秒启动 2 个 Vuser”
24.以线程方式运行的虚拟用户有哪些优点?
A24:以线程方式运行的虚拟用户,在默认情况下,Controller为每50个用户仅启动一个mmdrv进程,而每个用户都按线程方式来运行,这些线程用户将共享父进程的内存,这就节省了大量内存空间,从而可以在一个负载生成器上运行更多的用户。
25.当你需要在出错时停止执行脚本,你怎么做?
取消运行设置中的“Continue on error”复选框。 或者使用lr_abort函数。
26.响应时间和吞吐量之间的关系是什么?
A26:当系统吞吐量未达到系统处理极限时,系统性能不会衰减,交易平均响应时间一般也不会递增,当系统达到吞吐量极限时,客户端交易会在请求队列中排队等待,等待的时间会记录在响应时间中,故交易平均响应时间一般会递增。
27.说明一下如何在LR中配置系统计数器?
A27:以windows资源监控为例,可右键点“添加度量”,输入系统IP、选择平台类型,确定即可,详细参加LR自带操作手册^_^。
对于监控不同类型的操作系统,需要做一些准备工作,可参见监控操作系统资源部分。
28.你如何识别性能瓶颈?
性能瓶颈分为:硬件瓶颈和软件瓶颈
性能瓶颈可以通过监控器来分析发现,这些监控器包括应用服务器监控、web服务器监控、数据库服务器监控器和网络监控器;
它们可以帮助分析导致响应时间增加的原因;性能度量一般包括响应时间、吞吐量、每秒点击率、网络延迟等等。
29.如果web服务器、数据库以及网络都正常,问题会出在哪里?
问题可能出在系统本身或应用服务器、或为应用编写的代码编写中。
30.如何发现web服务器的相关问题?
可以利用web资源监控器发现web服务器相关问题,在场景执行过程中,可以利用监控器分析web服务器吞吐量、每秒点击率、每秒HTTP响应数、每秒页面下载数,以及web服务器硬件资源使用情况等。
31.如何发现数据库的相关问题?
可以通过数据库监控器和数据资源图发现数据库相关的问题,例如在运行Controller之前,可以指定需要度量的资源,之后可以根据监控的数据,分析数据库相关的问题
32.解释所有web录制配置?
选择录制协议、设置录制选项、选择浏览器、选择存放路径、开始录制。
33.解释一下覆盖图和关联图的区别?
覆盖图:合并两个图的内容,使用同一个X轴,合并图左Y轴显示当前图的值,合并图右Y轴显示被合并图的值。
关联图:当前活动图的Y轴变为合并图的X轴,被合并图的Y轴变成合并图的Y轴。
34.你如何设计负载?标准是什么?
负载测试计划多少用户数量、使用什么类型的机器、以及在什么环境下进行。主要基于两个重要的文档,任务分布图和事务信息,任务分布图告诉我们在负载时间段内,某一个事务使用的用户数,高峰使用率及低峰使用率均来自该文档; 事务信息告诉我们事务名及优先级,在设计场景时可以参考。
35.Vuser_init中包括什么内容?
Vuser_init中包含在脚本执行过程中只需执行一次的脚本。一般来说,所有需要初始化的都可以放在vuser_init里面,比如登录。
36. Vuser_end中包括什么内容?
vuser_end中一般包含退出的过程,比如退出系统,主要在脚本执行完成或停止时运行,在设置了迭代次数时,vuser_end和vuser_int均只执行一次。
37.什么是think time?think_time有什么用?
思考时间:用户在各步骤之间停下来进行思考的时间,由于用户基于其经验水平和目标而与应用程序进行交互操作,因此技术水平更高的用户工作起来可能会比新用户要快。 通过启用思考时间,可以使 Vuser在负载测试期间更准确地模拟其对应的真实世界用户。
38.标准日志和扩展日志的区别是什么?
标准日志:脚本执行过程中,将函数集及信息发送到日志文件中 扩展日志:可以将详细的脚本执行信息输出到日志文件中,可以选择以下三种扩展日志信息:
● 参数替换:脚本运行过程中,可以将参数及当前参数值输出到日志文件中
● 服务器返回的数据:将服务器返回给客户端的数据输出到日志文件中
● 高级跟踪:所有的虚拟用户信息和函数调用输出到日志文件中
39.解释以下函数及他们的不同之处。
lr_debug_message:发送调试信息到输出窗口或业务监控日志文件中 lr_output_message:发送日志信息到输出窗口或业务监控日志文件中
lr_error_message:发送错误信息到输出窗口或业务监控日志文件中
lrd_stmt:赋予一个SQL语句用于处理
lrd_fetch:获取结果集中的下一行数据
40.什么是吞吐量?
客户端每秒从服务器接收到的数据,或系统服务器每秒能处理通过的交易数。一般随着虚拟用户数的增加,吞吐量也增加,说明网络带宽比较充足,反之,吐过随着虚拟用户数的增加,吞吐量比较平稳,呈直线状态,则说明网络带宽成为瓶颈,限制了数据传输。
41.场景设置有哪几种方法?
面向目标的场景设置和手动场景
42.客户交付一个性能测试项目,请阐述你的实施流程
测试设计阶段:
1) 了解被测系统的性能需求,定义测试目标与范围;
2) 了解系统的技术信息,如系统架构
3) 确定测试方案,进度安排,并制定测试计划,场景设置方案及需收集的测试数据
4) 同相关人员协商讨论测试方案
5) 准备测试收集模板,不同项目的性能测试,需收集的数据不同,针对性的制定一个模板更符
合需要
测试环境准备 :
1) 技术准备:选择性能测试工具,测试方案中涉及到的技术问题;测试数据的收集方案实现;
如:如何监控系统资源等;
2) 搭建测试环境
3) 创建初始数据:如虚拟用户使用的账号等;
测试执行阶段:
1) 录制脚本
2) 调试脚本
3) 执行场景;
4) 收集测试数据,并简单整理
测试分析阶段:
1) 分析测试数据
提交测试报告
43.请问您是如何得到性能测试需求?怎样针对需求设计、分析是否达到需求?
1)在查看需求文档,从中提取性能测试需求,与用户交流,了解实际使用情况。
2)结合业务信息设计操作场景总结出需测试的性能关键指标。
3)执行用例后根据提取关键性能指标来分析是否满足性能需求。
44.解释几个常用的性能指标的名称与具体含义。
1)事务:(全称:transaction),单位:个,即用户在准备进行一个操作到完成操作的过程
2)思考时间:(全称:thinktime),单位:秒,一般与事务组合使用,例如在A事务后或者在A事务前增加一个2秒的思考时间,即指每2秒钟运行一次A事务
3)集合点:(全称:rendezous),一般与事务组合使用,例如在A事务前增加一个集合点,且用户并发数为10用户并发,即指10用户每次均需完全到达这个集合点后,在一次性进行并发发起请求,在性能测试中,通常将未设置集合点的并发叫做广义并发(因系统处理能力有限,存在排队概念,因此会导致用户发起的请求顺序有先有后),将设置集合点的并发叫做狭义并发(即客户端一次性想服务器发起请求),一般,性能测试所采用的模式为广义并发模式。
4)事务响应时间:(全称:transaction response time),单位:秒。其主要作用为评估当前系统的响应时间的快慢。
5)事务TPS:(全称transaction per second),事务处理能力,单位:笔/秒,其主要作用为评估当前服务器的处理能力。
6)并发用户数:(全称:Running vusers),单位:个,其主要作用为用来评估当前服务器的负载压力。并发用户数的计算公式:事务响应时间*事务TPS≈并发用户数
7)吞吐量:(全称:throughput),单位:字节,即指客户端在向服务器端发起请求后,其服务器的返回信息。吞吐量的计算公式为:总事务TPS*总返回字节数*运行时间≈吞吐量。
8)点击数:(全称hits per second),单位;次/秒,即每秒客户端向服务器端发起的总请求数,其主要作用为用来评估当前服务器的负载压力。
9)通过事务数:单位:个,即系统在运行一段时间内其事务的总计完成事务数
10)失败事务数:单位:个,即系统在运行一段时间内其事务的总计完成失败事务数
11)事务通过率:即指系统在运行一段时间内其事务完成的成功率。其主要作为是用来评估当前系统的稳定运行处理能力。事务通过率的计算公式:成功事务数/成功事务数+失败事务数*100%
12)CPU资源利用率,即系统在运行一段时间内,其各相关服务器CPU的资源耗用情况
45.常见的性能测试方法有哪些?以及每类测试方法的目的是什么?
1)基准测试:确保测试环境无问题,初步评估每次只是单独运行一个交易时,当前系统的响应时间是否够快,各服务器的CPU、内存耗用是否合理;
2)单一交易并发测试:确保数据库不存在线程死锁等问题,评估在只是单独运行一个交易时,其系统的响应时间是否够快,各服务器的CPU、内存耗用是否合理。
3)混合场景测试:模拟真实生产场景,评估其系统各交易的响应时间是否够快,各服务器的CPU、内存是否合理。
4)浪涌测试场景:模拟高峰与低峰业务处理量,评估系统各服务器的CPU、内存耗用是否合理。 5)稳定性测试场景:模拟不间断运行系统,评估系统是否可高效不间断稳定运行。
6)容量测试场景:通过不间断逐步加大用户数或业务处理量,确定在特定环境下,预测其系统所能承载的最大用户并发数或最大的业务处理量,从而为项目组提供扩容依据。
46.如何发现数据库的相关问题?
1) 通过运行某些相应的已获取的SQL语句,判断是否由于数据库索引所导致的事务响应过长
的问题发生
2) 通过实时监控工具(nmon等)监控分析:
a) 在系统运行过程中CPU是否可稳定运行或CPU耗用过高; b) 在系统运行过程中其内存是否存在内存泄露等现象。
47.如何发现应用服务的相关问题?
1) 通过某些事务的运行,判断是否在应用代码层未进行调优导致事务响应事件过长 2) 通过实时监控工具(nmon等)监控分析:
a) 系统在运行过程其CPU是否稳定运行或CPU耗用是否过高 b) 在系统运行过程中其内存是否存在内存泄露现象
3) 打开应用相应日志,分析在运行过程中是否存在交易报错并获取错误原因查看是否由于代码
原因导致交易错误发生
48.假设在测试过程中发现某些事务的响应时间过长,但分析应用服务、数据库服务以及网络都属于正常现象,问题可能出现的原因 :
1) LR客户端机器是否已无法承载当前运行压力导致LR无法及时获取从服务端返回的信息
2) Think_time(即思考时间)是否已忽略
3) 确定当前被测系统架构,是否为在每次测试过程中清除缓存所导致
49.容量测试方法中为什么要以逐步递增的的方式进行
虚拟用户数随着负载时间的延长而增加,可以帮助确定系统响应时间减慢的准确时间点以及准确用户数
50.进行参数化的目的
1) 减少脚本的大小
2) 提供不同的值以提高执行脚本的能力,从而更加真实的模拟生产环境的数据
51. 哪个函数是用来截取虚拟用户脚本中的动态值?(手工关联)
Web_reg_save_param
52、 你如何识别系统瓶颈?
从TPS指标分析(即系统每秒处理可处理事务数)当前随着用户数的增长其系统每秒可处理的事务数是否也会增长
53、 think_time有什么用?
Think_time作用主要有以下几种:
1) 降低当前运行时压力,缓解对应用服务器所造成的压力 2) 模拟真实生产用户操作,考察对服务器所造成的影响
54、请在以下两个项目当中,选择一个,考虑如何进行用例设计:a.杯子 b.有弹簧的圆珠笔
a.杯子
需求测试:查看杯子使用说明书 界面测试:查看杯子外观
功能度:用水杯装水看漏不漏;水能不能被喝道 安全性:杯子有没有毒或细菌
可靠性:杯子从不同高度落下的损坏程度
可移植性:杯子在不同的地方、温度等环境下是否都可以正常使用 兼容性:杯子是否能够容纳果汁、白水、酒精、汽油等 易用性:杯子是否烫手、是否有防滑措施、是否方便饮用
用户文档:使用手册是否对杯子的用法、限制、使用条件等有详细描述
疲劳测试:将杯子盛上水(案例一)放24小时检查泄露时间和情况;盛上汽油(案例二)放24小时检查泄露时间和情况等
b.有弹簧的圆珠笔:
功能测试:圆珠笔按下是否能正常写字,写字太重会不会缩回去,继续按会不会弹回去 性能测试:圆珠心弹出弹回的快慢
负载测试:一直按,弹簧能接受多少次的升缩 兼容性测试:换其他的笔芯能不能行 强度测试:用力过度会怎么样
可恢复性测试:如果弹簧压久了,是否可恢复等等 GUI测试:笔的外观,拿笔的舒适性
安全性:考虑对笔芯的保护,是否对使用者造成的危害等