GOT Online 已支持批量测试分析

GOT Online 已支持批量测试分析

随着GOT Online在游戏团队中的大量普及,已经有越来越多的团队开始在同一个时间段、多台设备上进行批量性的性能测试,在节省人力的同时,尽可能地覆盖到更多测试场景。一个较为理想的使用场景是:游戏包编译后,通过自动化测试框架分别在大量测试设备真机上安装和自动测试;测试之后,性能数据将自动上传到UWA服务器解析,用户通过UWA网站查看报告。

这其中,游戏团队需解决的痛点如下:
1)批量测试的数据浩大,可能高至几十甚至上百份,逐一查看势必会花费大量时间,哪些设备上的哪些数据是存在性能问题的,我能否一键触达这些痛点?
2)除了性能测试之外,游戏测试过程中是否遇到了其他功能性问题,比如游戏崩溃、任务无法进行等,我该如何了解和排查?

基于以上需求,我们在GOT Online 中开发了“批量测试分析”这一功能,现已上线

在Overview模式的报告中,点击“批量测试分析”,选择需要分析的数据,点击下方的“开始分析”。

很快,系统就能自动生成一张Excel数据表格。包含“测试概况总览"、“优化队列具体信息“、"性能问题严重机型"、"测试失败具体信息”和“性能报告”5个Sheet,下面逐一介绍。

(1)测试概况总览
该Sheet主要用于查看整体的测试效果。下图例子中,适配通过率为40%,即在分析的10次测试中,4 次性能通过,5 次性能不通过,1 次异常退出(崩溃)。通过这些数据,我们可以让研发团队快速掌握项目在测试机器上的适配情况。

(2)总结详细的优化队列
报告将普遍出现的性能问题详细展示,这样可以让研发团队清晰掌握当前项目的重要性能瓶颈、细致到哪个模块甚至哪些设备上。通过批量分析,优化任务的优先级推荐将更有意义。

(3)具体性能瓶颈展示
如下图所示,数据可以精确到具体设备、具体测试案例和具体性能模块。通过最后的报告链接,研发团队可以进一步进行查看。

(4)崩溃测试展示
如果测试案例中有出现崩溃问题,则在报告中可以详细显示出崩溃测试中的具体信息,用户可以通过表格中的设备信息、测试时间、崩溃时已运行时间和内存占用等重要线索,来协助定位崩溃问题。

(5)性能数据概览
针对FPS、内存、能耗、温度和网络传输等重要宏观信息,报告中罗列出测试用例的相关分布,如下图所示。同时,我们还可以针对项目的场景性能提供直观的性能分析,从而让用户了解项目中哪些场景会存在性能瓶颈。

以上,则为“批量测试分析”功能的具体说明。它非常适合“GOT Online + 自动化批量测试” 这样的测试模式,相较于目前市面上的兼容适配性测试,它可以给开发者带来非常有针对性的性能瓶颈分析。同时,在测试过程中可以记录到崩溃问题的发生,这也是研发团队在自动化测试中非常关注的一点。

本项功能的适用条件为:针对8月14日及以后的GOT Online测试数据,只要单份测试数据时长在3分钟以上,并且拥有至少5份数据,那么大家就可以使用“批量测试分析”功能啦。

同时,需要说明的是,基于Poco的自动化测试脚本在使用GOT Online的Overview模式时,可能会造成CPU的额外开销,请研发团队注意对于Poco自动化脚本自身的优化。

还不了解got online这个黑科技? 一分钟了解它!