GOT Online 已支持批量测试分析

随着GOT Online在游戏团队中的大量普及，已经有越来越多的团队开始在同一个时间段、多台设备上进行批量性的性能测试，在节省人力的同时，尽可能地覆盖到更多测试场景。一个较为理想的使用场景是：游戏包编译后，通过自动化测试框架分别在大量测试设备真机上安装和自动测试；测试之后，性能数据将自动上传到UWA服务器解析，用户通过UWA网站查看报告。

这其中，游戏团队需解决的痛点如下：
1）批量测试的数据浩大，可能高至几十甚至上百份，逐一查看势必会花费大量时间，哪些设备上的哪些数据是存在性能问题的，我能否一键触达这些痛点？
2）除了性能测试之外，游戏测试过程中是否遇到了其他功能性问题，比如游戏崩溃、任务无法进行等，我该如何了解和排查？

基于以上需求，我们在GOT Online 中开发了“批量测试分析”这一功能，现已上线。

在Overview模式的报告中，点击“批量测试分析”，选择需要分析的数据，点击下方的“开始分析”。

很快，系统就能自动生成一张Excel数据表格。包含“测试概况总览"、“优化队列具体信息“、"性能问题严重机型"、"测试失败具体信息”和“性能报告”5个Sheet，下面逐一介绍。

（1）测试概况总览
该Sheet主要用于查看整体的测试效果。下图例子中，适配通过率为40%，即在分析的10次测试中，4 次性能通过，5 次性能不通过，1 次异常退出(崩溃)。通过这些数据，我们可以让研发团队快速掌握项目在测试机器上的适配情况。

（2）总结详细的优化队列
报告将普遍出现的性能问题详细展示，这样可以让研发团队清晰掌握当前项目的重要性能瓶颈、细致到哪个模块甚至哪些设备上。通过批量分析，优化任务的优先级推荐将更有意义。

（3）具体性能瓶颈展示
如下图所示，数据可以精确到具体设备、具体测试案例和具体性能模块。通过最后的报告链接，研发团队可以进一步进行查看。

（4）崩溃测试展示
如果测试案例中有出现崩溃问题，则在报告中可以详细显示出崩溃测试中的具体信息，用户可以通过表格中的设备信息、测试时间、崩溃时已运行时间和内存占用等重要线索，来协助定位崩溃问题。

（5）性能数据概览
针对FPS、内存、能耗、温度和网络传输等重要宏观信息，报告中罗列出测试用例的相关分布，如下图所示。同时，我们还可以针对项目的场景性能提供直观的性能分析，从而让用户了解项目中哪些场景会存在性能瓶颈。

以上，则为“批量测试分析”功能的具体说明。它非常适合“GOT Online + 自动化批量测试” 这样的测试模式，相较于目前市面上的兼容适配性测试，它可以给开发者带来非常有针对性的性能瓶颈分析。同时，在测试过程中可以记录到崩溃问题的发生，这也是研发团队在自动化测试中非常关注的一点。

本项功能的适用条件为：针对8月14日及以后的GOT Online测试数据，只要单份测试数据时长在3分钟以上，并且拥有至少5份数据，那么大家就可以使用“批量测试分析”功能啦。

同时，需要说明的是，基于Poco的自动化测试脚本在使用GOT Online的Overview模式时，可能会造成CPU的额外开销，请研发团队注意对于Poco自动化脚本自身的优化。