执行自动化测试

我们提供了自动化测试功能,但目前版本支持 mocha + chai 以及 TestNG + Assured 两种API测试框架,后续版本会逐步增加对其他自动化测试框架的支持。执行自动化测试需要如下几个步骤:

点击新建测试

自动化测试 - 图1

  • 点击此处选择应用
  • 点击进入创建测试步骤

选择测试实例

自动化测试 - 图2自动化测试 - 图3

  • 点击打开应用列表
此处只能选到测试类型的应用,关于如何创建应用请参考创建应用
  • 点击选择应用名称

  • 点击选择应用版本

  • 点击确定

  • 点击选择版本

  • 点击选择环境

  • 点击下一步

修改配置信息

自动化测试 - 图4

  • 在此编辑框内编辑配置信息,与默认值不同的配置会被标注高亮,如果有误,错误部分会红色高亮
  • 点击下一步

确认信息并执行

  • 配置测试类型,有两种测试类型可以选择,分别是立即执行定时执行,如果选择定时执行,则还需要配置如下参数:

自动化测试 - 图5

其中,开始时间重复间隔执行次数必填

  • 确认应用信息配置信息无误

  • 点击执行测试

查看测试结果

自动化测试 - 图6

  • 查看测试结果概要,包括运行状态环境执行方测试框架(目前仅支持mocha)、应用版本时长执行时间执行结果。若运行状态测试结果长期没有变化,请尝试刷新。

  • 运行结果 有3种,分别是:

    • 等待中
    • 完成
    • 失败
  • 测试结果 有4种,分别是:

    • 未执行
    • 全部通过
    • 部分通过
    • 失败
  • 点击下拉菜单,有4个选项:

自动化测试 - 图7

  • 查看日志:可以查看运行该自动化测试的容器的日志,通过日志进行错误定位和状态监控

自动化测试 - 图8

  • 重新执行:点击重新执行该测试,该测试的状态变为等待中并置顶

  • 测试循环:点击跳转到测试执行页,查看该测试对应的测试循环

TestNG 框架支持通过配置文件运行多 Test Suite 的模式,所以一次自动化执行可能对应多个测试循环。
  • 测试报告:点击查看测试结果报表

测试报告

mocah框架

自动化测试 - 图9

  • 测试用例通过与未通过数量比例统计(饼状图)
  • 本次自动化测试运行详情数据自动化测试 - 图10

  • 测试用例测试时长统计(柱状图),鼠标悬停在某一用例上可以显示该用例的名称和时长

  • 拖动滑块,可以调整柱状图的X轴长度,在用例数量很多时,可以通过调节X轴长度,只关注部分用例的执行情况
  • 显示用例执行详情,包括用例名称执行状态用时

TestNG框架

自动化测试 - 图11

TestNG框架的测试报告基于 ReporterNG 组件生成的页面报告进行重新设计,类原生TestNG报告。

  • 点击 总览 进行测试情况查看,可按层级展示测试类、方法的测试状态、分组、耗时、输入数据等内容。
  • 点击 日志 可以查看测试代码中通过 org.testng.Reporter 类输出的日志数据。
  • 点击 Suite 下拉框可以对报告根据测试Suite进行筛选。
  • 点击 Group 下拉框可以对报告根据测试Group进行筛选。