XTS认证子系统

简介

XTS是OpenHarmony生态认证测试套件的集合,当前包括acts(application compatibility test suite)应用兼容性测试套,后续会拓展dcts(device compatibility test suite)设备兼容性测试套等。

test/xts仓当前包括acts与tools软件包:

  • acts,存放acts相关测试用例源码与配置文件,其目的是帮助终端设备厂商尽早发现软件与OpenHarmony的不兼容性,确保软件在整个开发过程中满足OpenHarmony的兼容性要求。
  • tools,提供acts编写与编译所依赖的测试用例开发框架。

目录

test/xts源代码目录结构:

├── acts

│ ├── BUILD.gn 测试用例编译配置

│ └── A测试子系统_lite A测试子系统测试用例源码

│ └── B测试子系统_lite B测试子系统测试用例源码

└── tools

│ └── build 测试用例编译相关的模板与脚本

│ └── hcpptest 智慧视觉类设备(Ipcamera)测试用例开发框架源码

│ └── hctest 联接类模组测试用例开发框架源码

│ └── BUILD.gn 编译配置

│ └── build.sh 编译入口

约束

联接类模组acts用例开发语言是C,智慧视觉类设备(Ipcamera)acts用例开发语言是C++。

编写联接类模组acts测试用例

当前使用的测试框架是hctest测试框架。

hctest测试框架支持使用C语言编写测试用例,在联接类模组上执行,是在开源测试框架unity的基础上进行增强和适配。

1,用例目录规范:测试用例存储到test/xts/acts仓中。

├── acts

│ ├── BUILD.gn

│ └──测试子系统_lite

│ │ └── 测试模块_hal

│ │ │ └── BUILD.gn

│ │ │ └── src 存放测试用例源码

2,src目录下用例编写样例:

(1)引用测试框架

  1. #include"hctest.h"

(2)使用宏定义LITE_TEST_SUIT定义子系统、模块、测试套件名称

  1. /**
  2. * @brief register a test suit named "IntTestSuite"
  3. * @param test subsystem name
  4. * @param example module name
  5. * @param IntTestSuite test suit name
  6. */
  7. LITE_TEST_SUIT(test, example,IntTestSuite);

(3)定义Setup与TearDown

命名方式:测试套件名称+Setup,测试套件名称+TearDown。

Setup与TearDown必须存在,可以为空函数。

(4)使用宏定义LITE_TEST_CASE写测试用例

包括三个参数:测试套件名称,测试用例名称,用例级别。

用例级别取值为如下内容之一:

“Level0”,“Level1”,“Level2”,“Level3”,“Level4”。

  1. LITE_TEST_CASE(IntTestSuite,TestCase001,Level0)
  2. {
  3. //do something
  4. };

用例级别说明:

级别名称

基本定义

测试范围

Level0

冒烟

验证关键功能点基本功能/最基本DFX属性在最常见输入下的表现,通过表示功能基本可运行。

Level1

基本

验证各功能点基本功能/基本DFX属性在常见输入下的表现,通过表示功能基本可测试。

Level2

重要

验证各功能点的基本功能/基本DFX属性在常规输入/常见异常情况下的表现,通过表示功能基本正常可用,可开展Beta。

Level3

一般

验证各功能点的全部功能/全部DFX属性在各种常规/非常规输入组合下,或各种正常/异常预置条件组合下的表现。

Level4

生僻

验证关键功能点在极端异常预置条件下、用户难以触及的异常输入组合下的表现。

(5)使用宏定义 RUN_TEST_SUITE注册测试套件;

  1. RUN_TEST_SUITE(IntTestSuite);

3,测试模块的配置文件样例:(BUILD.gn)

每个测试模块目录下新建BUILD.gn编译文件,用于指定编译后静态库的名称、依赖的头文件、依赖的库等;具体写法如下:

  1. import("//test/xts/tools/build/suite_lite.gni")
  2. hctest_suite("ActsDemoTest"){
  3. suite_name ="acts"
  4. sources =[
  5. "src/test_demo.c",
  6. ]
  7. include_dirs =[]
  8. cflags =["-Wno-error"]
  9. }

4,acts下BUILD.gn增加编译选项

如何将编写的测试代码加入到版本编译中,需要将测试模块加入到acts目录下的编译脚本中,编译脚本为:test/xts/acts/BUILD.gn。

  1. lite_component("acts"){
  2. ...
  3. if(board_name =="liteos_riscv"){
  4. features +=[
  5. ...
  6. "//xts/acts/测试子系统_lite/测试模块_hal:ActsDemoTest"
  7. ]
  8. }
  9. }

5,测试套件编译命令

1) 命令:python build.py wifiiot -b debug

2) 输出:out/wifiiot

备注:联接类模组acts测试编译中间件为静态库,最终会链接到版本镜像中 :Hi3861_wifiiot_app_allinone.bin;

编写智慧视觉类设备(Ipcamera)acts测试用例

hcpptest测试框架是在开源的googletest测试框架的基础上进行的增强和适配。

1,用例目录规范:测试用例存储到test/xts/acts仓中。

├── acts

│ ├── BUILD.gn

│ └──测试子系统_lite

│ │ └── 测试模块_posix

│ │ │ └── BUILD.gn

│ │ │ └── src 存放测试用例源码

2,测试模块src下用例编写样例:

(1)引用测试框架:

需要引用gtest.h 如:#include “gtest/gtest.h”

  1. #include"gtest/gtest.h"

(2)定义Setup与TearDown

  1. classTestSuite:public testing::Test{
  2. protected:
  3. // SetUpTestCase:测试套预置动作,在第一个TestCase之前执行
  4. staticvoidSetUpTestCase(void){
  5. }
  6. // TearDownTestCase:测试套清理动作,在最后一个TestCase之后执行
  7. staticvoidTearDownTestCase(void){
  8. }
  9. // 用例的预置动作
  10. virtualvoidSetUp()
  11. {
  12. }
  13. // 用例的清理动作
  14. virtualvoidTearDown()
  15. {
  16. }
  17. };

(3)使用宏定义HWTEST或HWTEST_F写测试用例

普通测试用例的定义:HWTEST(测试套名称, 测试用例名称, 用例标注)。

包含SetUp和TearDown的测试用例的定义 :HWTEST_F(测试套名称, 测试用例名称,用例标注)。

宏定义包括三个参数:测试套件名称,测试用例名称,用例级别。

用例级别取值为如下内容之一:

“Level0”,“Level1”,“Level2”,“Level3”,“Level4”。

  1. HWTEST_F(TestSuite,TestCase_0001,Level0){
  2. // do something
  3. }

用例级别说明:

级别名称

基本定义

测试范围

Level0

冒烟

验证关键功能点基本功能/最基本DFX属性在最常见输入下的表现,通过表示功能基本可运行。

Level1

基本

验证各功能点基本功能/基本DFX属性在常见输入下的表现,通过表示功能基本可测试。

Level2

重要

验证各功能点的基本功能/基本DFX属性在常规输入/常见异常情况下的表现,通过表示功能基本正常可用,可开展Beta。

Level3

一般

验证各功能点的全部功能/全部DFX属性在各种常规/非常规输入组合下,或各种正常/异常预置条件组合下的表现。

Level4

生僻

验证关键功能点在极端异常预置条件下、用户难以触及的异常输入组合下的表现。

3,测试模块下用例配置文件样例:(BUILD.gn)

每个测试模块目录下新建BUILD.gn编译文件,用于指定编译后可执行文件的名称、依赖的头文件、依赖的库等;具体写法如下。每个测试模块将独立编译成.bin可执行文件, 该文件可直接mount到单板上进行测试。

举例:

  1. import("//test/xts/tools/build/suite_lite.gni")
  2. hcpptest_suite("ActsDemoTest"){
  3. suite_name ="acts"
  4. sources =[
  5. "src/TestDemo.cpp"
  6. ]
  7. include_dirs =[
  8. "src",
  9. ...
  10. ]
  11. deps =[
  12. ...
  13. ]
  14. cflags =["-Wno-error"]
  15. }

4,acts目录下增加编译选项(BUILD.gn)

如何将编写的测试代码加入到版本编译中,需要将测试模块加入到acts目录下的编译脚本中,编译脚本为:test/xts/acts/BUILD.gn。

  1. lite_component("acts"){
  2. ...
  3. elseif(board_name =="liteos_a"){
  4. features +=[
  5. ...
  6. "//xts/acts/测试子系统_lite/测试模块_posix:ActsDemoTest"
  7. ]
  8. }
  9. }

5,测试套件编译命令

1.1 hi3518ev300 :

1)命令:python build.py ipcamera_hi3518ev300 -b debug

2)输出:out/ipcamera_hi3518ev300

1.2 hi3516dv300:

1) 命令:python build.py ipcamera_hi3516dv300 -b debug

2)输出:out/ipcamera_hi3516dv300

备注:智慧视觉类设备(Ipcamera)acts独立编译成.bin可执行文件, 该文件可直接mount到单板上进行测试。

执行联接类模组acts测试用例

1,获取测试大包:

请在如下目录获取版本镜像,归档目录:out\wifiiot\Hi3861_wifiiot_app_allinone.bin。

备注:判断当前版本镜像是否集成acts测试套件方法:在map文件中查看对应.a是否被编译即可,out\wifiiot\Hi3861_wifiiot_app.map。

2,版本镜像烧录进开发板

3,测试步骤:

(1)使用串口工具登录开发板,并保存串口打印信息;

(2)重启设备,查看串口日志;

4,测试结果分析指导:

(1)基于串口打印日志进行分析;

(2)每个测试套件执行以:Start to run test suite:开始,以xx Tests xx Failures xx Ignored结束。

执行智慧视觉类设备(Ipcamera)acts测试用例

目前的用例执行采用nfs共享的方式,mount到单板去执行;

1,环境搭建

  1. 使用有限网线或无线将Ipcamera开发板与PC进行连接。
  2. Ipcamera开发板配置IP、子网掩码、网关,确保Ipcamera开发板与PC处于同一个网段。
  3. PC安装nfs服务器并完成注册,启动nfs服务。
  4. Ipcamera开发板配置mount命令,确保Ipcamera开发板可以访问PC端的nfs共享文件。

    格式:mount [nfs服务器IP]:[/nfs共享目录] [/Ipcamera开发板目录] nfs

    举例:

    1. mount 192.168.1.10:/nfs /nfs nfs

2,用例执行

(1)基于串口打印日志进行分析;

(2)每个测试套件执行以./测试模块.bin 触发用例执行。

涉及仓

xts_acts

xts_tools_lite