XTS认证子系统

简介

XTS是OpenHarmony生态认证测试套件的集合，当前包括acts（application compatibility test suite）应用兼容性测试套，后续会拓展dcts（device compatibility test suite）设备兼容性测试套等。

test/xts仓当前包括acts与tools软件包：

• acts，存放acts相关测试用例源码与配置文件，其目的是帮助终端设备厂商尽早发现软件与OpenHarmony的不兼容性，确保软件在整个开发过程中满足OpenHarmony的兼容性要求。
• tools，提供acts编写与编译所依赖的测试用例开发框架。

目录

test/xts源代码目录结构：

├── acts

│ ├── BUILD.gn 测试用例编译配置

│ └── A测试子系统_lite A测试子系统测试用例源码

│ └── B测试子系统_lite B测试子系统测试用例源码

└── tools

│ └── build 测试用例编译相关的模板与脚本

│ └── hcpptest 智慧视觉类设备（Ipcamera）测试用例开发框架源码

│ └── hctest 联接类模组测试用例开发框架源码

│ └── BUILD.gn 编译配置

│ └── build.sh 编译入口

约束

联接类模组acts用例开发语言是C，智慧视觉类设备（Ipcamera）acts用例开发语言是C++。

编写联接类模组acts测试用例

当前使用的测试框架是hctest测试框架。

hctest测试框架支持使用C语言编写测试用例，在联接类模组上执行，是在开源测试框架unity的基础上进行增强和适配。

1，用例目录规范：测试用例存储到test/xts/acts仓中。

├── acts

│ ├── BUILD.gn

│ └──测试子系统_lite

│ │ └── 测试模块_hal

│ │ │ └── BUILD.gn

│ │ │ └── src 存放测试用例源码

2，src目录下用例编写样例：

（1）引用测试框架

#include "hctest.h"

（2）使用宏定义LITE_TEST_SUIT定义子系统、模块、测试套件名称

/**  
* @brief  register a test suit named "IntTestSuite"  
* @param  test subsystem name  
* @param  example module name  
* @param  IntTestSuite test suit name  
*/
LITE_TEST_SUIT(test, example, IntTestSuite);

（3）定义Setup与TearDown

命名方式：测试套件名称+Setup，测试套件名称+TearDown。

Setup与TearDown必须存在，可以为空函数。

（4）使用宏定义LITE_TEST_CASE写测试用例

包括三个参数：测试套件名称，测试用例名称，用例级别。

用例级别取值为如下内容之一:

“Level0”,“Level1”,“Level2”,“Level3”，“Level4”。

LITE_TEST_CASE(IntTestSuite, TestCase001, Level0) 
{  
  //do something 
};

用例级别说明：

（5）使用宏定义 RUN_TEST_SUITE注册测试套件；

RUN_TEST_SUITE(IntTestSuite);

3，测试模块的配置文件样例：（BUILD.gn）

每个测试模块目录下新建BUILD.gn编译文件，用于指定编译后静态库的名称、依赖的头文件、依赖的库等；具体写法如下：

import("//test/xts/tools/build/suite_lite.gni")
hctest_suite("ActsDemoTest") {
    suite_name = "acts"
    sources = [
        "src/test_demo.c",
    ]
    include_dirs = [ ]
    cflags = [ "-Wno-error" ]
}

4，acts下BUILD.gn增加编译选项

如何将编写的测试代码加入到版本编译中，需要将测试模块加入到acts目录下的编译脚本中，编译脚本为：test/xts/acts/BUILD.gn。

lite_component("acts") {  
    ...
    if(board_name == "liteos_riscv") {
        features += [    
            ...
            "//xts/acts/测试子系统_lite/测试模块_hal:ActsDemoTest"
        ]    
    }
}

5，测试套件编译命令

1) 命令：python build.py wifiiot -b debug

2) 输出：out/wifiiot

备注：联接类模组acts测试编译中间件为静态库，最终会链接到版本镜像中 ：Hi3861_wifiiot_app_allinone.bin；

编写智慧视觉类设备（Ipcamera）acts测试用例

hcpptest测试框架是在开源的googletest测试框架的基础上进行的增强和适配。

1，用例目录规范：测试用例存储到test/xts/acts仓中。

├── acts

│ ├── BUILD.gn

│ └──测试子系统_lite

│ │ └── 测试模块_posix

│ │ │ └── BUILD.gn

│ │ │ └── src 存放测试用例源码

2，测试模块src下用例编写样例：

（1）引用测试框架：

需要引用gtest.h 如：#include “gtest/gtest.h”

#include "gtest/gtest.h"

（2）定义Setup与TearDown

class TestSuite: public testing::Test {
protected:
// SetUpTestCase：测试套预置动作，在第一个TestCase之前执行
static void SetUpTestCase(void){
}
// TearDownTestCase：测试套清理动作，在最后一个TestCase之后执行
static void TearDownTestCase(void){
}
// 用例的预置动作
virtual void SetUp()
{
}
// 用例的清理动作
virtual void TearDown()
{
}
};

（3）使用宏定义HWTEST或HWTEST_F写测试用例

普通测试用例的定义：HWTEST（测试套名称， 测试用例名称， 用例标注）。

包含SetUp和TearDown的测试用例的定义 ：HWTEST_F（测试套名称， 测试用例名称，用例标注）。

宏定义包括三个参数：测试套件名称，测试用例名称，用例级别。

用例级别取值为如下内容之一:

“Level0”,“Level1”,“Level2”,“Level3”，“Level4”。

HWTEST_F(TestSuite, TestCase_0001, Level0) {
// do something
}

用例级别说明：

3，测试模块下用例配置文件样例：（BUILD.gn）

每个测试模块目录下新建BUILD.gn编译文件，用于指定编译后可执行文件的名称、依赖的头文件、依赖的库等；具体写法如下。每个测试模块将独立编译成.bin可执行文件， 该文件可直接mount到单板上进行测试。

举例：

import("//test/xts/tools/build/suite_lite.gni")
hcpptest_suite("ActsDemoTest") {
    suite_name = "acts"
    sources = [
        "src/TestDemo.cpp"
    ]
    include_dirs = [
        "src",
        ...
    ]
    deps = [
        ...
    ]
    cflags = [ "-Wno-error" ]
}

4，acts目录下增加编译选项（BUILD.gn）

如何将编写的测试代码加入到版本编译中，需要将测试模块加入到acts目录下的编译脚本中，编译脚本为：test/xts/acts/BUILD.gn。

 lite_component("acts") {  
...
else if(board_name == "liteos_a") {
        features += [
            ...
            "//xts/acts/测试子系统_lite/测试模块_posix:ActsDemoTest"
        ]
    }
}

5，测试套件编译命令

1.1 hi3518ev300 :

1）命令：python build.py ipcamera_hi3518ev300 -b debug

2）输出：out/ipcamera_hi3518ev300

1.2 hi3516dv300：

1) 命令：python build.py ipcamera_hi3516dv300 -b debug

2）输出：out/ipcamera_hi3516dv300

备注：智慧视觉类设备（Ipcamera）acts独立编译成.bin可执行文件， 该文件可直接mount到单板上进行测试。

执行联接类模组acts测试用例

1，获取测试大包：

请在如下目录获取版本镜像，归档目录：out\wifiiot\Hi3861_wifiiot_app_allinone.bin。

备注：判断当前版本镜像是否集成acts测试套件方法：在map文件中查看对应.a是否被编译即可，out\wifiiot\Hi3861_wifiiot_app.map。

2，版本镜像烧录进开发板

3，测试步骤：

（1）使用串口工具登录开发板，并保存串口打印信息；

（2）重启设备，查看串口日志；

4，测试结果分析指导：

（1）基于串口打印日志进行分析；

（2）每个测试套件执行以：Start to run test suite:开始，以xx Tests xx Failures xx Ignored结束。

执行智慧视觉类设备（Ipcamera）acts测试用例

目前的用例执行采用nfs共享的方式，mount到单板去执行；

1，环境搭建

1. 使用有限网线或无线将Ipcamera开发板与PC进行连接。
2. Ipcamera开发板配置IP、子网掩码、网关，确保Ipcamera开发板与PC处于同一个网段。
3. PC安装nfs服务器并完成注册，启动nfs服务。

4. Ipcamera开发板配置mount命令，确保Ipcamera开发板可以访问PC端的nfs共享文件。

   格式：mount [nfs服务器IP]:[/nfs共享目录] [/Ipcamera开发板目录] nfs

   举例：

   mount 192.168.1.10:/nfs /nfs nfs

2，用例执行

（1）基于串口打印日志进行分析；

（2）每个测试套件执行以./测试模块.bin 触发用例执行。

涉及仓

xts_acts

xts_tools_lite