15.5 移植测试

现在，来讨论如何将测试从引用构建移植到CMake。

准备工作

如果移植的项目包含测试目标，或任何形式的自动化测试，以及测试脚本。第一步，运行传统的测试步骤，并记录所使用的命令。对于Vim项目，可以从src/testdir/Makefile开始。在src/testdir/Makefile和测试脚本中的一些对于测试的定义，我们将在src/testdir/CMakeLists.txt中进行相应的定义。所以，我们必须在src/CMakeLists.txt中引用它:

  1. add_subdirectory(testdir)

处理src/CMakeLists.txt之前，我们还应该在主CMakeLists.txt中启用测试:

  1. # enable the test target
  2. enable_testing()
  4. # process src/CMakeLists.txt in its own scope
  5. add_subdirectory(src)

目前为止，使用add_test填充src/testdir/CMakeLists.txt之前，测试目标为空。在add_test中指定要运行的测试名称和命令。该命令可以用任何语言编写。CMake的关键部分是，如果测试成功，脚本返回零；如果测试失败，脚本返回非零。对于Vim，我们需要多步骤测试，这将在下一节中讨论。

实现多步测试

在src/testdir/Makefile的目标表明，Vim代码运行测试多步测试：

  1. Vim脚本可执行测试流程，产生一个输出文件
  2. 输出文件是与参考文件进行比，,如果这些文件相同，测试成功
  3. 删除临时文件

由于add_test只能执行一个命令，因此无法以可移植的方式将其放到单个add_test中。一种解决方案是在Python脚本中定义测试步骤，并使用一些参数执行Python脚本。这里提供的另一种选择，也是跨平台的，在单独的CMake脚本中定义测试步骤，并使用add_test执行这个脚本。我们将在src/testdir/test.cmake中定义测试步骤:

  1. function(execute_test _vim_executable _working_dir _test_script)
  2.   # generates test.out
  3.   execute_process(
  4.     COMMAND ${_vim_executable} -f -u unix.vim -U NONE --noplugin --not-a-term -s dotest.in ${_test_script}.in
  5.     WORKING_DIRECTORY ${_working_dir}
  6.     )
  8.   # compares test*.ok and test.out
  9.   execute_process(
  10.     COMMAND ${CMAKE_COMMAND} -E compare_files ${_test_script}.ok test.out
  11.     WORKING_DIRECTORY ${_working_dir}
  12.     RESULT_VARIABLE files_differ
  13.     OUTPUT_QUIET
  14.     ERROR_QUIET
  15.     )
  17.   # removes leftovers
  18.   file(REMOVE ${_working_dir}/Xdotest)
  20.   # we let the test fail if the files differ
  21.   if(files_differ)
  22.       message(SEND_ERROR "test ${_test_script} failed")
  23.   endif()
  24. endfunction()
  26. execute_test(${VIM_EXECUTABLE} ${WORKING_DIR} ${TEST_SCRIPT})

同样，我们选择函数而不是宏，为的是使得变量不会超出函数作用域。它将调用execute_test函数，处理这个脚本。但是，我们必须确保${VIM_EXECUTABLE}、${WORKING_DIR}和${TEST_SCRIPT}是在外部定义。src/testdir/CMakeLists.txt中定义:

  1. add_test(
  2.   NAME
  3.       test1
  4.   COMMAND
  5.     ${CMAKE_COMMAND} -D VIM_EXECUTABLE=$<TARGET_FILE:vim>
  6.     -D WORKING_DIR=${CMAKE_CURRENT_LIST_DIR}
  7.     -D TEST_SCRIPT=test1
  8.     -P ${CMAKE_CURRENT_LIST_DIR}/test.cmake
  9.   WORKING_DIRECTORY
  10.       ${PROJECT_BINARY_DIR}
  11.   )

Vim项目有很多测试，但是在这个例子中，我们只移植了一个(test1)。

测试建议

对于移植测试，我们可以给出至少两个建议。

  1. 要确保测试并不总是报告成功，如果破坏了代码或修改了验证数据，请验证测试是否失败。
  2. 添加测试的成本估算，以便在并行运行时，首先启动较长的测试，以最小化总测试时间。