基准测试#

设置#

首先安装 Archery 工具来运行基准测试套件。

运行基准测试套件#

可以使用 benchmark run 子命令运行基准测试套件。

# Run benchmarks in the current git workspace
archery benchmark run
# Storing the results in a file
archery benchmark run --output=run.json

有时，需要传递自定义 CMake 标志，例如：

export CC=clang-8 CXX=clang++8
archery benchmark run --cmake-extras="-DARROW_SIMD_LEVEL=NONE"

此外，可以指定完整的 CMake 构建目录。

archery benchmark run $HOME/arrow/cpp/release-build

比较#

基准测试的目标之一是检测性能下降。为此，archery 通过 benchmark diff 子命令实现了基准测试比较功能。

在默认调用中，它将比较当前源代码（在 git 中称为当前工作区）与本地主分支。

archery --quiet benchmark diff --benchmark-filter=FloatParsing
-----------------------------------------------------------------------------------
Non-regressions: (1)
-----------------------------------------------------------------------------------
               benchmark            baseline           contender  change % counters
 FloatParsing<FloatType>  105.983M items/sec  105.983M items/sec       0.0       {}

------------------------------------------------------------------------------------
Regressions: (1)
------------------------------------------------------------------------------------
                benchmark            baseline           contender  change % counters
 FloatParsing<DoubleType>  209.941M items/sec  109.941M items/sec   -47.632       {}

有关更多信息，请调用 archery benchmark diff --help 命令以获取多个调用示例。

高效迭代#

由于构建时间和运行时间长，基准测试开发的迭代可能是一个繁琐的过程。可以使用 archery benchmark diff 的多个技巧来减少这种开销。

首先，benchmark 命令支持比较现有的构建目录。这可以与 --preserve 标志配对使用，以避免从零开始重建源代码。

# First invocation clone and checkouts in a temporary directory. The
# directory is preserved with --preserve
archery benchmark diff --preserve

# Modify C++ sources

# Re-run benchmark in the previously created build directory.
archery benchmark diff /tmp/arrow-bench*/{WORKSPACE,master}/build

其次，基准测试运行结果可以保存在 json 文件中。这也可以避免重建源代码，还可以避免执行（有时）繁重的基准测试。这种技术可以用作简单的缓存。

# Run the benchmarks on a given commit and save the result
archery benchmark run --output=run-head-1.json HEAD~1
# Compare the previous captured result with HEAD
archery benchmark diff HEAD run-head-1.json

第三，benchmark 命令支持过滤套件（--suite-filter）和基准测试（--benchmark-filter），这两个选项都支持正则表达式。

# Taking over a previous run, but only filtering for benchmarks matching
# `Kernel` and suite matching `compute-aggregate`.
archery benchmark diff                                       \
  --suite-filter=compute-aggregate --benchmark-filter=Kernel \
  /tmp/arrow-bench*/{WORKSPACE,master}/build

可以为竞争者和/或基准指定一个 JSON 文件（由 archery benchmark run 生成），而不是在比较时重新运行基准测试。

archery benchmark run --output=baseline.json $HOME/arrow/cpp/release-build
git checkout some-feature
archery benchmark run --output=contender.json $HOME/arrow/cpp/release-build
archery benchmark diff contender.json baseline.json

回归检测#

编写基准测试#

  1. benchmark 命令将默认使用正则表达式 ^Regression 过滤基准测试。这样，默认情况下不会运行所有基准测试。因此，如果希望自动验证基准测试的回归，则名称必须匹配。

  2. benchmark 命令将使用 --benchmark_repetitions=K 选项运行以获得统计显着性。因此，基准测试不应覆盖（C++）基准测试的参数定义中的重复次数。

  3. 由于#2，基准测试应该运行得足够快。通常，当输入不适合内存 (L2/L3) 时，基准测试将受内存限制而不是 CPU 限制。在这种情况下，可以缩小输入大小。

  4. 默认情况下，谷歌的基准测试库将使用 cputime 指标，该指标是进程所有线程在 CPU 上运行时长的总和。与实时（即 wall clock 时间，例如 end_time - start_time 之间的差）相反。在单线程模型中，cputime 更可取，因为它受上下文切换的影响较小。在多线程场景中，cputime 将给出不正确的结果，因为它会因线程数量而膨胀，并且可能与实时相差甚远。因此，如果基准测试是多线程的，最好使用 SetRealtime()，请参阅此 示例。

脚本#

archery 是一个带有命令行前端的 Python 库。可以导入该库来自动执行某些任务。

由于构建输出，命令行界面的一些调用可能非常冗长。可以使用 --quiet 选项或 --output=<file> 选项来控制/避免这种情况，例如：

archery benchmark diff --benchmark-filter=Kernel --output=compare.json ...