基准测试#

设置#

首先安装 Archery 实用程序来运行基准测试套件。

运行基准测试套件#

基准测试套件可以使用 benchmark run 子命令运行。

# Run benchmarks in the current git workspace
archery benchmark run
# Storing the results in a file
archery benchmark run --output=run.json

有时需要传递自定义 CMake 标志，例如

export CC=clang-8 CXX=clang++8
archery benchmark run --cmake-extras="-DARROW_SIMD_LEVEL=NONE"

此外，可以指定完整的 CMake 构建目录。

archery benchmark run $HOME/arrow/cpp/release-build

比较#

基准测试的一个目标是检测性能回归。为此，archery 通过 benchmark diff 子命令实现基准测试比较功能。

在默认调用中，它会将当前源代码（在 git 中称为当前工作区）与本地主分支进行比较

archery --quiet benchmark diff --benchmark-filter=FloatParsing
-----------------------------------------------------------------------------------
Non-regressions: (1)
-----------------------------------------------------------------------------------
               benchmark            baseline           contender  change % counters
 FloatParsing<FloatType>  105.983M items/sec  105.983M items/sec       0.0       {}

------------------------------------------------------------------------------------
Regressions: (1)
------------------------------------------------------------------------------------
                benchmark            baseline           contender  change % counters
 FloatParsing<DoubleType>  209.941M items/sec  109.941M items/sec   -47.632       {}

有关更多信息，请调用 archery benchmark diff --help 命令以获取多个调用示例。

有效迭代#

由于构建时间长和运行时间长，使用基准测试开发进行迭代可能是一个繁琐的过程。可以使用 archery benchmark diff 中的多个技巧来减少此开销。

首先，基准测试命令支持比较现有的构建目录，这可以与 --preserve 标志配对以避免从零开始重建源代码。

# First invocation clone and checkouts in a temporary directory. The
# directory is preserved with --preserve
archery benchmark diff --preserve

# Modify C++ sources

# Re-run benchmark in the previously created build directory.
archery benchmark diff /tmp/arrow-bench*/{WORKSPACE,master}/build

其次，基准测试运行结果可以保存在一个 json 文件中。这也避免了重建源代码，但也避免了执行（有时很重的）基准测试。这种技术可以用作穷人的缓存。

# Run the benchmarks on a given commit and save the result
archery benchmark run --output=run-head-1.json HEAD~1
# Compare the previous captured result with HEAD
archery benchmark diff HEAD run-head-1.json

第三，基准测试命令支持过滤套件（--suite-filter）和基准测试（--benchmark-filter），这两个选项都支持正则表达式。

# Taking over a previous run, but only filtering for benchmarks matching
# `Kernel` and suite matching `compute-aggregate`.
archery benchmark diff                                       \
  --suite-filter=compute-aggregate --benchmark-filter=Kernel \
  /tmp/arrow-bench*/{WORKSPACE,master}/build

与其在比较时重新运行基准测试，不如为竞争者和/或基线指定一个 JSON 文件（由 archery benchmark run 生成）。

archery benchmark run --output=baseline.json $HOME/arrow/cpp/release-build
git checkout some-feature
archery benchmark run --output=contender.json $HOME/arrow/cpp/release-build
archery benchmark diff contender.json baseline.json

回归检测#

编写基准测试#

基准测试命令将（默认情况下）使用正则表达式 ^Regression 过滤基准测试。这样，默认情况下不会运行所有基准测试。因此，如果您希望您的基准测试自动验证回归，则名称必须匹配。
基准测试命令将使用 --benchmark_repetitions=K 选项运行，以实现统计显着性。因此，基准测试不应该覆盖（C++）基准测试参数定义中的重复次数。
由于 #2，基准测试的运行速度应该足够快。通常，当输入不适合内存（L2/L3）时，基准测试将受内存限制，而不是受 CPU 限制。在这种情况下，可以缩小输入。
默认情况下，google 的基准测试库将使用 cputime 指标，它是进程所有线程在 CPU 上运行时间的总和。与实时时间（即结束时间 - 开始时间之差）相反。在单线程模型中，cputime 比较可取，因为它受上下文切换的影响较小。在多线程场景中，cputime 将给出错误的结果，因为它将因线程数量而膨胀，并且可能与实时时间相差甚远。因此，如果基准测试是多线程的，最好使用 SetRealtime()，请参阅此示例。

脚本#

archery 是用 python 库编写的，带有命令行前端。可以导入该库来自动执行某些任务。

由于构建输出，某些命令行界面调用可能非常冗长。可以使用 --quiet 选项或 --output=<file> 来控制/避免此问题，例如

archery benchmark diff --benchmark-filter=Kernel --output=compare.json ...