跳至内容

Arrow R 包使用了一些额外的开发工具

  • lintr 用于代码分析
  • styler 用于代码风格化
  • pkgdown 用于构建网站
  • roxygen2 用于为包编写文档
    • R 文档使用 @examplesIf 标签,该标签在 roxygen2 7.1.2 版本中引入。

您可以通过运行以下命令安装所有这些额外的依赖项:

install.packages(c("lintr", "styler", "pkgdown", "roxygen2"))

arrow/r 目录包含一个 Makefile,用于帮助从命令行执行一些常见任务(例如:make testmake docmake clean 等)。

加载 arrow

您可以通过 devtools::load_all() 加载 R 包。

重建文档

R 文档使用 @examplesIf 标签,该标签在 roxygen2 7.1.2 版本中引入。

remotes::install_github("r-lib/roxygen2")

您可以使用 devtools::document()pkgdown::build_site() 重建文档并预览结果。

# Update roxygen documentation
devtools::document()

# To preview the documentation website
pkgdown::build_site(preview=TRUE)

样式和代码风格检查

R 代码

包中的 R 代码遵循 tidyverse 样式。在提交 PR(以及推送)时,我们的 CI 将运行代码风格检查,并在拉取请求中使用注释标记可能的错误。

要在本地运行代码风格检查器,请安装 lintr 包(注意,我们目前使用了一个包含尚未被上游接受的修复程序的分支,请参阅 ci/docker/linux-apt-lint.dockerfile 文件中 lintr 的安装方式以了解当前状态),然后运行:

lintr::lint_package("arrow/r")

您可以使用 styler 包自动更改包中代码的格式。有两种方法可以做到这一点:

  1. 使用评论机器人通过在 PR 上使用命令 @github-actions autotune 自动执行此操作,并将结果提交回分支。

  2. 通过 Makefile 命令在本地运行 styler:

make style # (for only the files changed)
make style-all # (for all files)

或在 R 中:

# note the file that should not be styled
styler::style_pkg(exclude_files = c("data-raw/codegen.R"))

styler 包将修复许多样式错误,尽管并非所有 lintr 错误都可通过 styler 自动修复。我们有意不进行样式化的文件列表位于 r/.styler_excludes.R 中。

C++ 代码

arrow 包在 cpp11 的基础上使用了一些自定义工具来准备其 src/ 中的 C++ 代码。这是因为有些功能仅在构建时有条件地启用和构建。如果您更改 R 包中的 C++ 代码,则需要将 ARROW_R_DEV 环境变量设置为 true(可选地,将其添加到您的 ~/.Renviron 文件中以在会话之间持久化),以便使用 data-raw/codegen.R 文件进行代码生成。Makefile 命令也会自动处理此操作。

我们在 C++ 代码中使用 Google C++ 样式。最简单的方法是使用支持为您格式化代码的编辑器/IDE。许多流行的编辑器/IDE 支持在您保存 C++ 文件时运行 clang-format。安装/启用相应的插件可以节省您很多麻烦。

使用以下命令检查样式错误:

./lint.sh

使用以下命令修复任何样式问题,然后再提交:

./lint.sh --fix

lint 脚本需要 Python 3 和 clang-format。如果找不到该命令,您可以显式提供其路径,例如:

CLANG_FORMAT=/opt/llvm/bin/clang-format ./lint.sh

您可以通过以下命令查看 clang-format 的所需版本:

(. ../.env && echo ${CLANG_TOOLS})

注意 lint 脚本需要 Python 3 和 Python 依赖项(请注意,cmake_format 固定到特定版本)

  • autopep8
  • flake8
  • cmake_format==0.5.2

运行测试

可以使用 devtools::test() 或 Makefile 替代方案运行测试。

# Run the test suite, optionally filtering file names
devtools::test(filter="^regexp$")
# or the Makefile alternative from the arrow/r directory in a shell:
make test file=regexp

一些测试根据包构建中某些功能的可用性(S3 支持、压缩库等)有条件地启用。其他测试通常默认情况下会被跳过,但可以通过环境变量或其他设置启用。

  • 如果包在没有 C++ libarrow 的情况下构建,则所有测试在 Linux 上都会被跳过。如果 libarrow 不可用,要使构建失败(例如,测试 C++ 构建是否成功),请设置 TEST_R_WITH_ARROW=true

  • 一些测试在 ARROW_R_DEV=true 情况下才启用。

  • 除非 ARROW_LARGE_MEMORY_TESTS=true,否则需要分配 >2GB 内存来测试大型类型的测试将被禁用。

  • 除非在 AWS_ACCESS_KEY_IDAWS_SECRET_ACCESS_KEY 中设置了凭据,否则针对真实 S3 存储桶的集成测试将被禁用;这些凭据可根据请求提供。

  • 如果找到正在运行的 minio server 进程,则将启用使用 MinIO 在本地进行的 S3 测试。如果您使用自定义设置运行 MinIO,则可以设置 MINIO_ACCESS_KEYMINIO_SECRET_KEYMINIO_PORT 来覆盖默认值。

运行检查

您可以使用 devtools::check() 运行包检查,并使用 covr::package_coverage() 检查测试覆盖率。

# All package checks
devtools::check()

# See test coverage statistics
covr::report()
covr::package_coverage()

要进行完整的包验证,您可以从终端运行以下命令。

R CMD build .
R CMD check arrow_*.tar.gz --as-cran

运行扩展的 CI 检查

在拉取请求中,您可以通过评论 PR 来触发一些操作。这些扩展的 CI 检查每晚运行,也可以使用一个名为 crossbow 的内部工具按需请求。下面显示了一些重要的 GitHub 评论命令。

运行所有扩展的 R CI 任务

@github-actions crossbow submit -g r

这将运行每个与 R 相关的 CI 任务。

运行特定任务

@github-actions crossbow submit {task-name}

请参阅 crossbow 配置 开头附近的 r: 组定义,以获取与下面 tasks: 列表中的项目名称匹配的 glob 表达式模式列表。

运行代码风格检查和文档构建任务

@github-actions autotune

这将运行并修复 C++ 代码风格检查错误、运行 R 文档(以及其他清理任务)、在任何更改的 R 代码上运行 styler,并将生成的更新提交到分支。