使用 Crossbow 进行打包和测试#

arrow/dev/tasks 目录的内容旨在自动化 Arrow 的打包和集成测试过程。

软件包
集成测试

  • 各种 Docker 测试

  • Pandas

  • Dask

  • Turbodbc

  • HDFS

  • Spark

架构#

执行器#

当前，各个任务在公共 CI 服务上执行：

  • Linux: GitHub Actions, Travis CI, Azure Pipelines

  • macOS: GitHub Actions, Azure Pipelines

  • Windows: GitHub Actions, Azure Pipelines

队列#

由于 CI 服务的工作方式，任务的调度通过一个额外的 Git 仓库进行，该仓库充当任务的作业队列。任何人都可以托管一个 queue 仓库（通常命名为 <ghuser>/crossbow）。

作业是特定 Git 分支上的 Git 提交，其中包含运行请求构建所需的配置文件（如 .travis.yml、azure-pipelines.yml 或用于 GitHub Actions 的 crossbow.yml）。

调度器#

Crossbow 处理版本生成、任务渲染和提交。任务在 tasks.yml 中定义。

安装#

以下指南依赖于 GitHub，但理论上可以使用任何 Git 服务器。

如果您没有使用 ursacomputing/crossbow 仓库，您需要完成前两个步骤，否则请跳到步骤 3。

  1. 创建队列仓库

  2. 为新创建的队列仓库启用 Azure Pipelines 集成。

  3. 如果您使用 ursacomputing/crossbow，请克隆该仓库，否则请克隆新创建的仓库到 Arrow 仓库旁边。

    默认情况下，脚本会在 arrow 目录旁边查找 crossbow 克隆，但这可以通过命令行参数进行配置。

    git clone https://github.com/<user>/crossbow crossbow

    重要提示：Crossbow 仅支持基于 GitHub 令牌的身份验证。尽管它会覆盖提供的 SSH 协议仓库 URL，但建议使用 HTTPS 仓库 URL。

  4. 创建个人访问令牌，并赋予 repo 和 workflow 权限（不需要其他权限）。

  5. 在本地将令牌导出为环境变量

    export GH_TOKEN=<token>

    或作为参数传递给 CLI 脚本 --github-token

  6. 安装 Python（最低支持版本为 3.10）

    推荐使用 Miniconda，请参阅安装说明
    https://docs.conda.org.cn/docs/user-guide/install/index.html

  7. 安装包含 crossbow 的 archery 工具集

    $ pip install -e "arrow/dev/archery[crossbow]"

  8. 尝试运行它

    $ archery crossbow --help

用法#

脚本执行以下操作：

  1. 检测当前仓库，从而支持 fork。以下代码段将构建 kszucs 的 fork，而不是上游的 apache/arrow 仓库。

    $ git clone https://github.com/kszucs/arrow
$ git clone https://github.com/kszucs/crossbow

$ cd arrow/dev/tasks
$ archery crossbow submit --help  # show the available options
$ archery crossbow submit conda-win conda-linux conda-osx

  2. 获取当前检出分支的 HEAD 提交，并根据 setuptools_scm 生成版本号。因此，要构建特定分支，请在运行脚本之前检出该分支。

    $ git checkout ARROW-<ticket number>
$ archery crossbow submit --dry-run conda-linux conda-osx

    请注意，Arrow 分支必须提前推送到远程，因为脚本将克隆选定的分支。

  3. 读取并渲染所需的构建配置，并替换参数。

  4. 为每个任务创建一个分支，并以作业 ID 为前缀。例如，要在 Linux 上构建 conda recipe，它将创建一个新分支：crossbow@build-<id>-conda-linux。

  5. 将修改后的分支推送到 GitHub，这将触发构建。它使用安装部分中描述的 GitHub OAuth 令牌进行身份验证。

查询构建状态#

submit 命令返回构建 ID（在队列仓库中有一个相应的分支）。

$ archery crossbow status <build id / branch name>

下载构建 artifacts#

$ archery crossbow artifacts <build id / branch name>

示例#

Submit 命令接受任务名称列表和/或任务组名称列表，以选择要构建的任务。

运行多个构建

$ archery crossbow submit debian-stretch conda-linux-gcc-py37-r40
Repository: https://github.com/kszucs/arrow@tasks
Commit SHA: 810a718836bb3a8cefc053055600bdcc440e6702
Version: 0.9.1.dev48+g810a7188.d20180414
Pushed branches:
 - debian-stretch
 - conda-linux-gcc-py37-r40

仅渲染而不应用或提交更改

$ archery crossbow submit --dry-run task_name

仅运行 conda 软件包构建和 Linux 构建

$ archery crossbow submit --group conda centos-7

运行 wheel 构建

$ archery crossbow submit --group wheel

tasks.yml 中有多个任务组，例如 docker、integration 和 cpp-python，用于运行基于 docker 的测试。

archery crossbow submit 支持多种选项和参数，更多信息请参阅其帮助页面。

$ archery crossbow submit --help