在 Windows 上进行开发#

与 Linux 和 macOS 一样，我们努力使构建能够在 CMake 中“开箱即用”，以支持项目中相当一部分的代码。

系统设置#

Microsoft 提供免费的 Visual Studio 社区版。在 shell 中进行开发时，您必须在每次打开 shell 时初始化开发环境。

对于 Visual Studio 2017，执行以下批处理脚本

"C:\Program Files (x86)\Microsoft Visual Studio\2017\Community\Common7\Tools\VsDevCmd.bat" -arch=amd64

对于 Visual Studio 2019，脚本为

"C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\Common7\Tools\VsDevCmd.bat" -arch=amd64

可以配置像 cmder 这样的控制台模拟器，使其在启动新的开发控制台时自动启动此脚本。

使用 conda-forge 作为构建依赖项#

Miniconda 是一个最小的 Python 发行版，包括 conda 包管理器。Apache Arrow 社区中的一些成员参与维护 conda-forge，这是一个社区维护的跨平台 conda 包仓库。

要在 Windows 上使用 conda-forge 作为 C++ 构建依赖项，首先从 Miniconda 主页 下载并安装 64 位发行版。

要配置 conda 默认使用 conda-forge 频道，启动命令提示符 (cmd.exe)，运行上面显示的初始化命令 (vcvarsall.bat 或 VsDevCmd.bat)，然后运行命令

conda config --add channels conda-forge

现在，您可以引导构建环境（从 Arrow 代码库的根目录调用）

conda create -y -n arrow-dev --file=ci\conda_env_cpp.txt

然后使用以下命令“激活”此 conda 环境

activate arrow-dev

如果已激活环境，Arrow 构建系统将自动看到 %CONDA_PREFIX% 环境变量并将其用于解析构建依赖项。这等效于设置

-DARROW_DEPENDENCY_SOURCE=SYSTEM ^
-DARROW_PACKAGE_PREFIX=%CONDA_PREFIX%\Library

要使用此 conda 环境激活的 Visual Studio IDE，请从同一个命令提示符运行命令 devenv 来启动它。

请注意，作为 conda 包安装的依赖项是在发布模式下构建的，不能与调试构建链接。如果您打算使用 -DCMAKE_BUILD_TYPE=debug，那么您必须从源代码构建这些包。 -DCMAKE_BUILD_TYPE=relwithdebinfo 也可用，它会生成一个既可以与发布库链接又可以调试的构建。

注意

如果您在使用 conda 包作为依赖项时遇到任何问题，一个非常常见的问题是将 defaults 频道中的包与 conda-forge 频道中的包混合使用。您可以使用 conda list 检查环境中安装的包（及其来源）。

使用 vcpkg 作为构建依赖项#

vcpkg 是 Microsoft 的一个开源包管理器。它托管社区贡献的 C 和 C++ 包及其依赖项的端口。Arrow 包含一个清单文件 cpp/vcpkg.json，它指定了构建 C++ 库所需的 vcpkg 包。

要在 Windows 上使用 vcpkg 作为 C++ 构建依赖项，首先 安装 并 集成 vcpkg。然后在 cmd.exe 中将工作目录更改为 Arrow 的根目录并运行命令

vcpkg install ^
  --triplet x64-windows ^
  --x-manifest-root cpp  ^
  --feature-flags=versions ^
  --clean-after-build

在 Windows 上，vcpkg 默认构建动态链接库。使用三元组 x64-windows-static 构建静态库。vcpkg 会下载源包并在本地编译，因此使用 vcpkg 安装依赖项比使用 conda 更耗时。

然后在您的 cmake 命令中，要使用 vcpkg 安装的依赖项，请设置

-DARROW_DEPENDENCY_SOURCE=VCPKG

您可以选择设置其他变量以覆盖 vcpkg 的默认 CMake 配置，包括

  • -DCMAKE_TOOLCHAIN_FILE：默认情况下，CMake 脚本会自动找到 vcpkg CMake 工具链文件 vcpkg.cmake 的位置；使用此选项指定其位置

  • -DVCPKG_TARGET_TRIPLET：默认情况下，CMake 脚本会尝试推断 vcpkg 三元组；使用此选项指定三元组

  • -DARROW_DEPENDENCY_USE_SHARED：默认值为 ON；对于静态库，设置为 OFF

  • -DVCPKG_MANIFEST_MODE：默认值为 ON；设置为 OFF 以忽略 vcpkg.json 清单文件，并且只查找已安装在 vcpkg 安装目录下的 vcpkg 包

使用 Visual Studio (MSVC) 解决方案文件构建#

在 cmd.exe 中将工作目录更改为 Arrow 的根目录，并通过生成 MSVC 解决方案进行源外构建

cd cpp
mkdir build
cd build
cmake .. -G "Visual Studio 15 2017" -A x64 ^
      -DARROW_BUILD_TESTS=ON
cmake --build . --config Release

对于较新的 Visual Studio 版本，请指定生成器 Visual Studio 16 2019 或查看 cmake --help 以了解可用的生成器。

使用 Ninja 和 sccache 构建#

Ninja 构建系统提供了更好的构建并行化，可选的 sccache 编译器缓存会跟踪过去的编译，以避免反复运行它们（与特定于 Unix 的 ccache 类似）。

较新的 Visual Studio 版本包含 Ninja。要查看您的 Visual Studio 是否包含 Ninja，请运行上面显示的初始化命令 (vcvarsall.bat 或 VsDevCmd.bat)，然后运行 ninja --version。

如果您的 Visual Studio 版本中不包含 Ninja，并且您使用的是 conda，请激活您的 conda 环境并安装 Ninja

activate arrow-dev
conda install -c conda-forge ninja

如果您未使用 conda，请 从其他来源安装 Ninja 。

安装完成后，在 cmd.exe 中将工作目录更改为 Arrow 的根目录，并通过生成 Ninja 文件进行源外构建

cd cpp
mkdir build
cd build
cmake -G "Ninja" ^
      -DARROW_BUILD_TESTS=ON ^
      -DGTest_SOURCE=BUNDLED ..
cmake --build . --config Release

要在本地存储模式下使用 sccache，您需要在调用 cmake 之前设置 SCCACHE_DIR 环境变量

...
set SCCACHE_DIR=%LOCALAPPDATA%\Mozilla\sccache
cmake -G "Ninja" ^
...

使用 NMake 构建#

在 cmd.exe 中将工作目录更改为 Arrow 的根目录，并使用 nmake 进行源外构建

cd cpp
mkdir build
cd build
cmake -G "NMake Makefiles" ..
nmake

在 MSYS2 上构建#

您可以在 MSYS2 终端、cmd.exe 或 PowerShell 终端上构建。

在 MSYS2 终端上

cd cpp
mkdir build
cd build
cmake -G "MSYS Makefiles" ..
make

在 cmd.exe 或 PowerShell 终端上，您可以使用以下批处理文件

setlocal

REM For 64bit
set MINGW_PACKAGE_PREFIX=mingw-w64-x86_64
set MINGW_PREFIX=c:\msys64\mingw64
set MSYSTEM=MINGW64

set PATH=%MINGW_PREFIX%\bin;c:\msys64\usr\bin;%PATH%

rmdir /S /Q cpp\build
mkdir cpp\build
pushd cpp\build
cmake -G "MSYS Makefiles" .. || exit /B
make || exit /B
popd

在 Windows/ARM64 上使用 Ninja 和 Clang 构建#

Ninja 和 clang 可用于在 windows/arm64 平台上构建库。

cd cpp
mkdir build
cd build

set CC=clang-cl
set CXX=clang-cl

cmake -G "Ninja" ..

cmake --build . --config Release

适用于 Windows on ARM64 的 LLVM 工具链可以从 LLVM 发布页面 LLVM 发布页面 下载。

由于 xsimd 和 boost 库等依赖项的兼容性问题，Visual Studio (MSVC) 尚不能用于编译 win/arm64 构建。

注意：这只是 WoA64 的实验性构建，因为由于缺乏基础设施，所有功能尚未通过 CI 进行广泛测试。

调试构建#

要构建 Arrow 的调试版本，您应该预先安装 Boost 的调试版本。建议使用以下变量配置 cmake 以进行调试构建

  • -DARROW_BOOST_USE_SHARED=OFF：启用与 boost 调试库的静态链接，简化运行时加载第三方库

  • -DBOOST_ROOT：设置 boost 库的根目录。（可选）

  • -DBOOST_LIBRARYDIR：设置包含 boost 库文件的目录。（可选）

在调试模式下构建 Arrow 的命令行将类似于以下内容

cd cpp
mkdir build
cd build
cmake .. -G "Visual Studio 15 2017" -A x64 ^
      -DARROW_BOOST_USE_SHARED=OFF ^
      -DCMAKE_BUILD_TYPE=Debug ^
      -DBOOST_ROOT=C:/local/boost_1_63_0  ^
      -DBOOST_LIBRARYDIR=C:/local/boost_1_63_0/lib64-msvc-14.0
cmake --build . --config Debug

Windows 依赖项解析问题#

由于 Windows 使用 .lib 文件用于依赖项的静态和动态链接，因此静态库有时可能被命名为 %PACKAGE%_static.lib 等不同的名称以进行区分。如果您正在静态链接某些依赖项，我们提供了一些选项

  • -DBROTLI_MSVC_STATIC_LIB_SUFFIX=%BROTLI_SUFFIX%

  • -DSNAPPY_MSVC_STATIC_LIB_SUFFIX=%SNAPPY_SUFFIX%

  • -LZ4_MSVC_STATIC_LIB_SUFFIX=%LZ4_SUFFIX%

  • -ZSTD_MSVC_STATIC_LIB_SUFFIX=%ZSTD_SUFFIX%

要获取最新的构建说明，您可以参考 ci/appveyor-built.bat，它由自动的 Appveyor 构建使用。

在 Windows 上静态链接到 Arrow#

Windows 静态库构建上的 Arrow 头文件（由 CMake 选项 ARROW_BUILD_STATIC 启用）使用预处理器宏 ARROW_STATIC 来抑制符号的 dllimport/dllexport 标记。在 Windows 上静态链接到 Arrow 的项目还需要此定义。Unix 构建不使用此宏。

此外，如果使用 -DARROW_FLIGHT=ON，则需要定义 ARROW_FLIGHT_STATIC，类似地，对于 -DARROW_FLIGHT_SQL=ON 也是如此。

project(MyExample)

find_package(Arrow REQUIRED)

add_executable(my_example my_example.cc)
target_link_libraries(my_example
                      PRIVATE
                      arrow_static
                      arrow_flight_static
                      arrow_flight_sql_static)

target_compile_definitions(my_example
                           PUBLIC
                           ARROW_STATIC
                           ARROW_FLIGHT_STATIC
                           ARROW_FLIGHT_SQL_STATIC)

下载时区数据库#

要在 Windows 上运行某些计算单元测试，需要首先下载 IANA 时区数据库和 Windows 时区映射。请参阅 运行时依赖项 以获取下载说明。要在运行单元测试时设置时区数据库的非默认路径，请设置 ARROW_TIMEZONE_DATABASE 环境变量。

复制 Appveyor 构建#

对于更熟悉 linux 开发但需要复制失败的 appveyor 构建的人来说，这里有一些关于复制 Static_Crt_Build 的粗略说明（make unittest 可能会失败，但许多单元测试可以使用其单独的 make 目标来完成）。

  1. Microsoft 提供了 Windows with Microsoft Visual Studio 的试用 VM。下载并安装一个版本。

  2. 运行 VM 并安装 Git、CMake 和 Miniconda 或 Anaconda（这些说明假设使用 Anaconda）。还要安装 “Visual Studio 构建工具”。确保在安装向导中选择 C++ 工具链，并在安装后重新启动。

  3. 下载 预构建的 Boost 调试二进制文件 并安装它。

    从 Anaconda/Miniconda 命令提示符（不是 PowerShell 提示符）运行此命令，并确保先运行“vcvarsall.bat x64”。vcvarsall.bat 的位置可能有所不同，它可能位于与通常指示不同的路径下，例如“C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\VC\Auxiliary\Build\vcvarsall.bat” 使用 2019 构建工具。

cd $EXTRACT_BOOST_DIRECTORY
.\bootstrap.bat
@rem This is for static libraries needed for static_crt_build in appveyor
.\b2 link=static --with-filesystem --with-regex --with-system install
@rem this should put libraries and headers in c:\Boost

  1. 激活 anaconda/miniconda

@rem this might differ for miniconda
C:\Users\User\Anaconda3\Scripts\activate

  1. 克隆并更改目录到箭头源代码（您可能需要安装 git）。

  2. 设置环境变量

@rem Change the build type based on which appveyor job you want.
SET JOB=Static_Crt_Build
SET GENERATOR=Ninja
SET APPVEYOR_BUILD_WORKER_IMAGE=Visual Studio 2017
SET USE_CLCACHE=false
SET ARROW_BUILD_GANDIVA=OFF
SET ARROW_LLVM_VERSION=8.0.*
SET PYTHON=3.9
SET ARCH=64
SET PATH=C:\Users\User\Anaconda3;C:\Users\User\Anaconda3\Scripts;C:\Users\User\Anaconda3\Library\bin;%PATH%
SET BOOST_LIBRARYDIR=C:\Boost\lib
SET BOOST_ROOT=C:\Boost

  1. 运行 appveyor 脚本

conda install -c conda-forge --file .\ci\conda_env_cpp.txt
.\ci\appveyor-cpp-setup.bat
@rem this might fail but at this point most unit tests should be buildable by there individual targets
@rem see next line for example.
.\ci\appveyor-cpp-build.bat
@rem you can also just invoke cmake directly with the desired options
cmake --build . --config Release --target arrow-compute-hash-test
本页内容
在 GitHub 上编辑