环境变量#

以下环境变量可用于影响 Arrow C++ 在运行时的行为。这些变量中的许多变量仅在每个进程中检查一次（例如，当加载 Arrow C++ DLL 时），因此您不能假设以后更改其值会产生影响。

ACERO_ALIGNMENT_HANDLING#

Arrow C++ 的 Acero 模块对数据流进行计算。这种计算可能涉及一种“类型转换”，如果底层数组未正确对齐，从技术上讲是未定义行为。在大多数现代 CPU 上，这不是问题，但一些旧的 CPU 可能会崩溃或性能下降。出于这个原因，建议所有传入的数组缓冲区都正确对齐，但一些数据源（如 Flight）可能会生成未对齐的缓冲区。

此环境变量的值控制当 Acero 检测到未对齐的缓冲区时会发生什么

  • warn: 发出警告

  • ignore: 没有任何，禁用对齐检查

  • reallocate: 缓冲区被重新分配到一个正确对齐的地址

  • error: 操作失败并出现错误

默认行为是 warn。在现代硬件上，通常可以安全地将其更改为 ignore。更改为 reallocate 是最安全的选项，但这会对性能产生重大影响，因为需要复制缓冲区。

ARROW_DEBUG_MEMORY_POOL#

启用基本的内存检查，以防止缓冲区溢出。此环境变量的值选择在检测到缓冲区溢出时要执行的行为

  • abort 以非零返回值退出进程；

  • trap 发出一个平台特定的调试器断点/陷阱指令；

  • warn 在 stderr 上打印警告并继续执行；

  • none 禁用内存检查；

如果此变量未设置或具有空值，则其效果与值 none 相同 - 禁用内存检查。

注意

虽然此功能很有用并且开销很小，但它不能替代更复杂的内存检查工具，例如 Valgrind 或 Address Sanitizer.

ARROW_DEFAULT_MEMORY_POOL#

覆盖用于默认 内存池 的后端。可能的值包括 jemalloc、mimalloc 和 system，具体取决于 构建 Arrow C++ 时启用了哪些后端。

ARROW_IO_THREADS#

覆盖全局 IO 线程池的默认线程数。此环境变量的值应为正整数。

ARROW_LIBHDFS_DIR#

包含 C HDFS 库的目录（Windows 上为 hdfs.dll，macOS 上为 libhdfs.dylib，其他平台上为 libhdfs.so）。或者，可以设置 HADOOP_HOME.

ARROW_S3_LOG_LEVEL#

控制 S3 调用生成的日志的详细程度。默认值为 FATAL，它仅在出现致命错误的情况下才生成输出。当您尝试排查问题时，建议使用 DEBUG。

可能的值包括

  • FATAL（默认值）

  • ERROR

  • WARN

  • INFO

  • DEBUG

  • TRACE

  • OFF

另请参阅

日志记录 - AWS SDK for C++

ARROW_TRACING_BACKEND#

导出 OpenTelemetry 基于的执行跟踪的后端。可能的值为

  • ostream: 将文本日志消息输出到 stdout；

  • otlp_http: 将 OTLP JSON 编码的跟踪输出到 HTTP 服务器（默认情况下，端点 URL 为 “https://127.0.0.1:4318/v1/traces”）；

  • arrow_otlp_stdout: 将 JSON 跟踪输出到 stdout；

  • arrow_otlp_stderr: 将 JSON 跟踪输出到 stderr。

如果未设置此变量，则不会导出任何跟踪。

如果 Arrow C++ 未启用跟踪功能，则此环境变量无效。

另请参阅

OpenTelemetry 远程端点配置

ARROW_USER_SIMD_LEVEL#

运行时可选择的最大 SIMD 优化级别。这对于比较启用或禁用相应代码路径的性能影响或解决指令受支持但性能不佳或导致其他问题的状况很有用。

默认情况下，Arrow C++ 在运行时检测当前 CPU 的功能，并根据这些信息选择最佳执行路径。可以通过将此环境变量设置为明确的值来覆盖此行为。支持的值为

  • NONE 禁用任何运行时选择的 SIMD 优化；

  • SSE4_2 启用任何基于 SSE2 的优化，直到 SSE4.2（包括）；

  • AVX 启用任何基于 AVX 的优化和更早的优化；

  • AVX2 启用任何基于 AVX2 的优化和更早的优化；

  • AVX512 启用任何基于 AVX512 的优化和更早的优化。

此环境变量仅对 x86 平台有效。其他平台目前未实现任何形式的运行时调度。

注意

除了运行时选择的 SIMD 优化调度之外，Arrow C++ 还可以使用在运行时无法禁用的 SIMD 优化进行编译。例如，默认情况下，在 x86 构建中启用 SSE4.2 优化：因此，使用此默认设置，Arrow C++ 在没有 SSE4.2 支持的 CPU 上根本无法工作。此设置可以通过 ARROW_SIMD_LEVEL CMake 变量更改，以提高或降低优化级别。

最后，ARROW_RUNTIME_SIMD_LEVEL CMake 变量设置了运行时选择的 SIMD 优化的编译时上限。这在编译器报告支持某个指令集但实际上并未完全支持该指令集的情况下很有用。

AWS_ENDPOINT_URL#

用于 S3 类存储的端点 URL，例如 Minio 或 s3.scality。或者，可以设置 AWS_ENDPOINT_URL_S3.

AWS_ENDPOINT_URL_S3#

用于 S3 类存储的端点 URL，例如 Minio 或 s3.scality。如果两个变量都设置，则此变量优先于 AWS_ENDPOINT_URL.

GANDIVA_CACHE_SIZE#

在 Gandiva JIT 编译缓存中保留的条目数。缓存位于内存中，不会跨进程持久化。

默认缓存大小为 5000。此环境变量的值应为正整数，并且不应超过 int32 的最大值。否则，使用默认值。

HADOOP_HOME#

Hadoop 安装路径。

JAVA_HOME#

设置 Java 运行时环境安装的路径。如果 Java 安装在非标准位置，则可能需要此项来支持 HDFS。

OMP_NUM_THREADS#

全局（进程范围）CPU 线程池中的工作线程数。如果未定义此环境变量，则使用平台特定的例程确定可用的硬件并发性。

OMP_THREAD_LIMIT#

全局（进程范围）CPU 线程池中工作线程数的上限。

例如，如果当前机器有 4 个硬件线程，并且 OMP_THREAD_LIMIT 为 8，则全局 CPU 线程池将有 4 个工作线程。但如果 OMP_THREAD_LIMIT 为 2，则全局 CPU 线程池将有 2 个工作线程。

在 GitHub 上编辑