环境变量#

以下环境变量可用于影响 Arrow C++ 在运行时的行为。许多这些变量每个进程只检查一次（例如，当加载 Arrow C++ DLL 时），因此您不能假设稍后更改它们的值会产生影响。

ACERO_ALIGNMENT_HANDLING#

Arrow C++ 的 Acero 模块对数据流执行计算。如果底层数组未正确对齐，此计算可能涉及某种形式的“类型双关语”，这在技术上是未定义的行为。在大多数现代 CPU 上，这不是问题，但一些较旧的 CPU 可能会崩溃或性能不佳。因此，建议所有传入的数组缓冲区都正确对齐，但某些数据源（例如 Flight) 可能会生成未对齐的缓冲区。

此环境变量的值控制当 Acero 检测到未对齐的缓冲区时会发生什么

warn: 发出警告
ignore: 无操作，禁用对齐检查
reallocate: 将缓冲区重新分配到正确对齐的地址
error: 操作失败并出现错误

默认行为是 warn。在现代硬件上，通常可以安全地将其更改为 ignore。更改为 reallocate 是最安全的选择，但这将对性能产生重大影响，因为需要复制缓冲区。

ARROW_DEBUG_MEMORY_POOL#

启用基本的内存检查以防止缓冲区溢出。此环境变量的值选择检测到缓冲区溢出时的行为

abort 以非零返回值退出进程;
trap 发出平台特定的调试器断点 / trap 指令;
warn 在 stderr 上打印警告并继续执行;
none 禁用内存检查;

如果未设置此变量或具有空值，则其效果与值 none 相同 - 内存检查被禁用。

注意

虽然此功能可能很有用并且开销很小，但它不能替代更复杂的内存检查实用程序，例如 Valgrind 或 Address Sanitizer。

ARROW_DEFAULT_MEMORY_POOL#: 覆盖用于默认内存池的后端。可能的值包括 jemalloc、mimalloc 和 system，具体取决于构建 Arrow C++ 时启用了哪些后端。

ARROW_IO_THREADS#: 覆盖全局 IO 线程池的默认线程数。此环境变量的值应为正整数。

ARROW_LIBHDFS_DIR#: 包含 C HDFS 库的目录（Windows 上为 hdfs.dll，macOS 上为 libhdfs.dylib，其他平台上为 libhdfs.so）。或者，可以设置 HADOOP_HOME。

ARROW_S3_LOG_LEVEL#

控制 S3 调用产生的日志的详细程度。默认为 FATAL，仅在出现致命错误时才产生输出。当您尝试解决问题时，建议使用 DEBUG。

可能的值包括

FATAL (默认)
ERROR
WARN
INFO
DEBUG
TRACE
OFF

另请参阅

Logging - AWS SDK For C++

ARROW_TRACING_BACKEND#

导出基于 OpenTelemetry 的执行跟踪的后端。可能的值为

ostream: 将文本日志消息发送到 stdout;
otlp_http: 将 OTLP JSON 编码的跟踪发送到 HTTP 服务器（默认情况下，端点 URL 为“http://localhost:4318/v1/traces”）;
arrow_otlp_stdout: 将 JSON 跟踪发送到 stdout;
arrow_otlp_stderr: 将 JSON 跟踪发送到 stderr。

如果未设置此变量，则不会导出任何跟踪。

如果 Arrow C++ 在构建时未启用跟踪，则此环境变量无效。

另请参阅

远程端点的 OpenTelemetry 配置

ARROW_USER_SIMD_LEVEL#

运行时可选择的最大 SIMD 优化级别。可用于比较启用或禁用各个代码路径的性能影响，或解决支持指令但不执行或导致其他问题的情况。

默认情况下，Arrow C++ 在运行时检测当前 CPU 的功能，并根据该信息选择最佳执行路径。可以通过将此环境变量设置为明确定义的值来覆盖此行为。支持的值为

NONE 禁用任何运行时选择的 SIMD 优化;
SSE4_2 启用任何基于 SSE2 的优化，直到 SSE4.2（包括）;
AVX 启用任何基于 AVX 的优化及更早版本;
AVX2 启用任何基于 AVX2 的优化及更早版本;
AVX512 启用任何基于 AVX512 的优化及更早版本。

此环境变量仅对 x86 平台有效。其他平台目前不实现任何形式的运行时调度。

注意

除了运行时选择的 SIMD 优化调度之外，还可以使用无法在运行时禁用的 SIMD 优化来编译 Arrow C++。例如，默认情况下，在 x86 构建上启用 SSE4.2 优化：因此，使用此默认设置，Arrow C++ 根本无法在不支持 SSE4.2 的 CPU 上工作。可以使用 ARROW_SIMD_LEVEL CMake 变量更改此设置，以便提高或降低优化级别。

最后，ARROW_RUNTIME_SIMD_LEVEL CMake 变量设置运行时选择的 SIMD 优化的编译时上限。这在编译器报告支持指令集但实际上并不完全支持指令集的情况下很有用。

AWS_ENDPOINT_URL#: 用于类似 S3 存储的端点 URL，例如 Minio 或 s3.scality。或者，可以设置 AWS_ENDPOINT_URL_S3。

AWS_ENDPOINT_URL_S3#: 用于类似 S3 存储的端点 URL，例如 Minio 或 s3.scality。如果设置了这两个变量，则这优先于 AWS_ENDPOINT_URL。

GANDIVA_CACHE_SIZE#

Gandiva JIT 编译缓存中保留的条目数量。该缓存位于内存中，不会跨进程持久存在。

默认缓存大小为 5000。此环境变量的值应为正整数，且不应超过 int32 的最大值。否则，将使用默认值。

HADOOP_HOME#: Hadoop 安装路径。

JAVA_HOME#: 设置 Java 运行时环境的安装路径。如果 Java 安装在非标准位置，则可能需要此设置以支持 HDFS。

OMP_NUM_THREADS#: 全局（进程范围）CPU 线程池中的工作线程数。如果未定义此环境变量，则使用特定于平台的例程确定可用的硬件并发。

OMP_THREAD_LIMIT#

全局（进程范围）CPU 线程池中工作线程数的上限。

例如，如果当前机器有 4 个硬件线程，并且 OMP_THREAD_LIMIT 为 8，则全局 CPU 线程池将有 4 个工作线程。但如果 OMP_THREAD_LIMIT 为 2，则全局 CPU 线程池将有 2 个工作线程。