跳至内容

更新日志

来源：NEWS.md

arrow 19.0.0

arrow 18.1.0

CRAN 发布：2024-12-05

小改进和修复

  • 修复了允许在数据集中使用 %in% 过滤因子列的绑定 (#43446)
  • 更新 str_sub 绑定以正确处理负 end 值 (@coussens, #44141)
  • 修复了来自 readr 的 altrep 字符串列 (#43351)
  • 修复了 ParquetFileWriter$WriteTable 中的崩溃并添加了 WriteBatch (#42241)
  • 修复了 Math group generics 中的绑定 (@aboyoun, #43162)
  • 修复了分组查询中的 pull 返回错误列的问题 (#43172)

arrow 17.0.0

CRAN 发布：2024-08-17

新功能

  • 用户编写的在数据集查询中使用 Arrow 支持的函数的 R 函数现在也可以在查询中使用。以前，只有使用算术运算符的函数才能工作。例如，time_hours <- function(mins) mins / 60 可以工作，但 time_hours_rounded <- function(mins) round(mins / 60) 不能；现在两者都可以工作。这些是自动转换，而不是真正的用户定义函数（UDF）；对于 UDF，请参阅 register_scalar_function()。 (#41223)
  • mutate() 表达式现在可以包含聚合，例如 x - mean(x)。 (#41350)
  • summarize() 支持更复杂的表达式，并正确处理表达式中重复使用列名的情况。 (#41223)
  • 现在支持 dplyr::*_join() 函数的 na_matches 参数。此参数控制在连接时是否将 NA 值视为相等。 (#41358)
  • 存储在 Arrow 模式中的 R 元数据，用于支持 R 和 Arrow/Parquet 之间的数据往返，现在以更严格的方式进行序列化和反序列化。这使得从未知来源的文件加载数据到 R data.frames 中更安全。 (#41969)

小改进和修复

  • 默认情况下为 macOS 启用 S3 和 ZSTD 功能。 (#42210)
  • 修复 Math group generics 中的绑定。 (#43162)
  • 修复了我们在分组数据集上实现 pull 的错误，现在它返回预期的列。 (#43172)
  • 构建 Arrow R 包所需的最低 Arrow C++ 库版本已提升至 15.0.0 (#42241)

arrow 16.1.0

CRAN 发布：2024-05-25

新功能

  • 现在可以将流写入套接字连接 (#38897)
  • Arrow R 包现在可以使用旧版本的 Arrow C++ 库（追溯到 13.0.0）进行构建 (#39738)

小改进和修复

  • 数据集和表格输出打印现在会截断超过 20 个项目的模式 (#38916)
  • 修复了最新的 reticulate 的 Python 指针转换，以确保数据可以在 Arrow 和 PyArrow 之间传递 (#39969)
  • 检查 macOS 是否正在使用 GNU libtool，并确保我们使用 macOS libtool (#40259)
  • 修复了在 Windows 上创建包含所有依赖项的捆绑 tarball 时失败的错误 (@hutch3232, #40232)

arrow 15.0.1

CRAN 发布：2024-03-12

新功能

  • 添加了 base::prod 的绑定，因此您现在可以在 dplyr 管道中使用它（即，tbl |> summarize(prod(col))），而无需将数据提取到 R 中 (@m-muecke, #38601)。
  • 在 Dataset 对象上调用 dimnames 或 colnames 现在返回有用的结果，而不仅仅是 NULL (#38377)。
  • Schema 对象上的 code() 方法现在接受一个可选的 namespace 参数，当为 TRUE 时，会使用 arrow:: 前缀名称，这使得输出更具可移植性 (@orgadish, #38144)。

小改进和修复

  • 当 ARROW_OFFLINE_BUILD=true 时，不下载 cmake 并更新 SystemRequirements (#39602)。
  • 如果二进制下载失败，则优雅地回退到源构建 (#39587)。
  • 当 sub、gsub、stringr::str_replace、stringr::str_replace_all 的 pattern 中传递的长度 > 1 的值向量时，现在会抛出错误而不是警告并将数据提取到 R 中 (@abfleishman, #39219)。
  • 为 ?open_dataset 添加了缺失的文档，说明如何在 arrow 13.0.0 中使用添加的 ND-JSON 支持 (@Divyansh200102, #38258)。
  • 为了在使用 arrow 与 AWS S3（例如，s3_bucket、S3FileSystem）时更容易调试问题，可以使用 AWS_S3_LOG_LEVEL 环境变量设置 S3 的调试日志级别。有关更多信息，请参阅 ?S3FileSystem。 (#38267)
  • 将 arrow 与 duckdb（即 to_duckdb()）一起使用时，在退出 R 会话时不再会导致警告。 (#38495)
  • 修复了大量小的拼写错误 (@jsoref, #38929, #38257)
  • 开发人员文档已更新，以匹配最近版本中所做的更改 (#38220)

arrow 14.0.2.1

CRAN 发布：2024-02-23

小改进和修复

  • 从源代码构建时检查互联网访问，并回退到最小范围的 Arrow C++ 构建 (#39699)。
  • 默认情况下在 macOS 上从源代码构建，对于旧的行为，请使用 LIBARROW_BINARY=true (#39861)。
  • 支持针对旧版本的 Arrow C++ 进行构建。这目前是选择加入（ARROW_R_ALLOW_CPP_VERSION_MISMATCH=true），并且至少需要 Arrow C++ 13.0.0 (#39739)。
  • 使在 Windows 上可以使用 Rtools 中的 Arrow C++ (在未来的 Rtools 版本中)。(#39986)。

arrow 14.0.2

小改进和修复

  • 修复了由隐式转换引起的 C++ 编译器警告 (#39138, #39186)。
  • 修复了测试期间令人困惑的 dplyr 警告 (#39076)。
  • 添加了缺失的 “-framework Security” pkg-config 标志，以防止在严格的链接器设置下进行编译时出现问题 (#38861)。

arrow 14.0.0.2

CRAN 发布：2023-12-02

小改进和修复

  • 修复了 printf 语法以与格式检查对齐 (#38894)
  • 移除了配置脚本中的 bashism (#38716)。
  • 修复了 README 中的损坏链接 (#38657)
  • 正确转义了 lintr 配置中的许可证标头 (#38639)。
  • 移除了安装脚本测试套件中的虚假警告 (#38571)。
  • 在重构后改进了安装脚本 (#38534)

安装

  • 如果 pkg-config 未能检测到所需的库，则会运行不带 pkg-config 的额外搜索 (#38970)。
  • 在安装开发版本时，获取最新的 nightly Arrow C++ 二进制文件 (#38236)。

arrow 14.0.0.1

CRAN 发布：2023-11-24

小改进和修复

  • 为构建失败添加更多调试输出 (#38819)
  • 增加静态库下载期间的超时时间 (#38767)
  • 修复了 rosetta 检测导致安装失败的错误 (#38754)

arrow 14.0.0

CRAN 发布：2023-11-16

新功能

小的改进和修复

  • 现在 CsvParseOptions 对象创建的文档包含更多关于默认值的信息 (@angela-li, #37909)。
  • 修复了一个代码路径，该路径可能导致在分配失败后从非 R 线程调用 R 代码 (#37565)。
  • 修复了一个从 R 连接读取大型 Parquet 文件时可能出现的问题 (#37274)。
  • 现在 stringr 辅助函数（例如，fixed()、regex() 等）的绑定允许在其参数中可靠地使用变量 (#36784)。
  • 现在可以通过新公开的 ParquetReaderProperties 配置 Thrift 字符串和容器大小限制，允许用户处理具有异常大型元数据的 Parquet 文件 (#36992)。
  • 改进了使用 add_filename() 时产生的错误消息 (@amoeba, #37372)。

安装

  • macOS 构建现在使用与 Linux 相同的安装路径 (@assignUser, #37684)。
  • 现在在 macOS 上进行模拟运行时（即，在 M1/aarch64 上使用 x86 安装的 R；#37777），会在包加载时发出警告消息。
  • 现在在配置和安装期间运行的 R 脚本使用正确的 R 解释器运行 (@meztez, #37225)。
  • 现在失败的 libarrow 构建会返回更详细的输出 (@amoeba, #37727)。
  • 现在 create_package_with_all_dependencies() 可以正确地转义 Windows 上的路径 (#37226)。

arrow 13.0.0.1

CRAN 发布：2023-09-22

  • 删除对旧时区的引用以防止 CRAN 检查失败 (#37671)

arrow 13.0.0

CRAN 发布：2023-08-30

重大更改

  • 仅从 data.frame 继承且不从其他类继承的输入对象现在会删除 class 属性，从而始终从文件读取函数和 arrow_table() 返回 tibble，这使得返回对象的类型具有一致性。 在 Arrow 表格对象上调用 as.data.frame() 现在始终返回 data.frame 对象 (#34775)

新功能

小的改进和修复

  • 可以使用便捷函数 arrow_array() 创建 Arrow 数组 (#36381)
  • 可以使用便捷函数 scalar() 创建 Arrow 标量 (#36265)
  • 通过始终从主 R 线程调用 DuckDB 的 RecordBatchReader::ReadNext()，防止在 arrow 和 duckdb 之间传递数据时崩溃 (#36307)
  • 对于 set_io_thread_count() 且 num_threads < 2 的情况发出警告 (#36304)
  • 确保将缺少的分组变量添加到变量列表的开头 (#36305)
  • CSV 文件读取器选项类对象可以打印所选值 (#35955)
  • 可以将 schema 元数据设置为命名的字符向量 (#35954)
  • 确保 RStringViewer 辅助类不拥有任何 Array 引用 (#35812)
  • 如果 %z 是格式字符串的一部分，则 arrow 中的 strptime() 将返回一个时区感知的 timestamp (#35671)
  • 当组合 group_by() 和 across() 时，列排序现在与 dplyr 匹配 (@eitsupi, #35473)

安装

  • 在使用 autobrew 时链接到正确版本的 OpenSSL (#36551)
  • 在捆绑的构建脚本中需要 cmake 3.16 (#36321)

文档

  • 拆分 R6 类和便捷函数以提高可读性 (#36394)
  • 启用 pkgdown 内置搜索 (@eitsupi, #36374)
  • 重新组织 pkgdown 站点上的参考页面以提高可读性 (#36171)

arrow 12.0.1.1

CRAN 发布：2023-07-18

  • 更新包版本引用，使其仅为文本，而不是数字，因为 CRAN 更新要求这样做 (#36353, #36364)

arrow 12.0.1

CRAN 发布：2023-06-15

  • 更新与 Arrow C++ 库一起提供的日期库的版本，以与 tzdb 0.4.0 兼容 (#35594, #35612)。
  • 更新一些测试，以与 waldo 0.5.1 兼容 (#35131, #35308)。

arrow 12.0.0

CRAN 发布：2023-05-05

新功能

安装

  • Ubuntu 18.04 和 20.04 的托管静态 libarrow 二进制文件之前是在 Ubuntu 18.04 上构建的，该版本将从 5 月起停止接收 LTS 更新
    1. 这些二进制文件现在在 Centos 7 上构建 (#32292, #34048)。

小的改进和修复

  • 修复了与完成 S3 文件系统组件相关的进程退出时发生的崩溃 (#15054, #33858)。
  • 实现 Arrow C++ FetchNode 和 OrderByNode，以提高性能并简化从 dplyr 表达式构建查询计划 (#34437, #34685)。
  • 修复了一个错误，其中根据 arrow_table() 中微妙的参数传递语义写入了不同的 R 元数据 (#35038, #35039)。
  • 改进了尝试将具有 NULL 列名的 data.frame 转换为 Table 时的错误消息 (#15247, #34798)。
  • 更新了 Vignette 以反映 open_csv_dataset() 系列函数的改进 (#33998, #34710)。
  • 修复了当箭头 ALTREP 向量被物化并转换回箭头数组时发生的崩溃问题 (#34211, #34489)。
  • 改进了 conda 安装说明 (#32512, #34398)。
  • 改进了文档 URL 配置 (@eitsupi, #34276)。
  • 更新了迁移到 GitHub 的 JIRA 问题链接 (@eitsupi, #33631, #34260)。
  • dplyr::n() 函数现在映射到 count_all 内核，以提高性能并简化 R 实现 (#33892, #33917)。
  • 改进了使用带有 endpoint_override 的 s3_bucket() 文件系统助手时的体验，并修复了传递某些参数组合时出现的令人惊讶的行为 (@cboettig, #33904, #34009)。
  • 如果 schema 已提供且 col_names = TRUE，则在 open_csv_dataset() 中不再引发错误 (#34217, #34092)。

arrow 11.0.0.3

CRAN 发布：2023-03-08

小的改进和修复

  • open_csv_dataset() 允许指定模式。( #34217 )
  • 为了确保与即将发布的 dplyr 版本兼容，我们不再调用 dplyr:::check_names() (#34369)

arrow 11.0.0.2

CRAN 发布：2023-02-12

重大更改

  • map_batches() 默认是惰性的；现在它返回一个 RecordBatchReader 而不是 RecordBatch 对象列表，除非 lazy = FALSE。 (#14521)

新功能

文档

  • 对许多 vignettes 和 README 进行了大量的重组、重写和添加。( @djnavarro, #14514 )

读取/写入数据

  • 新函数 open_csv_dataset()、open_tsv_dataset() 和 open_delim_dataset() 都包装了 open_dataset() - 它们不提供新功能，但允许提供 readr 风格的选项，从而更简单地在单个文件读取和数据集功能之间切换。( #33614 )
  • 在写入 CSV 文件时，无论是作为数据集还是单个文件，都可以设置用户定义的 null 值。( @wjones127, #14679 )
  • 新的 col_names 参数允许在打开 CSV 数据集时指定列名。( @wjones127, #14705 )
  • 读取单个文件（read_*_arrow() 函数）和数据集（open_dataset() 和新的 open_*_dataset() 函数）的 parse_options、read_options 和 convert_options 参数可以作为列表传递。( #15270 )
  • read_csv_arrow() 可以读取包含重音符的文件路径。( #14930 )

dplyr 兼容性

函数绑定

Arrow 对象创建

  • 可以从 POSIXlt 对象创建 Arrow 标量。( #15277 )
  • Array$create() 可以创建 Decimal 数组。( #15211 )
  • StructArray$create() 可用于创建 StructArray 对象。( #14922 )
  • 从大于 2^31 的对象创建数组具有正确的长度 ( #14929 )

安装

  • 改进了使用预下载二进制文件的脱机安装。( @pgramme, #14086 )
  • 该软件包可以自动链接到 AWS SDK for C++ 的系统安装。( @kou, #14235 )

小的改进和修复

arrow 10.0.1

CRAN 发布：2022-12-06

小的改进和修复

  • 修复了 lubridate 1.9 发布后测试失败的问题 (#14615)
  • 更新以确保与 dev purrr 中的更改兼容 (#14581)
  • 修复了在 dplyr::group_by() 中正确处理 .data 代词的问题 (#14484)

arrow 10.0.0

CRAN 发布：2022-10-26

Arrow dplyr 查询

可以在查询中使用多个新函数

该软件包现在有文档列出了所有 dplyr 方法和 R 函数映射，这些方法和映射在 Arrow 数据上受支持，以及关于在 R 中评估的查询与在 Arrow 查询引擎 Acero 中评估的查询之间的任何功能差异的说明。 请参阅 ?acero。

为连接实现了一些新功能和错误修复

  • 连接现在支持扩展数组，例如，允许连接包含 geoarrow 数据的数据集。
  • 现在支持 keep 参数，允许在连接输出中为左侧和右侧连接键使用单独的列。 完全连接现在合并连接键（当 keep = FALSE 时），避免了连接键对于右侧没有与左侧匹配的行的所有 NA 的问题。

进行了一些更改以提高 API 的一致性

  • 在未来的版本中，默认情况下调用 dplyr::pull() 将返回一个 ?ChunkedArray 而不是 R 向量。当前的默认行为已被弃用。要立即更新到新的行为，请指定 pull(as_vector = FALSE) 或全局设置 options(arrow.pull_as_vector = FALSE)。
  • 在分组的查询上调用 dplyr::compute() 将返回一个 ?Table 而不是一个查询对象。

最后，长时间运行的查询现在可以被取消，并将立即中止其计算。

数组和表格

as_arrow_array() 现在可以接受 blob::blob 和 ?vctrs::list_of，分别转换为二进制数组和列表数组。此外，还修复了当传递 StructArray 时 as_arrow_array() 忽略类型参数的问题。

unique() 函数可以用于 ?Table, ?RecordBatch, ?Dataset 和 ?RecordBatchReader。

读取和写入

write_feather() 可以接受 compression = FALSE 来选择写入未压缩的文件。

此外，write_dataset() 中 IPC 文件的重大更改：将 "ipc" 或 "feather" 传递给 format 现在将写入扩展名为 .arrow 的文件，而不是 .ipc 或 .feather。

安装

从 10.0.0 版本开始，arrow 需要 C++17 才能构建。这意味着

  • 在 Windows 上，您需要 R >= 4.0。9.0.0 版本是最后一个支持 R 3.6 的版本。
  • 在 CentOS 7 上，您可以构建最新版本的 arrow，但首先需要安装比默认系统编译器 gcc 4.8 更新的编译器。有关指导，请参阅 vignette("install", package = "arrow")。请注意，您只需要较新的编译器来构建 arrow：安装二进制软件包（如来自 RStudio Package Manager 的软件包）或加载您已安装的软件包可以使用系统默认设置。

arrow 9.0.0

CRAN 发布：2022-08-10

Arrow dplyr 查询

读取和写入

  • 添加了新函数 read_ipc_file() 和 write_ipc_file()。这些函数与 read_feather() 和 write_feather() 几乎相同，但不同之处在于它们仅针对 IPC 文件（Feather V2 文件），而不是 Feather V1 文件。
  • 自 1.0.0（2020 年 7 月）起已弃用的 read_arrow() 和 write_arrow() 已被删除。对于 IPC 文件，请使用 read_ipc_file() 和 write_ipc_file()，而不是这些函数；对于 IPC 流，请使用 read_ipc_stream() 和 write_ipc_stream()。( #13550)
  • write_parquet() 现在默认写入 Parquet 格式版本 2.4（之前为 1.0）。先前已弃用的参数 properties 和 arrow_properties 已被删除；如果您需要直接处理这些较低级别的属性对象，请使用 ParquetFileWriter，它是 write_parquet() 的包装器。( #13555)
  • UnionDatasets 可以统一具有不同架构的多个 InMemoryDatasets 的架构。( #13088)
  • write_dataset() 再次保留所有架构元数据。在 8.0.0 中，它会删除大多数元数据，破坏了诸如 sfarrow 之类的包。( #13105)
  • 如果文件路径包含压缩扩展名（例如 "data.csv.gz"），则读取和写入函数（例如 write_csv_arrow()）将自动（解）压缩数据。这在本地以及在 S3 和 GCS 等远程文件系统上都有效。( #13183)
  • 可以将 FileSystemFactoryOptions 提供给 open_dataset()，允许您传递诸如要忽略的文件前缀之类的选项。( #13171)
  • 默认情况下，S3FileSystem 不会创建或删除存储桶。要启用该功能，请传递配置选项 allow_bucket_creation 或 allow_bucket_deletion。( #13206)
  • GcsFileSystem 和 gs_bucket() 允许连接到 Google Cloud Storage。( #10999, #13601)

数组和表格

  • Table 和 RecordBatch $num_rows() 方法返回双精度值（之前是整数），避免了大型表格上的整数溢出。( #13482, #13514)

打包

  • R 包和预构建 libarrow 二进制文件的夜间构建的 arrow.dev_repo 现在是 https://nightlies.apache.org/arrow/r/。
  • Brotli 和 BZ2 随 macOS 二进制文件一起提供。BZ2 随 Windows 二进制文件一起提供。( #13484)

arrow 8.0.0

CRAN 发布：2022-05-09

dplyr 和数据集的增强功能

  • open_dataset():
    • 正确支持 skip 参数，用于跳过 CSV 数据集中的标题行。
    • 可以接受具有不同架构的数据集列表，并尝试统一架构以生成 UnionDataset。
  • Arrow dplyr 查询
    • 在 RecordBatchReader 上受支持。例如，这允许将 DuckDB 的结果流式传输回 Arrow，而不是在继续管道之前将其物化。
    • 如果查询包含聚合或连接，则不再需要在写入数据集之前物化整个结果表。
    • 支持 dplyr::rename_with()。
    • dplyr::count() 返回一个未分组的数据框。
  • write_dataset() 在写入分区数据集时，提供了更多用于控制行组和文件大小的选项，例如 max_open_files、max_rows_per_file、min_rows_per_group 和 max_rows_per_group。
  • write_csv_arrow() 接受 Dataset 或 Arrow dplyr 查询。
  • 当 option(use_threads = FALSE) 时，连接一个或多个数据集不再导致 R 崩溃。在 Windows 上，此选项默认为设置。
  • dplyr 连接支持 suffix 参数来处理列名重叠的情况。
  • 使用 is.na() 过滤 Parquet 数据集时，不再遗漏任何行。
  • map_batches() 正确接受 Dataset 对象。

日期和时间支持的增强

可扩展性

  • 为主要的 Arrow 对象添加了 S3 泛型转换函数，例如 as_arrow_array() 和 as_arrow_table()。这包括 Arrow 表格、记录批次、数组、分块数组、记录批次读取器、模式和数据类型。这允许其他包定义从其类型到 Arrow 对象的自定义转换，包括扩展数组。
  • 可以创建和注册自定义的 扩展类型和数组，允许其他包定义自己的数组类型。扩展数组包装常规的 Arrow 数组类型并提供自定义的行为和/或存储。有关描述和示例，请参见 ?new_extension_type。
  • 为所有 vctrs::vec_is() 返回 TRUE 的对象（即任何可以用作 tibble::tibble() 中列的对象）实现了一个泛型扩展类型和 as_arrow_array() 方法，前提是底层 vctrs::vec_data() 可以转换为 Arrow Array。

连接支持

Arrow 数组和表格可以轻松连接

  • 可以使用 concat_arrays() 连接数组，或者，如果需要零拷贝且可以接受分块，则可以使用 ChunkedArray$create()。
  • 可以使用 c() 连接 ChunkedArrays。
  • RecordBatches 和 Tables 支持 cbind()。
  • Tables 支持 rbind()。还提供了 concat_tables() 用于在统一模式的同时连接表格。

其他改进和修复

  • 字典数组在转换为 R 因子时支持使用 ALTREP。
  • 为 ArrowDatum 实现了数学组泛型。这意味着您可以将诸如 sqrt()、log() 和 exp() 之类的基本函数与 Arrow 数组和标量一起使用。
  • read_* 和 write_* 函数支持 R 连接对象以读取和写入文件。
  • Parquet 改进
    • Parquet 写入器支持 Duration 类型列。
    • 数据集 Parquet 读取器消耗更少的内存。
  • median() 和 quantile() 只会警告一次关于近似计算，而不管交互性如何。
  • Array$cast() 可以将 StructArrays 转换为具有相同字段名称和结构（或字段子集）但字段类型不同的另一种结构类型。
  • 删除了对 Solaris 的特殊处理。
  • 在写入字符串列时，CSV 写入器速度更快。
  • 修复了 set_io_thread_count() 会设置 CPU 计数而不是 IO 线程计数的问题。
  • RandomAccessFile 有一个 $ReadMetadata() 方法，该方法提供了文件系统提供的有用的元数据。
  • grepl 绑定为 NA 输入返回 FALSE（之前返回 NA），以匹配 base::grepl() 的行为。
  • create_package_with_all_dependencies() 在 Windows 和 Mac OS 上工作，而不仅仅是 Linux。

arrow 7.0.0

CRAN 发布：2022-02-10

dplyr 和数据集的增强

  • 其他 lubridate 功能：已实现 week()、更多 is.*() 函数以及 month() 的 label 参数。
  • 支持 summarize() 内的更复杂的表达式，例如 ifelse(n() > 1, mean(y), mean(z))。
  • 在 dplyr 管道中添加列时，现在可以使用 tibble 和 data.frame 分别创建 tibbles 或 data.frames 列（例如 ... %>% mutate(df_col = tibble(a, b)) %>% ...）。
  • coalesce() 内支持字典列（R factor 类型）。
  • open_dataset() 在读取 Hive 样式分区文件时接受 partitioning 参数，即使它不是必需的。
  • 已恢复用于对数据集进行自定义操作的实验性 map_batches() 函数。

CSV

  • 现在可以读取具有 UTF 以外编码的分隔文件（包括 CSV）（在读取时使用 encoding 参数）。
  • open_dataset() 正确忽略 CSV 中的字节顺序标记 (BOM)，这对于读取单个文件已经是正确的。
  • 默认情况下，读取数据集在内部使用异步扫描器，这解决了在读取大型 CSV 数据集时可能出现的死锁问题。
  • head() 不再挂起大型 CSV 数据集。
  • 当文件中的标题与作为参数提供的模式/列名之间存在冲突时，会显示改进的错误消息。
  • write_csv_arrow() 现在遵循 readr::write_csv() 的签名。

其他改进和修复

  • 许多小插图已经过重新组织、重构和扩展，以提高它们的实用性和清晰度。
  • 可以使用模式或类型上的 $code() 方法访问用于生成模式（和单个数据类型规范）的代码。这使您可以轻松获取从已具有模式的对象创建模式所需的代码。
  • Arrow Duration 类型已映射到 R 的 difftime 类。
  • 支持 decimal256() 类型。已修改 decimal() 函数以根据 precision 参数的值调用 decimal256() 或 decimal128()。
  • write_parquet() 使用合理的 chunk_size 猜测，而不是始终写入单个块。这提高了读取和写入大型 Parquet 文件的速度。
  • write_parquet() 不再删除分组数据帧的属性。
  • 现在使用 ALTREP 支持分块数组。
  • 由 Arrow 数组支持的 ALTREP 向量不再因排序或取反而意外变异。
  • 可以使用 proxy_options 创建 S3 文件系统。
  • 修复了创建 S3 文件系统时的段错误。
  • Arrow 中的整数除法更接近 R 的行为。

安装

  • 现在，默认情况下，源代码构建会使用 pkg-config 来搜索系统依赖项（例如 libz），并在存在这些依赖项时链接到它们。这个新的默认设置将使在已安装这些依赖项的系统上从源代码构建 Arrow 的速度更快。要保留以前下载并构建所有依赖项的行为，请设置 ARROW_DEPENDENCY_SOURCE=BUNDLED。
  • 在 Linux 构建中，默认启用 Snappy 和 lz4 压缩库。这意味着在不设置任何环境变量的情况下，Arrow 的默认构建将能够读取和写入 snappy 编码的 Parquet 文件。
  • Windows 二进制包包括 brotli 压缩支持。
  • 在 Windows 上构建 Arrow 可以找到本地构建的 libarrow 库。
  • 该软件包可以在 Raspberry Pi OS 上编译和安装。

底层更改

  • 用于在 R 和 Python 之间传递数据的指针的可靠性得到了提高。并保持了与旧版本 pyarrow 的向后兼容性。
  • 用于注册新绑定以便在 dplyr 查询中使用的内部方法已更改。有关其工作原理的更多信息，请参阅关于编写绑定的新 vignette。
  • 不再支持 R 3.3。glue（arrow 传递依赖于它）已停止对其的支持。

arrow 6.0.1

CRAN 发布日期：2021-11-20

  • 连接现在支持包含字典列，并且修复了多个崩溃问题
  • 当处理已被筛选到 0 行的数据时，分组聚合不再崩溃
  • 为 dplyr 查询中的 str_count() 添加了绑定
  • 解决 AWS SDK for C++ 中的一个可能影响 S3 多部分上传的严重错误
  • 已解决 round 内核中的 UBSAN 警告
  • 修复了 Solaris 和旧版本 macOS 上的构建失败问题

arrow 6.0.0

现在有两种方法可以查询 Arrow 数据

1. 扩展的 Arrow 原生查询：聚合和连接

现在，为 Arrow Datasets、Tables 和 RecordBatches 实现了分组和非分组的 dplyr::summarize()。由于数据是分块扫描的，因此您可以对由多个文件支持的内存大于内存的数据集进行聚合。支持的聚合函数包括 n()、n_distinct()、min()、max()、sum()、mean()、var()、sd()、any() 和 all()。还支持带有单个概率的 median() 和 quantile()，并且目前使用 t-digest 算法返回近似结果。

除了 summarize() 之外，您还可以调用 count()、tally() 和 distinct()，它们实际上封装了 summarize()。

此增强功能在某些情况下确实会更改 summarize() 和 collect() 的行为：有关详细信息，请参阅下面的“重大更改”。

除了 summarize() 之外，Arrow 还原生支持带有可变和筛选等式连接（inner_join()、left_join()、right_join()、full_join()、semi_join() 和 anti_join()）。

在这个版本中，分组聚合和（特别是）连接应被视为有些实验性。我们希望它们能够工作，但可能并未针对所有工作负载进行充分优化。为了帮助我们专注于在下一个版本中改进它们，如果您遇到意外行为或性能不佳，请告知我们。

新的非聚合计算函数包括诸如 str_to_title() 和 strftime() 之类的字符串函数，以及用于从日期中提取日期部分（例如 year()、month()）的计算函数。这并非额外的计算函数的完整列表；有关可用计算函数的完整列表，请参阅 list_compute_functions()。

我们还致力于为之前版本中添加的函数填充对所有数据类型（例如 Decimal）的支持。之前版本说明中提到的所有类型限制应不再有效，如果您发现某个函数未针对特定数据类型实现，请报告问题。

2. DuckDB 集成

如果您安装了 duckdb 包，则可以使用 to_duckdb() 函数将 Arrow Dataset 或查询对象传递给 DuckDB 以进行进一步查询。这使您可以使用 duckdb 的 dbplyr 方法及其 SQL 接口来聚合数据。在 to_duckdb() 之前完成的筛选和列投影在 Arrow 中求值，并且 duckdb 也可以将一些谓词下推到 Arrow。这种传递不会复制数据，而是使用 Arrow 的 C 接口（就像在 R 和 Python 之间传递 arrow 数据一样）。这意味着不会产生序列化或数据复制成本。

您还可以获取 duckdb tbl 并调用 to_arrow() 以将数据流式传输到 Arrow 的查询引擎。这意味着在单个 dplyr 管道中，您可以从 Arrow Dataset 开始，在 DuckDB 中求值一些步骤，然后在 Arrow 中求值其余步骤。

重大更改

  • 来自 Dataset 查询的数据的行顺序不再是确定性的。如果需要稳定的排序顺序，则应显式 arrange() 查询结果。对于 summarize() 的调用，您可以设置 options(arrow.summarise.sort = TRUE) 以匹配当前 dplyr 在分组列上排序的行为。
  • 内存中的 Arrow Table 或 RecordBatch 上的 dplyr::summarize() 不再进行预先求值。调用 compute() 或 collect() 来求值查询。
  • 对于内存中的数据和 Datasets，head() 和 tail() 也不再进行预先求值。此外，由于行顺序不再是确定性的，除非您 arrange() 以指定排序，否则它们实际上会从数据集中的某个位置为您提供数据的随机切片。
  • 简单要素 (SF) 列在转换为 Arrow 表（以及保存到 Parquet 或 Feather 时）不再保存其所有元数据。这也包括每个元素都具有属性的任何数据框列（换句话说：行级元数据）。我们以前保存此元数据的方法在 Arrow 查询 + 数据集中既（计算上）效率低下又不可靠。这将对保存 SF 列的影响最大。对于保存这些列，我们建议将这些列转换为众所周知的二进制表示形式（使用 sf::st_as_binary(col)）或使用 sfarrow 包，该包可以处理此转换过程中的一些复杂性。我们计划改进此功能并在将来以安全有效的方式实现保存时重新启用此类自定义元数据。如果您需要保留保存此元数据的 pre-6.0.0 行为，则可以设置 options(arrow.preserve_row_level_metadata = TRUE)。我们将在即将发布的版本中删除此选项。我们强烈建议尽可能避免使用此解决方法，因为将来将不支持结果，并且可能导致意外和不准确的结果。如果您遇到除 sf 列之外的受此影响的自定义类，请报告问题。
  • 在 R < 4.0 (Rtools 3.5) 的 32 位 Windows 上，官方不再支持数据集。32 位 Windows 用户应升级到较新版本的 R 才能使用数据集。

在 Linux 上安装

  • 如果 Arrow C++ 库无法编译，则软件包安装现在将失败。在以前的版本中，如果 C++ 库无法编译，您将获得成功的 R 软件包安装，但它不会执行太多有用的操作。
  • 从源代码构建时，您可以通过设置环境变量 LIBARROW_MINIMAL=true 来禁用所有可选的 C++ 组件。这将具有核心 Arrow/Feather 组件，但不包括 Parquet、Datasets、压缩库和其他可选功能。
  • 现在，源代码包捆绑了 Arrow C++ 源代码，因此无需下载即可构建该软件包。由于包含源代码，因此现在可以在离线/气隙系统上构建该软件包。默认情况下，离线构建将是最小化的，因为它无法下载支持所有功能所需的第三方 C++ 依赖项。为了允许功能齐全的离线构建，包含的 create_package_with_all_dependencies() 函数（也可以在 GitHub 上获得，而无需安装 arrow 软件包）将下载所有第三方 C++ 依赖项并将其捆绑在 R 源代码包中。在连接到网络的系统上运行此函数以生成“胖”源代码包，然后将该 .tar.gz 包复制到您的离线计算机并安装。特别感谢 @karldw 为此付出的巨大努力。
  • 通过设置 ARROW_DEPENDENCY_SOURCE=AUTO，源代码构建可以利用系统依赖项（例如 libz）。这不是此版本中的默认值（BUNDLED，即下载并构建所有依赖项），但将来可能会成为默认值。
  • JSON 库组件（read_json_arrow()）现在是可选的，并且默认情况下仍处于启用状态；在构建之前设置 ARROW_JSON=OFF 以禁用它们。

其他增强功能和修复

  • 在与 R 相互转换时，更多 Arrow 数据类型使用 ALTREP。这会显著加快某些工作流程，而对于其他工作流程，它只是延迟了从 Arrow 到 R 的转换。默认情况下使用 ALTREP，但要禁用它，请设置 options(arrow.use_altrep = FALSE)
  • 现在可以将 Field 对象创建为不可为空的，并且 schema() 现在可以选择接受 Field 的列表
  • 数值除以零现在与 R 的行为匹配，并且不再引发错误
  • 与分组的 data.frame 一起使用时，write_parquet() 不再出错
  • 如果某个表达式在 Arrow 中不受支持，case_when() 现在会干净地报错
  • open_dataset() 现在可以处理没有标题行的 CSV
  • 修复了一个小问题，其中在 read_csv_arrow() 中，简短的 readr 样式类型 T 和 t 被反转
  • 为 log(..., base = b)（其中 b 是 2、e 或 10 以外的其他值）绑定
  • 对我们的 vignettes 进行了一些更新和扩展
  • 修复了将长度为 0 的 ChunkedArrays 转换为 R 向量时的段错误
  • Table$create() 现在具有别名 arrow_table()

内部

  • 我们现在默认使用 testthat 第三版
  • 大量测试重组
  • 样式更改以符合 tidyverse 样式指南 + 使用 lintr

arrow 5.0.0.2

CRAN 发布日期：2021-09-05

此补丁版本包含一些针对清理器和编译器警告的修复。

arrow 5.0.0

CRAN 发布日期：2021-07-29

更多 dplyr

  • 现在有超过 250 个计算函数可用于 dplyr::filter()、mutate() 等。此版本中的新增功能包括

    • 字符串操作：strsplit() 和 str_split()；strptime()；paste()、paste0() 和 str_c()；substr() 和 str_sub()；str_like()；str_pad()；stri_reverse()
    • 日期/时间操作：lubridate 方法，例如 year()、month()、wday() 等
    • 数学：对数 (log() 等)；三角函数 (sin()、cos() 等)；abs()；sign()；pmin() 和 pmax()；ceiling()、floor() 和 trunc()
    • 条件函数，此版本中对输入类型有一些限制：除了 Decimal 类型之外的所有类型的 ifelse() 和 if_else()；仅针对逻辑、数值和时间类型的 case_when()；除了列表/结构体之外的所有类型的 coalesce()。另请注意，在此版本中，因子/字典在这些函数中会转换为字符串。
    • 支持 is.* 函数，并且可以在 relocate() 内部使用

  • 现在，arrow_dplyr_query 的 print 方法包括 mutate() 派生的列的表达式和结果类型。

  • 如果传递参数 .keep、.before 或 .after，transmute() 现在会报错，以与 data.frame 上 dplyr 的行为保持一致。

CSV 写入

  • write_csv_arrow() 使用 Arrow 将 data.frame 写入单个 CSV 文件
  • write_dataset(format = "csv", ...) 将数据集写入 CSV，包括分区

C 接口

  • 添加了对剩余 C 数据接口的绑定：Type、Field 和 RecordBatchReader（来自实验性 C 流接口）。这些还具有 reticulate::py_to_r() 和 r_to_py() 方法。随着添加的 Scanner$ToRecordBatchReader() 方法，现在可以在 R 中构建数据集查询，并将生成的批处理流传递到进程中的另一个工具。
  • C 接口方法在 Arrow 对象上公开（例如，Array$export_to_c()、RecordBatch$import_from_c()），类似于它们在 pyarrow 中的方式。这有助于它们在其他包中的使用。有关使用示例，请参见 py_to_r() 和 r_to_py() 方法。

其他增强功能

  • 将 R data.frame 转换为 Arrow Table 时，跨列使用多线程
  • 某些 Arrow 数组类型在转换为 R 时现在使用 ALTREP。要禁用此功能，请设置 options(arrow.use_altrep = FALSE)
  • 现在，为了与基本 R 保持一致，is.na() 在浮点数字段中的 NaN 值上求值为 TRUE。
  • 现在，为了与基本 R 保持一致，is.nan() 在浮点数字段中的 NA 值上求值为 FALSE，在非浮点数字段中的所有值上求值为 FALSE。
  • Array、ChunkedArray、RecordBatch 和 Table 的其他方法：na.omit() 及其相关项、any()/all()
  • RecordBatch$create() 和 Table$create() 的标量输入会被回收利用
  • arrow_info() 包括有关 C++ 构建的详细信息，例如编译器版本
  • 如果 x 不是 Scalar、Array 或 ChunkedArray，则 match_arrow() 现在会将 x 转换为 Array，并且不再分派 base::match()。
  • 行级元数据现在仅限于读取/写入单个 parquet 或 feather 文件。如果数据集包含行级元数据，则会忽略（并发出警告）数据集的行级元数据。写入具有行级元数据集也会被忽略（并发出警告）。我们正在开发更可靠的实现以支持行级元数据（和其他复杂类型） - 敬请关注。对于使用 {sf} 对象，{sfarrow} 有助于序列化 sf 列并与 geopandas 共享它们。

arrow 4.0.1

CRAN 发布日期：2021-05-28

  • 解决了新字符串计算内核中的一些错误 (#10320、#10287)

arrow 4.0.0.1

CRAN 发布日期：2021-05-10

  • 当在 Linux 上使用包的静态源构建时，mimalloc 内存分配器是默认的内存分配器。这是因为它在 valgrind 下的行为比 jemalloc 更好。一个功能齐全的构建 (使用 LIBARROW_MINIMAL=false 安装) 包含 jemalloc 和 mimalloc，并且仍然以 jemalloc 作为默认值，不过这可以通过 ARROW_DEFAULT_MEMORY_POOL 环境变量在运行时进行配置。
  • 环境变量 LIBARROW_MINIMAL、LIBARROW_DOWNLOAD 和 NOT_CRAN 现在在 Linux 构建脚本中不区分大小写。
  • 已解决 macOS 二进制包中的构建配置问题。

arrow 4.0.0

CRAN 发布日期：2021-04-27

dplyr 方法

在 Arrow 对象上支持更多 dplyr 动词

  • 现在，在 Arrow 中支持 dplyr::mutate() 的许多应用程序。对于 Arrow 中尚不支持的 Table 和 RecordBatch 查询，该实现会回退到首先将数据提取到内存中的 R data.frame 中，就像上一个版本一样。对于 Dataset（可能大于内存）的查询，如果未实现该函数，则会引发错误。无法在 Arrow 对象上调用的主要 mutate() 功能是 (1) group_by() 之后的 mutate()（通常与聚合结合使用）和 (2) 使用 dplyr::across() 的查询。
  • dplyr::transmute()（调用 mutate()）
  • dplyr::group_by() 现在保留 .drop 参数并支持列的即时定义
  • dplyr::relocate() 用于重新排序列
  • dplyr::arrange() 用于对行进行排序
  • dplyr::compute() 用于评估惰性表达式并返回 Arrow Table。这等效于 dplyr::collect(as_data_frame = FALSE)，后者在 2.0.0 中添加。

现在，可以在 dplyr 动词内的 Arrow 对象上调用 100 多个函数

  • 字符串函数 nchar()、tolower() 和 toupper()，以及它们的 stringr 拼写 str_length()、str_to_lower() 和 str_to_upper()，在 Arrow dplyr 调用中受支持。str_trim() 也受支持。
  • 正则表达式函数 sub()、gsub() 和 grepl()，以及 str_replace()、str_replace_all() 和 str_detect()，受支持。
  • cast(x, type) 和 dictionary_encode() 允许更改 Arrow 对象中列的类型；as.numeric()、as.character() 等被公开为类似的类型更改便捷方式
  • dplyr::between()；Arrow 版本还允许 left 和 right 参数为数据中的列，而不仅仅是标量
  • 此外，任何 Arrow C++ 计算函数都可以在 dplyr 动词内部调用。这使您可以访问没有直接 R 映射的 Arrow 函数。请参阅 list_compute_functions() 获取所有可用函数，这些函数在 dplyr 中以 arrow_ 为前缀提供。
  • 现在，在对具有不同类型（例如，int32 和 float64）的数据调用时，Arrow C++ 计算函数会进行更系统的类型提升。以前，表达式中的标量始终被强制转换为与相应数组类型匹配的类型，因此这种新的类型提升启用了对数据集中两个列（数组）的操作等功能。作为副作用，不再支持某些在先前版本中有效的比较：例如，dplyr::filter(arrow_dataset, string_column == 3) 会因数字 3 和 string_column 的字符串类型之间的类型不匹配而报错。

数据集

  • open_dataset() 现在接受文件路径向量（甚至是一个文件路径）。除其他事项外，这使您可以打开一个非常大的文件，并使用 write_dataset() 对其进行分区，而无需将整个文件读取到内存中。
  • 数据集现在可以检测和读取压缩 CSV 的目录
  • write_dataset() 现在默认为 format = "parquet"，并更好地验证 format 参数
  • 现在可以正确处理 open_dataset() 中 schema 的无效输入
  • 现在从数据集中收集 0 列不再返回所有列
  • Scanner$Scan() 方法已移除；请使用 Scanner$ScanBatches()

其他改进

  • value_counts() 用于制表 Array 或 ChunkedArray 中的值，类似于 base::table()。
  • StructArray 对象获得了类似 data.frame 的方法，包括 names()、$、[[ 和 dim()。
  • 现在可以通过使用 $ 或 [[ 进行赋值 (<-) 来添加、替换或删除 RecordBatch 列
  • 类似地，现在可以通过在新的类型中赋值来编辑 Schema。这使得可以使用 CSV 读取器检测文件的 schema，修改 Schema 对象以将任何列作为不同的类型读取，然后使用该 Schema 读取数据。
  • 在创建具有 schema、不同长度的列以及标量值回收的 Table 时，进行了更好的验证
  • 在 Windows 上，读取日语或其他多字节区域设置的 Parquet 文件不再挂起（修复了 libstdc++ 中的错误；感谢 @yutannihilation 的坚持不懈！）
  • 如果您尝试读取包含嵌入的 nul (\0) 字符的字符串数据，则错误消息现在会通知您可以设置 options(arrow.skip_nul = TRUE) 来将其删除。不建议默认设置此选项，因为此代码路径会明显变慢，并且大多数字符串数据不包含 nul。
  • read_json_arrow() 现在接受 schema：read_json_arrow("file.json", schema = schema(col_a = float64(), col_b = string()))

安装和配置

  • R 包现在可以支持使用禁用附加功能（例如数据集、parquet、字符串库）的 Arrow C++ 库，并且捆绑的构建脚本允许设置环境变量以禁用这些功能。有关详细信息，请参阅 vignette("install", package = "arrow")。这可以在有用情况下实现更快、更小的软件包构建，并且可以在 Solaris 上实现最小且可用的 R 软件包构建。
  • 在 macOS 上，现在可以通过设置环境变量 FORCE_BUNDLED_BUILD=true 来使用与 Linux 上默认使用的相同的捆绑 C++ 构建，以及其所有自定义参数。
  • 如果可用（就像在 CRAN 二进制文件中一样），arrow 现在默认在 macOS 上使用 mimalloc 内存分配器，而不是 jemalloc。jemalloc 在 macOS 上存在 配置问题，并且 基准分析 表明这对性能有负面影响，尤其是在内存密集型工作流程中。jemalloc 仍然是 Linux 上的默认值；mimalloc 是 Windows 上的默认值。
  • 当 Arrow C++ 库被静态链接时（通常是在从 CRAN 安装时），将 ARROW_DEFAULT_MEMORY_POOL 环境变量设置为切换内存分配器现在可以正常工作。
  • arrow_info() 函数现在会报告其他可选功能，以及检测到的 SIMD 级别。如果构建中未启用关键功能或压缩库，则 arrow_info() 将参考安装小插曲，以指导您如何安装更完整的构建（如果需要）。
  • 如果您尝试读取使用您的 Arrow 构建不支持的编解码器压缩的文件，则错误消息现在会告诉您如何重新安装 Arrow 并启用该功能。
  • 关于开发人员环境设置的新小插曲 vignette("developing", package = "arrow")。
  • 从源代码构建时，可以使用环境变量 ARROW_HOME 指向 Arrow 库所在的特定目录。这类似于传递 INCLUDE_DIR 和 LIB_DIR。

arrow 3.0.0

CRAN 发布：2021-01-27

Python 和 Flight

  • Flight 方法 flight_get() 和 flight_put()（在此版本中从 push_data() 重命名）可以处理 Tables 和 RecordBatches
  • flight_put() 获得了一个 overwrite 参数，用于选择性地检查是否存在具有相同名称的资源
  • list_flights() 和 flight_path_exists() 使您可以查看 Flight 服务器上可用的资源
  • Schema 对象现在具有 r_to_py 和 py_to_r 方法
  • 将表转换为 Python 或从 Python 转换时，会正确保留 Schema 元数据

增强功能

  • 在 Arrays 和 ChunkedArrays 上支持算术运算 (+, * 等)，并且可以在 Arrow dplyr 管道中的过滤器表达式中使用
  • 现在可以通过使用 $ 或 [[ 进行赋值 (<-) 来添加、替换或删除表列
  • 可以通过分配 names() 来重命名表和 RecordBatches 的列名
  • 现在可以将大型字符串类型写入 Parquet 文件
  • 现在在 Arrow dplyr 管道中完全支持 rlang 代词 .data 和 .env。
  • 选项 arrow.skip_nul（默认值为 FALSE，如 base::scan() 中），允许将包含嵌入的 nul \0 字符的 Arrow 字符串 (utf8()) 类型数据转换为 R。如果设置为 TRUE，则会删除 nul，并且如果找到任何 nul，则会发出警告。
  • arrow_info() 用于概述各种运行时和构建时 Arrow 配置，可用于调试
  • 在加载 Arrow 包之前设置环境变量 ARROW_DEFAULT_MEMORY_POOL，以更改内存分配器。Windows 包是使用 mimalloc 构建的；大多数其他包是使用 jemalloc（默认使用）和 mimalloc 构建的。这些备用内存分配器通常比系统内存分配器快得多，因此在可用时默认使用，但有时为了调试目的而关闭它们会很有用。要禁用它们，请设置 ARROW_DEFAULT_MEMORY_POOL=system。
  • 每个元素都具有属性的列表列现在也包含在创建 Arrow 表时保存的元数据中。这允许 sf tibbles 被忠实地保留并往返 (#8549)。
  • 超过 100Kb 的 R 元数据现在在写入表之前会被压缩；有关详细信息，请参阅 schema()。

Bug 修复

  • 修复了将 Arrow 字符串类型转换为 R 时在 2.0.0 版本中存在的性能回归
  • C++ 函数现在在需要时触发垃圾回收
  • write_parquet() 现在可以写入 RecordBatches
  • 从包含 0 个批次的 RecordBatchStreamReader 读取表不再崩溃
  • 当转换为 Arrow RecordBatch 和表时，将删除 readr 的 problems 属性，以防止大量元数据意外累积 (#9092)
  • 修复了读取使用 Arrow 0.17 写入的压缩 Feather 文件的问题 (#9128)
  • SubTreeFileSystem 获得了一个有用的打印方法，并且在打印时不再出错

打包和安装

  • conda r-arrow 包的夜间开发版本可通过 conda install -c arrow-nightlies -c conda-forge --strict-channel-priority r-arrow 获取
  • Linux 安装现在可以安全地支持较旧的 cmake 版本
  • 用于启用 S3 支持的编译器版本检查会正确识别活动的编译器
  • 在 vignette("install", package = "arrow") 中更新了指导和故障排除，特别是针对已知的 CentOS 问题
  • Linux 上的操作系统检测使用 distro 包。如果您的操作系统未被正确识别，请在那里报告问题。

arrow 2.0.0

CRAN 发布：2020-10-20

数据集

  • 使用分区的 write_dataset() 将数据写入 Feather 或 Parquet 文件。有关讨论和示例，请参阅 vignette("dataset", package = "arrow") 的结尾。
  • 数据集现在具有 head()、tail() 和 take ([) 方法。head() 已优化，但其他方法可能性能不佳。
  • collect() 获得了一个 as_data_frame 参数，默认为 TRUE，但当 FALSE 时，允许您评估累积的 select 和 filter 查询，但将结果保留在 Arrow 中，而不是 R data.frame 中
  • read_csv_arrow() 支持使用 Schema 和 readr 包中使用的类型紧凑字符串表示形式来指定列类型。它还获得了一个 timestamp_parsers 参数，使您可以表达一组 strptime 解析字符串，这些字符串将尝试转换指定为 Timestamp 类型的列。

AWS S3 支持

  • 现在在二进制 macOS 和 Windows（仅限 Rtools40，即 R >= 4.0）包中启用了 S3 支持。要在 Linux 上启用它，您需要额外的系统依赖项 libcurl 和 openssl，以及足够现代的编译器。有关详细信息，请参阅 vignette("install", package = "arrow")。
  • 文件读取器和写入器 (read_parquet()、write_feather() 等)，以及 open_dataset() 和 write_dataset()，允许您通过提供 s3:// URI 或提供 FileSystem$path() 来访问 S3 上的资源（或模拟 S3 的文件系统）。有关示例，请参阅 vignette("fs", package = "arrow")。
  • copy_files() 允许您以递归方式将文件目录从一个文件系统复制到另一个文件系统，例如从 S3 复制到本地计算机。

Flight RPC

Flight 是一种通用的客户端-服务器框架，用于通过网络接口高性能传输大型数据集。arrow R 包现在提供了用于连接到 Flight RPC 服务器以发送和接收数据的方法。有关概述，请参阅 vignette("flight", package = "arrow")。

计算

  • 比较 (==、> 等) 和布尔 (&、|、!) 运算，以及 is.na、%in% 和 match (称为 match_arrow())，现在在 C++ 库中为 Arrow Arrays 和 ChunkedArrays 实现。
  • 聚合方法 min()、max() 和 unique() 已为 Arrays 和 ChunkedArrays 实现。
  • 现在在 C++ 库中评估 Arrow 表和 RecordBatches 上的 dplyr 筛选器表达式，而不是通过将数据提取到 R 并进行评估。这会产生显着的性能改进。
  • 现在支持 Table/RecordBatch 上 dplyr 查询的 dim() (nrow)

打包和安装

  • arrow 现在依赖于 cpp11，这带来了更强大的 UTF-8 处理和更快的编译速度。
  • Linux 构建脚本现在可以在旧版本的 R 上成功运行。
  • macOS 二进制包现在启用了 zstandard 压缩。

错误修复和其他增强功能

  • 当所有值都适合 R 32 位整数时，Arrow Int64 类型的自动转换现在可以正确检查 ChunkedArray 中的所有块。可以通过设置 options(arrow.int64_downcast = FALSE) 来禁用此转换（以便 Int64 始终生成 bit64::integer64 向量）。
  • 除了在 1.0.0 版本中添加的往返过程中保留的 data.frame 列元数据外，现在 data.frame 本身的属性也保留在 Arrow 模式元数据中。
  • 文件写入器现在遵循系统 umask 设置。
  • ParquetFileReader 具有用于从文件中访问单个列或行组的其他方法。
  • 修复了各种段错误：ParquetFileWriter 中的无效输入；来自已保存 R 对象的无效 ArrowObject 指针；将深度嵌套的结构从 Arrow 转换为 R。
  • write_parquet() 的 properties 和 arrow_properties 参数已弃用。

arrow 1.0.1

CRAN 发布日期：2020-08-28

错误修复

  • 使用 %in% 表达式过滤具有多个分区键的 Dataset 现在可以忠实地返回所有相关行。
  • 数据集现在可以在根目录中包含以 . 或 _ 开头的路径段；以这些前缀开头的文件和子目录仍然会被忽略。
  • open_dataset("~/path") 现在可以正确扩展路径。
  • write_parquet() 的 version 选项现在已正确实现。
  • 已修复 parquet-cpp 库中的一个 UBSAN 失败。
  • 对于捆绑的 Linux 构建，查找 cmake 的逻辑更加健壮，您现在可以通过设置 CMAKE 环境变量来指定 /path/to/cmake。

arrow 1.0.0

CRAN 发布日期：2020-07-25

Arrow 格式转换

  • vignette("arrow", package = "arrow") 包含解释 R 类型如何转换为 Arrow 类型以及反之亦然的表格。
  • 添加了对转换为/从更多 Arrow 类型转换的支持：uint64、binary、fixed_size_binary、large_binary、large_utf8、large_list、structs 的 list。
  • 超过 2GB 的 character 向量将转换为 Arrow large_utf8 类型。
  • POSIXlt 对象现在可以转换为 Arrow（struct）。
  • 当转换为 Arrow RecordBatch 和 table 时，R attributes() 会保留在 Arrow 元数据中，并且在从 Arrow 转换时会恢复。这意味着自定义子类，例如 haven::labelled，会在通过 Arrow 的往返过程中保留。
  • 模式元数据现在以命名列表的形式公开，并且可以通过赋值进行修改，例如 batch$metadata$new_key <- "new value"。
  • 如果所有值都在范围内，Arrow 类型 int64、uint32 和 uint64 现在会转换为 R integer。
  • Arrow date32 现在转换为具有 double 底层存储的 R Date。即使数据值本身是整数，这也能提供更严格的往返保真度。
  • 当转换为 R factor 时，没有相同字典的 dictionary ChunkedArrays 会正确统一。
  • 在 1.0 版本中，Arrow IPC 元数据版本从 V4 增加到 V5。默认情况下，RecordBatch{File,Stream}Writer 将写入 V5，但您可以指定备用 metadata_version。为了方便起见，如果您知道您要写入的消费者无法读取 V5，您可以设置环境变量 ARROW_PRE_1_0_METADATA_VERSION=1 来写入 V4，而无需更改任何其他代码。

数据集

  • 现在支持 CSV 和其他文本分隔数据集。
  • 通过自定义 C++ 构建，可以通过传递类似 ds <- open_dataset("s3://...") 的 URL 直接在 S3 上读取数据集。请注意，这目前需要使用其他依赖项的特殊 C++ 库构建 - 这在 CRAN 版本或每晚软件包中尚不可用。
  • 读取单个 CSV 和 JSON 文件时，会自动从文件扩展名检测压缩。

其他增强功能

  • C++ 聚合方法的初始支持：为 Array 和 ChunkedArray 实现了 sum() 和 mean()。
  • Tables 和 RecordBatches 具有其他类似 data.frame 的方法，包括 dimnames() 和 as.list()。
  • 现在可以通过 reticulate 将 Tables 和 ChunkedArrays 移动到 Python/从 Python 移动。

错误修复和弃用

  • 当传递到 Arrow 内存时，非 UTF-8 字符串（在 Windows 上很常见）会正确强制转换为 UTF-8，并在转换为 R 时适当重新本地化。
  • write_parquet() 的 coerce_timestamps 选项现在已正确实现。
  • 如果用户提供，则创建 Dictionary 数组会遵循 type 定义。
  • read_arrow 和 write_arrow 现在已弃用；请使用 read/write_feather() 和 read/write_ipc_stream() 函数，具体取决于您使用的是 Arrow IPC 文件还是流格式。
  • 以前已弃用的 FileStats、read_record_batch 和 read_table 已被删除。

安装和打包

  • 为了提高内存分配性能，macOS 和 Linux 二进制文件现在包含 jemalloc，而 Windows 包使用 mimalloc。
  • Linux 安装：对二进制文件的 OS 检测进行了一些调整，对 vignette 中已知的安装问题进行了一些更新。
  • 捆绑的 libarrow 是使用 R 使用的相同 CC 和 CXX 值构建的。
  • 无法构建捆绑的 libarrow 会产生明确的消息。
  • 为减少库大小和编译时间而进行的各种简化工作。

arrow 0.17.1

CRAN 发布日期：2020-05-19

  • 为兼容 dplyr 1.0 进行更新。
  • reticulate::r_to_py() 转换现在可以自动正确工作，而无需自行调用该方法。
  • C++ 库中围绕 Parquet 读取的各种错误修复。

arrow 0.17.0

CRAN 发布日期：2020-04-21

Feather v2

此版本包含对 Feather 文件格式版本 2 的支持。Feather v2 完全支持所有 Arrow 数据类型，修复了大量字符串数据的每个列 2GB 限制，并且允许使用 lz4 或 zstd 压缩文件。write_feather() 可以写入版本 2 或 版本 1 Feather 文件，并且 read_feather() 会自动检测它正在读取的文件版本。

与此更改相关，已重做围绕读取和写入数据的多个函数。添加了 read_ipc_stream() 和 write_ipc_stream()，以方便将数据写入 Arrow IPC 流格式，这与 IPC 文件格式略有不同（Feather v2 是 IPC 文件格式）。

行为已标准化：所有 read_<format>() 返回 R data.frame（默认）或 Table（如果参数 as_data_frame = FALSE）；所有 write_<format>() 函数都不可见地返回数据对象。为了方便某些工作流程，添加了特殊的 write_to_raw() 函数来包装 write_ipc_stream() 并返回包含写入缓冲区的 raw 向量。

为了实现这种标准化，read_table()、read_record_batch()、read_arrow() 和 write_arrow() 已被弃用。

Python 互操作性

0.17 Apache Arrow 版本包含一个 C 数据接口，允许在 C 级别以进程内交换 Arrow 数据，而无需复制，也无需库之间具有相互构建或运行时依赖项。这使我们能够使用 reticulate 在 R 和 Python (pyarrow) 之间高效地共享数据。

有关详细信息，请参阅 vignette("python", package = "arrow")。

数据集

  • 数据集读取受益于 C++ 库中的许多加速和修复。
  • 数据集具有 dim() 方法，该方法对所有文件中的行求和 (#6635, @boshek)。
  • 使用 c() 方法将多个数据集组合到单个可查询的 UnionDataset 中。
  • 数据集过滤现在将 NA 视为 FALSE，与 dplyr::filter() 一致。
  • 现在为所有 Arrow 日期/时间/时间戳列类型正确支持数据集过滤。
  • vignette("dataset", package = "arrow") 现在具有正确的可执行代码。

安装

  • Linux 上的安装现在默认从源代码构建 C++ 库，并禁用一些压缩库。为了实现更快、更丰富的构建，请设置环境变量 NOT_CRAN=true。有关详细信息和更多选项，请参阅 vignette("install", package = "arrow")。
  • 在更多 Linux 发行版上，源代码安装更快、更可靠。

其他错误修复和增强功能

  • unify_schemas() 用于创建包含多个模式中字段并集的 Schema。
  • 时区在 R 和 Arrow 之间的往返过程中得到忠实保留。
  • read_feather() 和其他读取器函数会关闭它们打开的任何文件连接。
  • 当同时加载 R.oo 包时，Arrow R6 对象不再发生命名空间冲突。
  • FileStats 重命名为 FileInfo，原始拼写已被弃用。

arrow 0.16.0.2

CRAN 发布日期：2020-02-14

  • install_arrow() 现在安装最新版本的 arrow，包括 Linux 依赖项，适用于 CRAN 版本或开发版本（如果 nightly = TRUE）。
  • 除非设置了 LIBARROW_DOWNLOAD 或 NOT_CRAN 环境变量，否则 Linux 上的软件包安装不再下载 C++ 依赖项。
  • write_feather()、write_arrow() 和 write_parquet() 现在返回其输入，类似于 readr 包中的 write_* 函数 (#6387, @boshek)。
  • 现在可以推断 R list 的类型，并在所有列表元素的类型相同时创建 ListArray (#6275, @michaelchirico)。

arrow 0.16.0

CRAN 发布日期：2020-02-09

多文件数据集

此版本包含一个针对 Arrow Datasets 的 dplyr 接口，让您能够高效地将大型多文件数据集作为一个整体进行处理。使用 open_dataset() 探索数据文件目录，然后使用 dplyr 方法进行 select()、filter() 等操作。计算将尽可能在 Arrow 内存中完成。必要时，数据将被拉取到 R 中进行进一步计算。如果您安装了 dplyr，则会条件性地加载 dplyr 方法；它不是一个硬性依赖。

有关详细信息，请参阅 vignette("dataset", package = "arrow")。

Linux 安装

源程序包安装（如从 CRAN 安装）现在会自动处理其 C++ 依赖项。对于常见的 Linux 发行版和版本，安装将检索预构建的静态 C++ 库以包含在程序包中；如果此二进制文件不可用，则程序包将执行一个捆绑的脚本，该脚本应在除了 R 所需的系统依赖项之外没有任何其他系统依赖项的情况下构建 Arrow C++ 库。

有关详细信息，请参阅 vignette("install", package = "arrow")。

数据探索

  • Table 和 RecordBatch 也具有 dplyr 方法。
  • 对于不使用 dplyr 的探索，[ 方法（用于 Tables、RecordBatches、Arrays 和 ChunkedArrays）现在支持自然的行提取操作。这些方法使用 C++ 的 Filter、Slice 和 Take 方法进行高效访问，具体取决于选择向量的类型。
  • 还添加了一个实验性的、延迟计算的 array_expression 类，该类使得能够在不先将所有内容拉入 R 的情况下，使用 Array 的某些函数（例如 arrow_table[arrow_table$var1 > 5, ]）来筛选 Table。

压缩

  • write_parquet() 现在支持压缩
  • codec_is_available() 返回 TRUE 或 FALSE，指示 Arrow C++ 库是否构建为支持给定的压缩库（例如 gzip、lz4、snappy）
  • Windows 构建现在包括对 zstd 和 lz4 压缩的支持 (#5814, @gnguy)

其他修复和改进

  • 现在支持 Arrow null 类型
  • 因子类型现在可以通过 Parquet 格式的往返过程进行保留 (#6135, @yutannihilation)
  • 读取 Arrow 字典类型会将字典值强制转换为 character（因为 R factor 级别必须是字符），而不是引发错误
  • 对 Parquet 函数文档的许多改进 (@karldw, @khughitt)

arrow 0.15.1

CRAN 发布日期：2019-11-04

  • 此补丁版本包含 C++ 库中围绕字典类型和 Parquet 读取的错误修复。

arrow 0.15.0

CRAN 发布日期：2019-10-07

重大更改

  • 包装 C++ 类的 R6 类现在已记录并导出，并且已重命名为更符合 R 的习惯。此程序包中高级 R 接口的用户不受影响。那些想要更直接地与 Arrow C++ API 交互的人应该使用这些对象和方法。作为此更改的一部分，许多实例化这些 R6 对象的功能已被删除，转而使用 Class$create() 方法。值得注意的是，arrow::array() 和 arrow::table() 已被删除，转而使用 Array$create() 和 Table$create()，从而消除了有关屏蔽 base 函数的程序包启动消息。有关更多信息，请参阅新的 vignette("arrow")。
  • 由于 Arrow 消息格式的细微变化，0.15 版本库写入的数据可能无法被旧版本读取。如果您需要将数据发送到使用旧版本 Arrow 的进程（例如，尚未更新到 Arrow 0.15 的 Apache Spark 服务器），则可以设置环境变量 ARROW_PRE_0_15_IPC_FORMAT=1。
  • read_*() 函数中的 as_tibble 参数已重命名为 as_data_frame (#5399, @jameslamb)
  • arrow::Column 类已被删除，因为它已从 C++ 库中删除

新功能

  • Table 和 RecordBatch 对象具有 S3 方法，使您能够像处理 data.frame 一样处理它们。提取列、子集等等。有关示例，请参阅 ?Table 和 ?RecordBatch。
  • C++ 文件系统 API 的绑定初始实现。(#5223)
  • 现在 Windows 上支持压缩流 (#5329)，您还可以指定压缩级别 (#5450)

其他升级

  • 由于 Arrow C++ 库的改进，Parquet 文件读取速度大大加快。
  • read_csv_arrow() 支持更多解析选项，包括 col_names、na、quoted_na 和 skip
  • read_parquet() 和 read_feather() 可以从 raw 向量中摄取数据 (#5141)
  • 文件读取器现在可以正确处理需要扩展的路径，例如 ~/file.parquet (#5169)
  • 改进了在架构中创建类型的支持：保证类型的打印名称（例如，“double”）在实例化架构时有效使用（例如，double()），并且可以使用人性化的分辨率字符串（“ms”、“s”等）创建时间类型。( #5198, #5201)

arrow 0.14.1

CRAN 发布日期：2019-08-05

arrow 程序包的初始 CRAN 发布版本。主要功能包括：

  • 支持读取和写入各种文件格式，包括 Parquet、Feather/Arrow、CSV 和 JSON。
  • Arrow 数据类型和对象的 C++ 库 API 绑定，以及 Arrow 类型和 R 数据类型之间的映射。
  • 帮助进行 C++ 库配置和安装的工具。