将 Parquet 文件写入磁盘 — write_parquet • Arrow R 包

Parquet 是一种列式存储文件格式。此函数允许您从 R 编写 Parquet 文件。

用法

write_parquet(
  x,
  sink,
  chunk_size = NULL,
  version = "2.4",
  compression = default_parquet_compression(),
  compression_level = NULL,
  use_dictionary = NULL,
  write_statistics = NULL,
  data_page_size = NULL,
  use_deprecated_int96_timestamps = FALSE,
  coerce_timestamps = NULL,
  allow_truncated_timestamps = FALSE
)

参数

x: data.frame、RecordBatch 或 Table
sink: 字符串文件路径、连接、URI 或 OutputStream，或文件系统 (SubTreeFileSystem) 中的路径
chunk_size: 一次写入磁盘的数据行数。这直接对应于 parquet 中每个行组中的行数。如果为 NULL，将根据列数和行数最佳猜测最佳大小，但如果数据少于 2.5 亿个单元格（行 x 列），则使用总行数。
version: parquet 版本："1.0"、"2.0"（已弃用）、"2.4"（默认）、"2.6" 或 "latest"（当前等同于 2.6）。数值将被强制转换为字符。
compression: 压缩算法。默认为 "snappy"。详见详情。
compression_level: 压缩级别。含义取决于压缩算法
use_dictionary: 逻辑值：是否使用字典编码？默认为 TRUE
write_statistics: 逻辑值：是否包含统计信息？默认为 TRUE
data_page_size: 设置列块中数据页的近似编码大小的目标阈值（以字节为单位）。默认为 1 MiB。
use_deprecated_int96_timestamps: 逻辑值：是否将时间戳写入已弃用的 INT96 Parquet 格式？默认为 FALSE。
coerce_timestamps: 将时间戳转换为特定分辨率。可以是 NULL、“ms”或“us”。默认为 NULL（不转换）
allow_truncated_timestamps: 逻辑值：将时间戳强制转换为特定分辨率时允许数据丢失。例如，如果将微秒或纳秒数据强制转换为“ms”时丢失，则不引发异常。默认为 FALSE。

返回值

输入 x 不可见。

详情

由于格式的特点，Parquet 文件无法追加。如果您想使用 Parquet 格式但也希望能够扩展数据集，您可以写入其他 Parquet 文件，然后将整个文件目录视为可以查询的 Dataset。有关示例，请参阅数据集文章。

参数 compression、compression_level、use_dictionary 和 write_statistics 支持各种模式

默认值 NULL 使参数未指定，C++ 库对每一列使用适当的默认值（默认值如上所列）
单个未命名值（例如 compression 的单个字符串）适用于所有列
与列数大小相同的未命名向量，用于按位置顺序指定每列的值
命名向量，用于指定命名列的值，未提供时使用设置的默认值

compression 参数可以是以下任意值（不区分大小写）："uncompressed"、"snappy"、"gzip"、"brotli"、"zstd"、"lz4"、"lzo" 或 "bz2"。仅保证 "uncompressed" 可用，但 "snappy" 和 "gzip" 几乎总是包含在内。请参阅 codec_is_available()。如果可用，则使用默认值 "snappy"，否则使用 "uncompressed"。要禁用压缩，请设置 compression = "uncompressed"。请注意，“未压缩”列可能仍具有字典编码。

另请参阅

有关 Parquet 写入的低级接口，请参阅 ParquetFileWriter。

示例

tf1 <- tempfile(fileext = ".parquet")
write_parquet(data.frame(x = 1:5), tf1)

# using compression
if (codec_is_available("gzip")) {
  tf2 <- tempfile(fileext = ".gz.parquet")
  write_parquet(data.frame(x = 1:5), tf2, compression = "gzip", compression_level = 5)
}