跳至内容

将 Parquet 文件写入磁盘

来源: R/parquet.R
write_parquet.Rd

Parquet 是一种列式存储文件格式。此函数使您能够从 R 中写入 Parquet 文件。

用法

write_parquet(
  x,
  sink,
  chunk_size = NULL,
  version = "2.4",
  compression = default_parquet_compression(),
  compression_level = NULL,
  use_dictionary = NULL,
  write_statistics = NULL,
  data_page_size = NULL,
  use_deprecated_int96_timestamps = FALSE,
  coerce_timestamps = NULL,
  allow_truncated_timestamps = FALSE
)

参数

x

data.frame、RecordBatch 或 Table

sink

字符串文件路径、连接、URI 或 OutputStream，或文件系统中的路径 (SubTreeFileSystem)

chunk_size

一次写入磁盘的数据行数。这直接对应于 Parquet 中每个行组中的行数。如果为 NULL，则会根据列数和行数做出最佳大小猜测，但如果数据少于 2.5 亿个单元格（行 x 列），则使用总行数。

version

Parquet 版本："1.0"、"2.0"（已弃用）、"2.4"（默认）、"2.6" 或 "latest"（目前等效于 2.6）。数值将强制转换为字符。

compression

压缩算法。默认为 "snappy"。请参阅详细信息。

compression_level

压缩级别。含义取决于压缩算法

use_dictionary

逻辑值：使用字典编码？默认为 TRUE

write_statistics

逻辑值：包含统计信息？默认为 TRUE

data_page_size

设置列块中数据页的近似编码大小的目标阈值（以字节为单位）。默认为 1 MiB。

use_deprecated_int96_timestamps

逻辑值：将时间戳写入已弃用的 INT96 Parquet 格式？默认为 FALSE。

coerce_timestamps

将时间戳转换为特定分辨率。可以是 NULL、"ms" 或 "us"。默认为 NULL（不转换）

allow_truncated_timestamps

逻辑值：在将时间戳转换为特定分辨率时允许丢失数据。例如，如果在转换为 "ms" 时丢失了微秒或纳秒数据，则不要引发异常。默认为 FALSE。

返回值

输入 x（隐式）。

详细信息

由于格式的特性，Parquet 文件无法追加。如果您想使用 Parquet 格式但又希望能够扩展数据集，您可以写入其他 Parquet 文件，然后将整个文件目录视为可以查询的 Dataset。请参阅 数据集文章 以获取此方面的示例。

参数 compression、compression_level、use_dictionary 和 write_statistics 支持各种模式

  • 默认的 NULL 未指定参数，C++ 库为每列使用适当的默认值（上面列出的默认值）

  • 单个未命名值（例如，compression 的单个字符串）应用于所有列

  • 未命名向量，大小与列数相同，用于按位置顺序为每列指定一个值

  • 命名向量，用于指定命名列的值，未提供时使用设置的默认值

compression 参数可以是以下任何一个（不区分大小写）："uncompressed"、"snappy"、"gzip"、"brotli"、"zstd"、"lz4"、"lzo" 或 "bz2"。只有 "uncompressed" 保证可用，但 "snappy" 和 "gzip" 几乎总是包含在内。请参阅 codec_is_available()。如果可用，则使用默认的 "snappy"，否则使用 "uncompressed"。要禁用压缩，请设置 compression = "uncompressed"。请注意，"uncompressed" 列可能仍然具有字典编码。

另请参阅

ParquetFileWriter 用于 Parquet 写入的较低级接口。

示例

tf1 <- tempfile(fileext = ".parquet")
write_parquet(data.frame(x = 1:5), tf1)

# using compression
if (codec_is_available("gzip")) {
  tf2 <- tempfile(fileext = ".gz.parquet")
  write_parquet(data.frame(x = 1:5), tf2, compression = "gzip", compression_level = 5)
}