打开一个多文件 CSV 或其他分隔符分隔格式的数据集

open_dataset 的包装器，它显式包含了与 read_csv_arrow()、read_delim_arrow() 和 read_tsv_arrow() 相同的参数，以便在打开单个文件和打开数据集的函数之间轻松切换。

用法

open_delim_dataset(
  sources,
  schema = NULL,
  partitioning = hive_partition(),
  hive_style = NA,
  unify_schemas = NULL,
  factory_options = list(),
  delim = ",",
  quote = "\"",
  escape_double = TRUE,
  escape_backslash = FALSE,
  col_names = TRUE,
  col_types = NULL,
  na = c("", "NA"),
  skip_empty_rows = TRUE,
  skip = 0L,
  convert_options = NULL,
  read_options = NULL,
  timestamp_parsers = NULL,
  quoted_na = TRUE,
  parse_options = NULL
)

open_csv_dataset(
  sources,
  schema = NULL,
  partitioning = hive_partition(),
  hive_style = NA,
  unify_schemas = NULL,
  factory_options = list(),
  quote = "\"",
  escape_double = TRUE,
  escape_backslash = FALSE,
  col_names = TRUE,
  col_types = NULL,
  na = c("", "NA"),
  skip_empty_rows = TRUE,
  skip = 0L,
  convert_options = NULL,
  read_options = NULL,
  timestamp_parsers = NULL,
  quoted_na = TRUE,
  parse_options = NULL
)

open_tsv_dataset(
  sources,
  schema = NULL,
  partitioning = hive_partition(),
  hive_style = NA,
  unify_schemas = NULL,
  factory_options = list(),
  quote = "\"",
  escape_double = TRUE,
  escape_backslash = FALSE,
  col_names = TRUE,
  col_types = NULL,
  na = c("", "NA"),
  skip_empty_rows = TRUE,
  skip = 0L,
  convert_options = NULL,
  read_options = NULL,
  timestamp_parsers = NULL,
  quoted_na = TRUE,
  parse_options = NULL
)

参数

sources

以下之一

包含数据文件的目录的字符串路径或 URI
引用包含数据文件的目录的 FileSystem（例如 s3_bucket() 返回的内容）
单个文件的字符串路径或 URI
指向单个数据文件的路径或 URI 的字符向量
此函数创建的 Dataset 对象列表
dataset_factory() 创建的 DatasetFactory 对象列表。

当 sources 是文件 URI 向量时，它们必须都使用相同的协议，并指向位于同一文件系统中且格式相同的文件。

schema

Dataset 的 Schema。如果为 NULL（默认值），则将从数据源推断架构。

partitioning

当 sources 是目录路径/URI 时，以下之一

一个 Schema，在这种情况下，将解析相对于 sources 的文件路径，并将路径段与 schema 字段匹配。
定义与这些路径段对应的字段名称的字符向量（即，您提供与 Schema 对应的名称，但类型将自动检测）
hive_partition() 返回的 Partitioning 或 PartitioningFactory
NULL 表示无分区

默认情况下，除非 hive_style = FALSE，否则将自动检测 Hive 样式的分区。有关详细信息，请参阅“分区”部分。当 sources 不是目录路径/URI 时，将忽略 partitioning。

hive_style

逻辑值：partitioning 是否应解释为 Hive 样式？默认值为 NA，这意味着检查文件路径是否存在 Hive 样式分区并相应地进行操作。

unify_schemas

逻辑值：是否应扫描所有数据片段（文件、Dataset）以便从中创建统一的 schema？如果为 FALSE，则仅检查第一个片段的 schema。当您知道并确信所有片段都具有相同的 schema 时，请使用此快速路径。从目录路径/URI 或文件路径/URI 向量创建数据集时，默认值为 FALSE（因为可能有很多文件并且扫描可能会很慢），但当 sources 是 Dataset 列表时，默认值为 TRUE（因为列表中应该只有少量 Dataset 并且它们的 Schema 已经在内存中）。

factory_options

可选 FileSystemFactoryOptions 列表

partition_base_dir：使用 DirectoryPartitioning 发现分区信息时要忽略的字符串路径段前缀。对于 HivePartitioning 没有意义（将被忽略并发出警告），在提供文件路径向量时也无效。
exclude_invalid_files：逻辑值：是否应排除无效的数据文件？默认值为 FALSE，因为预先检查所有文件会产生成本，从而降低速度，尤其是在远程文件系统上。如果为 false 并且存在无效文件，则扫描时将出错。这是唯一一个在提供用于发现文件的目录路径和提供文件路径向量时都有效的 FileSystemFactoryOption。
selector_ignore_prefixes：在目录中发现文件时要忽略的文件名前缀的字符向量。如果可以通过通用的文件名前缀以此方式排除无效文件，则可以避免 exclude_invalid_files 的成本。在提供文件路径向量时无效（但如果您提供文件列表，则可以自行过滤无效文件）。

delim

用于分隔记录中字段的单个字符。

quote

用于引用字符串的单个字符。

escape_double

文件是否通过将引号加倍来转义引号？即，如果此选项为 TRUE，则值 """" 表示单个引号 \"。

escape_backslash

文件是否使用反斜杠来转义特殊字符？这比 escape_double 更通用，因为反斜杠可以用于转义分隔符、引号字符或添加特殊字符，例如 \\n。

col_names

如果为 TRUE，则输入的第一行将用作列名，并且不会包含在数据框中。如果为 FALSE，则将由 Arrow 生成列名，从“f0”、“f1”、...、“fN”开始。或者，您可以指定列名的字符向量。

col_types

列类型的紧凑字符串表示形式、Arrow Schema 或 NULL（默认值）以从数据推断类型。

na

要解释为缺失值的字符串的字符向量。

skip_empty_rows

是否应完全忽略空行？如果为 TRUE，则根本不表示空行。如果为 FALSE，则将用缺失值填充它们。

skip

读取数据前要跳过的行数。

convert_options

请参阅CSV 转换选项

read_options

请参阅CSV 读取选项

timestamp_parsers

用户定义的时间戳解析器。如果指定了多个解析器，CSV 转换逻辑将尝试从该向量的开头开始解析值。可能的值为

NULL：默认值，使用 ISO-8601 解析器
strptime 解析字符串的字符向量
TimestampParser 对象列表

quoted_na

引号内的缺失值是否应被视为缺失值（默认值）或字符串。（请注意，这与相应的转换选项 strings_can_be_null 的 Arrow C++ 默认值不同。）

parse_options

请参阅CSV 解析选项。如果给出，这将覆盖其他参数（例如 delim、quote 等）中提供的任何解析选项。

`read_delim_arrow()` 当前支持但此处不支持的选项

file（请在 sources 中指定文件）
col_select（请在创建数据集后对列进行子集化）
as_data_frame（请在创建数据集后转换为数据框）
解析选项

另请参阅

open_dataset()

示例

# Set up directory for examples
tf <- tempfile()
dir.create(tf)
df <- data.frame(x = c("1", "2", "NULL"))

file_path <- file.path(tf, "file1.txt")
write.table(df, file_path, sep = ",", row.names = FALSE)

read_csv_arrow(file_path, na = c("", "NA", "NULL"), col_names = "y", skip = 1)
#> # A tibble: 3 x 1
#>       y
#>   <int>
#> 1     1
#> 2     2
#> 3    NA
open_csv_dataset(file_path, na = c("", "NA", "NULL"), col_names = "y", skip = 1)
#> FileSystemDataset with 1 csv file
#> 1 columns
#> y: int64

unlink(tf)

用法

参数

read_delim_arrow() 当前支持但此处不支持的选项

另请参阅

示例

`read_delim_arrow()` 当前支持但此处不支持的选项