open_dataset 的包装器,它显式包含了与 read_csv_arrow()
、read_delim_arrow()
和 read_tsv_arrow()
相同的参数,以便在打开单个文件和打开数据集的函数之间轻松切换。
用法
open_delim_dataset(
sources,
schema = NULL,
partitioning = hive_partition(),
hive_style = NA,
unify_schemas = NULL,
factory_options = list(),
delim = ",",
quote = "\"",
escape_double = TRUE,
escape_backslash = FALSE,
col_names = TRUE,
col_types = NULL,
na = c("", "NA"),
skip_empty_rows = TRUE,
skip = 0L,
convert_options = NULL,
read_options = NULL,
timestamp_parsers = NULL,
quoted_na = TRUE,
parse_options = NULL
)
open_csv_dataset(
sources,
schema = NULL,
partitioning = hive_partition(),
hive_style = NA,
unify_schemas = NULL,
factory_options = list(),
quote = "\"",
escape_double = TRUE,
escape_backslash = FALSE,
col_names = TRUE,
col_types = NULL,
na = c("", "NA"),
skip_empty_rows = TRUE,
skip = 0L,
convert_options = NULL,
read_options = NULL,
timestamp_parsers = NULL,
quoted_na = TRUE,
parse_options = NULL
)
open_tsv_dataset(
sources,
schema = NULL,
partitioning = hive_partition(),
hive_style = NA,
unify_schemas = NULL,
factory_options = list(),
quote = "\"",
escape_double = TRUE,
escape_backslash = FALSE,
col_names = TRUE,
col_types = NULL,
na = c("", "NA"),
skip_empty_rows = TRUE,
skip = 0L,
convert_options = NULL,
read_options = NULL,
timestamp_parsers = NULL,
quoted_na = TRUE,
parse_options = NULL
)
参数
- sources
以下之一
包含数据文件的目录的字符串路径或 URI
引用包含数据文件的目录的 FileSystem(例如
s3_bucket()
返回的内容)单个文件的字符串路径或 URI
指向单个数据文件的路径或 URI 的字符向量
此函数创建的
Dataset
对象列表dataset_factory()
创建的DatasetFactory
对象列表。
当
sources
是文件 URI 向量时,它们必须都使用相同的协议,并指向位于同一文件系统中且格式相同的文件。- schema
Dataset
的 Schema。如果为NULL
(默认值),则将从数据源推断架构。- partitioning
当
sources
是目录路径/URI 时,以下之一一个
Schema
,在这种情况下,将解析相对于sources
的文件路径,并将路径段与 schema 字段匹配。定义与这些路径段对应的字段名称的字符向量(即,您提供与
Schema
对应的名称,但类型将自动检测)hive_partition()
返回的Partitioning
或PartitioningFactory
NULL
表示无分区
默认情况下,除非
hive_style = FALSE
,否则将自动检测 Hive 样式的分区。有关详细信息,请参阅“分区”部分。当sources
不是目录路径/URI 时,将忽略partitioning
。- hive_style
逻辑值:
partitioning
是否应解释为 Hive 样式?默认值为NA
,这意味着检查文件路径是否存在 Hive 样式分区并相应地进行操作。- unify_schemas
逻辑值:是否应扫描所有数据片段(文件、
Dataset
)以便从中创建统一的 schema?如果为FALSE
,则仅检查第一个片段的 schema。当您知道并确信所有片段都具有相同的 schema 时,请使用此快速路径。从目录路径/URI 或文件路径/URI 向量创建数据集时,默认值为FALSE
(因为可能有很多文件并且扫描可能会很慢),但当sources
是Dataset
列表时,默认值为TRUE
(因为列表中应该只有少量Dataset
并且它们的Schema
已经在内存中)。- factory_options
可选 FileSystemFactoryOptions 列表
partition_base_dir
:使用 DirectoryPartitioning 发现分区信息时要忽略的字符串路径段前缀。对于 HivePartitioning 没有意义(将被忽略并发出警告),在提供文件路径向量时也无效。exclude_invalid_files
:逻辑值:是否应排除无效的数据文件?默认值为FALSE
,因为预先检查所有文件会产生成本,从而降低速度,尤其是在远程文件系统上。如果为 false 并且存在无效文件,则扫描时将出错。这是唯一一个在提供用于发现文件的目录路径和提供文件路径向量时都有效的 FileSystemFactoryOption。selector_ignore_prefixes
:在目录中发现文件时要忽略的文件名前缀的字符向量。如果可以通过通用的文件名前缀以此方式排除无效文件,则可以避免exclude_invalid_files
的成本。在提供文件路径向量时无效(但如果您提供文件列表,则可以自行过滤无效文件)。
- delim
用于分隔记录中字段的单个字符。
- quote
用于引用字符串的单个字符。
- escape_double
文件是否通过将引号加倍来转义引号?即,如果此选项为
TRUE
,则值""""
表示单个引号\"
。- escape_backslash
文件是否使用反斜杠来转义特殊字符?这比
escape_double
更通用,因为反斜杠可以用于转义分隔符、引号字符或添加特殊字符,例如\\n
。- col_names
如果为
TRUE
,则输入的第一行将用作列名,并且不会包含在数据框中。如果为FALSE
,则将由 Arrow 生成列名,从“f0”、“f1”、...、“fN”开始。或者,您可以指定列名的字符向量。- col_types
列类型的紧凑字符串表示形式、Arrow Schema 或
NULL
(默认值)以从数据推断类型。- na
要解释为缺失值的字符串的字符向量。
- skip_empty_rows
是否应完全忽略空行?如果为
TRUE
,则根本不表示空行。如果为FALSE
,则将用缺失值填充它们。- skip
读取数据前要跳过的行数。
- convert_options
请参阅CSV 转换选项
- read_options
请参阅CSV 读取选项
- timestamp_parsers
用户定义的时间戳解析器。如果指定了多个解析器,CSV 转换逻辑将尝试从该向量的开头开始解析值。可能的值为
NULL
:默认值,使用 ISO-8601 解析器strptime 解析字符串的字符向量
TimestampParser 对象列表
- quoted_na
引号内的缺失值是否应被视为缺失值(默认值)或字符串。(请注意,这与相应的转换选项
strings_can_be_null
的 Arrow C++ 默认值不同。)- parse_options
请参阅CSV 解析选项。如果给出,这将覆盖其他参数(例如
delim
、quote
等)中提供的任何解析选项。
read_delim_arrow()
当前支持但此处不支持的选项
file
(请在sources
中指定文件)col_select
(请在创建数据集后对列进行子集化)as_data_frame
(请在创建数据集后转换为数据框)解析选项
示例
# Set up directory for examples
tf <- tempfile()
dir.create(tf)
df <- data.frame(x = c("1", "2", "NULL"))
file_path <- file.path(tf, "file1.txt")
write.table(df, file_path, sep = ",", row.names = FALSE)
read_csv_arrow(file_path, na = c("", "NA", "NULL"), col_names = "y", skip = 1)
#> # A tibble: 3 x 1
#> y
#> <int>
#> 1 1
#> 2 2
#> 3 NA
open_csv_dataset(file_path, na = c("", "NA", "NULL"), col_names = "y", skip = 1)
#> FileSystemDataset with 1 csv file
#> 1 columns
#> y: int64
unlink(tf)