跳至内容

文件读取选项

来源: R/csv.R, R/json.R
CsvReadOptions.Rd

CsvReadOptions、CsvParseOptions、CsvConvertOptions、JsonReadOptions、JsonParseOptions 和 TimestampParser 是各种文件读取选项的容器。分别查看它们在 read_csv_arrow() 和 read_json_arrow() 中的用法。

工厂

CsvReadOptions$create() 和 JsonReadOptions$create() 工厂方法接受以下参数

  • use_threads 是否使用全局 CPU 线程池

  • block_size 我们从 IO 层请求的块大小；当 use_threads 为 TRUE 时，也决定块的大小。注意：如果为 FALSE，JSON 输入必须以空行结尾。

CsvReadOptions$create() 进一步接受以下附加参数

  • skip_rows 读取数据之前要跳过的行数（默认为 0）。

  • column_names 字符向量，用于提供列名。如果长度为 0（默认值），则除非 autogenerate_column_names 为 TRUE，否则将解析第一个非跳过的行以生成列名。

  • autogenerate_column_names 逻辑值：生成列名而不是使用第一个非跳过的行（默认值）？如果为 TRUE，列名将为 "f0"、"f1"、...、"fN"。

  • encoding 文件编码。（默认为 "UTF-8"）

  • skip_rows_after_names 在列名后跳过的行数（默认为 0）。此数字可以大于一个块中的行数，并且空行会被计算在内。应用顺序如下

    • 应用 skip_rows（如果非零）；

    • 读取列名（除非设置了 column_names）；

    • 应用 skip_rows_after_names（如果非零）。

CsvParseOptions$create() 接受以下参数

  • delimiter 字段分隔符（默认为 ","）

  • quoting 逻辑值：字符串是否加引号？（默认为 TRUE）

  • quote_char 引号字符，如果 quoting 为 TRUE（默认为 '"'）

  • double_quote 逻辑值：值内部的引号是否加双引号？（默认为 TRUE）

  • escaping 逻辑值：是否使用转义？（默认为 FALSE）

  • escape_char 转义字符，如果 escaping 为 TRUE（默认为 "\\"）

  • newlines_in_values 逻辑值：是否允许值包含 CR（0x0d）和 LF（0x0a）字符？（默认为 FALSE）

  • ignore_empty_lines 逻辑值：是否应忽略空行（默认值）还是生成一行缺失值（如果为 FALSE）？

JsonParseOptions$create() 仅接受 newlines_in_values 参数。

CsvConvertOptions$create() 接受以下参数

  • check_utf8 逻辑值：检查字符串列的 UTF8 有效性？（默认为 TRUE）

  • null_values 识别空值拼写方式的字符向量。类似于 read.csv() 的 na.strings 参数或 readr::read_csv() 中的 na。

  • strings_can_be_null 逻辑值：字符串/二进制列可以有空值吗？类似于 readr::read_csv() 的 quoted_na 参数。（默认为 FALSE）

  • true_values 识别 TRUE 值拼写方式的字符向量

  • false_values 识别 FALSE 值拼写方式的字符向量

  • col_types 用于推断类型的 Schema 或 NULL

  • auto_dict_encode 逻辑值：是否尝试自动字典编码字符串/二进制数据（考虑 stringsAsFactors）。默认为 FALSE。此设置对非推断列（col_types 中的列）无效。

  • auto_dict_max_cardinality 如果 auto_dict_encode，则字符串/二进制列最多可编码到此唯一值数（默认为 50），之后将切换到常规编码。

  • include_columns 如果非空，则指示应实际读取和转换的 CSV 文件中列的名称（按向量的顺序）。

  • include_missing_columns 逻辑值：如果提供了 include_columns，则是否应将其中命名的但在数据中找不到的列包含为类型为 null() 的列？默认值（FALSE）意味着读取器将改为引发错误。

  • timestamp_parsers 用户定义的时间戳解析器。如果指定了多个解析器，则 CSV 转换逻辑将尝试从该向量的开头开始解析值。可能的值为 (a) NULL，默认值，它使用 ISO-8601 解析器；(b) strptime 解析字符串的字符向量；或 (c) TimestampParser 对象的列表。

  • decimal_point 用于浮点数小数点的字符。默认值："."

TimestampParser$create() 接受可选的 format 字符串参数。有关示例语法，请参阅 strptime()。默认值是使用 ISO-8601 格式解析器。

CsvWriteOptions$create() 工厂方法接受以下参数

  • include_header 是否写入包含列名的初始标题行

  • batch_size 一次处理的最大行数。默认为 1024。

  • null_string 用于写入空值的字符串。不得包含引号。默认为空字符串 ("")。

  • eol 用于结束行的换行符。

  • delimiter 字段分隔符

  • quoting_style 引号样式："Needed"（仅将需要引号的值括在引号中，因为它们的 CSV 呈现可能包含引号本身（例如字符串或二进制值））、"AllValid"（将所有有效值括在引号中）或 "None"（不将任何值括在引号中）。

活动绑定

  • column_names：来自 CsvReadOptions