跳到内容

文件读取器选项

来源: R/csv.R, R/json.R
CsvReadOptions.Rd

CsvReadOptions、CsvParseOptions、CsvConvertOptions、JsonReadOptions、JsonParseOptions 和 TimestampParser 是各种文件读取选项的容器。请参阅它们在 read_csv_arrow() 和 read_json_arrow() 中的用法。

工厂

CsvReadOptions$create() 和 JsonReadOptions$create() 工厂方法接受以下参数

  • use_threads 是否使用全局 CPU 线程池

  • block_size 我们从 IO 层请求的块大小；也决定了 use_threads 为 TRUE 时的块大小。注意：如果为 FALSE，JSON 输入必须以空行结尾。

CsvReadOptions$create() 进一步接受这些附加参数

  • skip_rows 读取数据前要跳过的行数（默认为 0）。

  • column_names 用于提供列名的字符向量。如果长度为 0（默认值），除非 autogenerate_column_names 为 TRUE，否则将解析第一个非跳过的行以生成列名。

  • autogenerate_column_names 逻辑值：生成列名而不是使用第一个非跳过的行（默认值）？ 如果为 TRUE，列名将为 "f0"、"f1"、...、"fN"。

  • encoding 文件编码。（默认 "UTF-8"）

  • skip_rows_after_names 列名之后要跳过的行数（默认为 0）。此数字可以大于一个块中的行数，并且空行也被计算在内。应用顺序如下

    • 应用 skip_rows（如果非零）；

    • 读取列名（除非设置了 column_names）；

    • 应用 skip_rows_after_names（如果非零）。

CsvParseOptions$create() 接受以下参数

  • delimiter 字段分隔符（默认为 ","）

  • quoting 逻辑值：字符串是否被引用？（默认为 TRUE）

  • quote_char 引用字符，如果 quoting 为 TRUE（默认为 '"'）

  • double_quote 逻辑值：值内的引号是否使用双引号？（默认为 TRUE）

  • escaping 逻辑值：是否使用转义字符？（默认为 FALSE）

  • escape_char 转义字符，如果 escaping 为 TRUE（默认为 "\\"）

  • newlines_in_values 逻辑值：是否允许值包含 CR (0x0d) 和 LF (0x0a) 字符？（默认为 FALSE）

  • ignore_empty_lines 逻辑值：是否应忽略空行（默认值）或生成一行缺失值（如果为 FALSE）？

JsonParseOptions$create() 仅接受 newlines_in_values 参数。

CsvConvertOptions$create() 接受以下参数

  • check_utf8 逻辑值：检查字符串列的 UTF8 有效性？（默认为 TRUE）

  • null_values 用于识别空值的字符串向量。类似于 read.csv() 的 na.strings 参数或 readr::read_csv() 中的 na。

  • strings_can_be_null 逻辑值：字符串/二进制列是否可以有空值？ 类似于 readr::read_csv() 的 quoted_na 参数。（默认为 FALSE）

  • true_values 用于识别 TRUE 值的字符串向量

  • false_values 用于识别 FALSE 值的字符串向量

  • col_types 用于推断类型的 Schema 或 NULL

  • auto_dict_encode 逻辑值：是否尝试自动字典编码字符串/二进制数据（类似于 stringsAsFactors）。 默认为 FALSE。 对于非推断列（col_types 中的列），此设置将被忽略。

  • auto_dict_max_cardinality 如果为 auto_dict_encode，则字符串/二进制列最多会被字典编码到此唯一值的数量（默认为 50），之后它会切换到常规编码。

  • include_columns 如果非空，则指示应实际读取和转换的 CSV 文件中的列名（按向量的顺序）。

  • include_missing_columns 逻辑值：如果提供了 include_columns，是否应将其中命名但未在数据中找到的列作为 null() 类型的列包含在内？ 默认值 (FALSE) 表示读取器将引发错误。

  • timestamp_parsers 用户定义的时间戳解析器。 如果指定了多个解析器，CSV 转换逻辑将从该向量的开头开始尝试解析值。 可能的值包括 (a) NULL（默认值），它使用 ISO-8601 解析器； (b) strptime 解析字符串的字符向量； 或 (c) TimestampParser 对象的列表。

  • decimal_point 用于浮点数中小数点的字符。 默认值：“。”

TimestampParser$create() 接受一个可选的 format 字符串参数。 有关示例语法，请参阅 strptime()。 默认是使用 ISO-8601 格式解析器。

CsvWriteOptions$create() 工厂方法接受以下参数

  • include_header 是否写入包含列名的初始标题行

  • batch_size 一次处理的最大行数。 默认为 1024。

  • null_string 为空值写入的字符串。 不能包含引号。 默认为空字符串 ("")。

  • eol 用于结束行的行尾字符。

  • delimiter 字段分隔符

  • quoting_style 引用样式：“Needed”（仅将需要引号的值括起来，因为它们的 CSV 呈现可以包含引号本身（例如，字符串或二进制值））、“AllValid”（将所有有效值括在引号中）或“None”（不要将任何值括在引号中）。

活动绑定

  • column_names：来自 CsvReadOptions