Arrow dplyr 查询中可用的函数

arrow 包包含 37 个 dplyr 表函数的方法，其中许多是用于对一个或多个表进行转换的“动词”。该包还将 212 个 R 函数映射到 Arrow 计算库中的相应函数。这允许您在 dplyr 方法内部编写调用 R 函数的代码，包括 stringr 和 lubridate 等包中的许多函数，它们将被转换为 Arrow 并在 Arrow 查询引擎 (Acero) 上运行。本文档列出了所有映射的函数。

dplyr 动词

大多数动词函数返回一个 arrow_dplyr_query 对象，其精神与 dbplyr::tbl_lazy 相似。这意味着这些动词不会立即对数据进行查询评估。要运行查询，请调用 compute()，它返回一个 arrow 表，或调用 collect()，它将结果表拉入 R tibble。

• anti_join()：忽略 copy 参数

• arrange()

• collapse()

• collect()

• compute()

• count()

• distinct()：不支持 .keep_all = TRUE

• explain()

• filter()

• full_join()：忽略 copy 参数

• glimpse()

• group_by()

• group_by_drop_default()

• group_vars()

• groups()

• inner_join()：忽略 copy 参数

• left_join()：忽略 copy 参数

• mutate()

• pull()：不支持 name 参数；默认返回一个 R 向量，但此行为已弃用，将在未来的版本中返回一个 Arrow ChunkedArray。 提供 as_vector = TRUE/FALSE 来控制此行为，或全局设置 options(arrow.pull_as_vector)。

• relocate()

• rename()

• rename_with()

• right_join()：忽略 copy 参数

• select()

• semi_join()：忽略 copy 参数

• show_query()

• slice_head()：不支持组内切片; Arrow 数据集没有行顺序，因此 head 是不确定的; 仅在无需计算即可知道 nrow() 的查询上支持 prop

• slice_max()：不支持组内切片；不支持 with_ties = TRUE（dplyr 默认值）; 仅在无需计算即可知道 nrow() 的查询上支持 prop

• slice_min()：不支持组内切片；不支持 with_ties = TRUE（dplyr 默认值）; 仅在无需计算即可知道 nrow() 的查询上支持 prop

• slice_sample()：不支持组内切片；不支持 replace = TRUE 和 weight_by 参数；仅在无需计算即可知道 nrow() 的查询上支持 n

• slice_tail()：不支持组内切片；Arrow 数据集没有行顺序，因此 tail 是不确定的；仅在无需计算即可知道 nrow() 的查询上支持 prop

• summarise()：当前不支持窗口函数；不支持参数 .drop = FALSE 和 .groups = "rowwise"

• tally()

• transmute()

• ungroup()

• union()

• union_all()

函数映射

在下面的列表中，列出了 Acero 和 R 函数之间行为或支持的任何差异。如果没有注释跟随函数名称，则可以假定该函数在 Acero 中的工作方式与在 R 中的工作方式相同。

可以将函数称为 pkg::fun() 或 fun()，即 str_sub() 和 stringr::str_sub() 都可以工作。

除了这些函数之外，您还可以直接调用 Arrow 的 262 个计算函数。Arrow 有许多函数没有映射到现有的 R 函数。在其他情况下，即使存在 R 函数映射，如果您不希望 R 映射进行使 Acero 表现得像 R 的调整，您仍然可以直接调用 Arrow 函数。这些函数列在 C++ 文档 中，并且在 R 的函数注册表中，它们的名称带有 arrow_ 前缀，例如 arrow_ascii_is_decimal。

arrow

• add_filename()

• cast()

base

• !

• !=

• %%

• %/%

• %in%

• &

• *

• +

• -

• /

• <

• <=

• ==

• >

• >=

• ISOdate()

• ISOdatetime()

• ^

• abs()

• acos()

• all()

• any()

• as.Date()：Arrow 中不支持多个 tryFormats。考虑使用 lubridate 专用解析函数 ymd()、ymd() 等。

• as.character()

• as.difftime()：仅支持 units = "secs"（默认值）

• as.double()

• as.integer()

• as.logical()

• as.numeric()

• asin()

• ceiling()

• cos()

• data.frame()：不支持 row.names 和 check.rows 参数；stringsAsFactors 必须为 FALSE

• difftime()：仅支持 units = "secs"（默认值）; 不支持 tz 参数

• endsWith()

• exp()

• floor()

• format()

• grepl()

• gsub()

• ifelse()

• is.character()

• is.double()

• is.factor()

• is.finite()

• is.infinite()

• is.integer()

• is.list()

• is.logical()

• is.na()

• is.nan()

• is.numeric()

• log()

• log10()

• log1p()

• log2()

• logb()

• max()

• mean()

• min()

• nchar()：不支持 allowNA = TRUE 和 keepNA = TRUE

• paste()：尚不支持 collapse 参数

• paste0()：尚不支持 collapse 参数

• pmax()

• pmin()

• prod()

• round()

• sign()

• sin()

• sqrt()

• startsWith()

• strftime()

• strptime()：接受 base 函数中不存在的 unit 参数。有效值为“s”、“ms”（默认值）、“us”、“ns”。

• strrep()

• strsplit()

• sub()

• substr()：start 和 stop 的长度必须为 1

• substring()

• sum()

• tan()

• tolower()

• toupper()

• trunc()

• |

bit64

• as.integer64()

• is.integer64()

dplyr

• across()

• between()

• case_when()：不支持 .ptype 和 .size 参数

• coalesce()

• desc()

• if_all()

• if_any()

• if_else()

• n()

• n_distinct()

lubridate

• am()

• as_date()

• as_datetime()

• ceiling_date()

• date()

• date_decimal()

• day()

• ddays()

• decimal_date()

• dhours()

• dmicroseconds()

• dmilliseconds()

• dminutes()

• dmonths()

• dmy()：不支持 locale 参数

• dmy_h()：不支持 locale 参数

• dmy_hm()：不支持 locale 参数

• dmy_hms()：不支持 locale 参数

• dnanoseconds()

• dpicoseconds()：不支持

• dseconds()

• dst()

• dweeks()

• dyears()

• dym()：不支持 locale 参数

• epiweek()

• epiyear()

• fast_strptime()：不支持 lt 和 cutoff_2000 的非默认值

• floor_date()

• force_tz()：不支持从非 UTC 时区进行时区转换；对于不存在的时间，支持 roll_dst 值“error”和“boundary”，对于不明确的时间，支持 roll_dst 值“error”、“pre”和“post”。

• format_ISO8601()

• hour()

• is.Date()

• is.POSIXct()

• is.instant()

• is.timepoint()

• isoweek()

• isoyear()

• leap_year()

• make_date()

• make_datetime()：仅支持 UTC（默认）时区

• make_difftime()：仅支持 units = "secs"（默认值）；不支持同时提供 num 和 ...

• mday()

• mdy()：不支持 locale 参数

• mdy_h()：不支持 locale 参数

• mdy_hm()：不支持 locale 参数

• mdy_hms()：不支持 locale 参数

• minute()

• month()

• my()：不支持 locale 参数

• myd()：不支持 locale 参数

• parse_date_time()：不支持 quiet = FALSE。可用的格式有 H, I, j, M, S, U, w, W, y, Y, R, T。在 Linux 和 OS X 上，还支持 a, A, b, B, Om, p, r。

• pm()

• qday()

• quarter()

• round_date()

• second()

• semester()

• tz()

• wday()

• week()

• with_tz()

• yday()

• ydm()：不支持 locale 参数

• ydm_h()：不支持 locale 参数

• ydm_hm()：不支持 locale 参数

• ydm_hms()：不支持 locale 参数

• year()

• ym()：不支持 locale 参数

• ymd()：不支持 locale 参数

• ymd_h()：不支持 locale 参数

• ymd_hm()：不支持 locale 参数

• ymd_hms()：不支持 locale 参数

• yq()：不支持 locale 参数

方法

• is()

rlang

• is_character()

• is_double()

• is_integer()

• is_list()

• is_logical()

stats

• median()：计算近似中位数 (t-digest)

• quantile()：probs 的长度必须为 1；计算近似分位数 (t-digest)

• sd()

• var()

stringi

• stri_reverse()

stringr

任何函数均不支持模式修饰符 coll() 和 boundary()。

• str_c()：尚不支持 collapse 参数

• str_count()：pattern 必须是长度为 1 的字符向量

• str_detect()

• str_dup()

• str_ends()

• str_length()

• str_like()

• str_pad()

• str_remove()

• str_remove_all()

• str_replace()

• str_replace_all()

• str_split()：不支持不区分大小写的字符串拆分和拆分为 0 个部分

• str_starts()

• str_sub()：start 和 end 的长度必须为 1

• str_to_lower()

• str_to_title()

• str_to_upper()

• str_trim()

tibble

• tibble()

tidyselect

• all_of()

• contains()

• ends_with()

• everything()

• last_col()

• matches()

• num_range()

• one_of()

• starts_with()