Arrow dplyr 查询中可用的函数

arrow 包包含 37 个 dplyr 表函数的方法，其中许多是用于对一个或多个表进行转换的“动词”。该包还将 223 个 R 函数映射到 Arrow 计算库中对应的函数。这些允许您在调用 R 函数的 dplyr 方法中编写代码，包括 stringr 和 lubridate 等包中的许多函数，并且它们将被翻译成 Arrow 并在 Arrow 查询引擎 (Acero) 上运行。本文档列出了所有已映射的函数。

dplyr 动词

大多数动词函数返回一个 arrow_dplyr_query 对象，其精神与 dbplyr::tbl_lazy 相似。这意味着动词不会急切地评估数据上的查询。要运行查询，请调用 compute()（返回一个 arrow Table）或 collect()（将生成的 Table 提取到 R tibble 中）。

• anti_join()：copy 参数被忽略

• arrange()

• collapse()

• collect()

• compute()

• count()

• distinct()：.keep_all = TRUE 如果存在，返回非缺失值，仅当所有值都缺失时才返回缺失值。

• explain()

• filter()

• full_join()：copy 参数被忽略

• glimpse()

• group_by()

• group_by_drop_default()

• group_vars()

• groups()

• inner_join()：copy 参数被忽略

• left_join()：copy 参数被忽略

• mutate()

• pull()：不支持 name 参数；默认返回 R 向量，但此行为已弃用，并将在未来版本中返回 Arrow ChunkedArray。提供 as_vector = TRUE/FALSE 以控制此行为，或全局设置 options(arrow.pull_as_vector)。

• relocate()

• rename()

• rename_with()

• right_join()：copy 参数被忽略

• select()

• semi_join()：copy 参数被忽略

• show_query()

• slice_head()：不支持组内切片；Arrow 数据集没有行顺序，因此头部是非确定性的；prop 仅支持在无需评估即可知 nrow() 的查询上

• slice_max()：不支持组内切片；不支持 with_ties = TRUE (dplyr 默认值)；prop 仅支持在无需评估即可知 nrow() 的查询上

• slice_min()：不支持组内切片；不支持 with_ties = TRUE (dplyr 默认值)；prop 仅支持在无需评估即可知 nrow() 的查询上

• slice_sample()：不支持组内切片；不支持 replace = TRUE 和 weight_by 参数；n 仅支持在无需评估即可知 nrow() 的查询上

• slice_tail()：不支持组内切片；Arrow 数据集没有行顺序，因此尾部是非确定性的；prop 仅支持在无需评估即可知 nrow() 的查询上

• summarise()：目前不支持窗口函数；不支持参数 .drop = FALSE 和 .groups = "rowwise"

• tally()

• transmute()

• ungroup()

• union()

• union_all()

函数映射

在下面的列表中，列出了 Acero 和 R 函数之间在行为或支持方面的任何差异。如果函数名称后没有注释，则可以假定该函数在 Acero 中的工作方式与在 R 中相同。

函数可以调用为 pkg::fun() 或直接 fun()，即 str_sub() 和 stringr::str_sub() 都有效。

除了这些函数，您还可以直接调用 Arrow 的 281 个计算函数中的任何一个。Arrow 有许多不映射到现有 R 函数的函数。在其他有 R 函数映射的情况下，如果您不希望 R 映射使 Acero 行为像 R 一样进行调整，您仍然可以直接调用 Arrow 函数。这些函数列在 C++ 文档中，在 R 的函数注册表中，它们以 arrow_ 前缀命名，例如 arrow_ascii_is_decimal。

arrow

• add_filename()

• cast()

base

• !

• !=

• %%

• %/%

• %in%

• &

• *

• +

• -

• /

• <

• <=

• ==

• >

• >=

• ISOdate()

• ISOdatetime()

• ^

• abs()

• acos()

• acosh()

• all()

• any()

• as.Date()：Arrow 中不支持多个 tryFormats。考虑使用 lubridate 专门的解析函数 ymd()、ymd() 等。

• as.character()

• as.difftime()：仅支持 units = "secs" (默认值)

• as.double()

• as.integer()

• as.logical()

• as.numeric()

• asin()

• asinh()

• atan()

• atanh()

• ceiling()

• cos()

• cosh()

• data.frame()：不支持 row.names 和 check.rows 参数；stringsAsFactors 必须为 FALSE

• difftime()：仅支持 units = "secs" (默认值)；不支持 tz 参数

• endsWith()

• exp()

• expm1()

• floor()

• format()

• grepl()

• gsub()

• ifelse()

• is.character()

• is.double()

• is.factor()

• is.finite()

• is.infinite()

• is.integer()

• is.list()

• is.logical()

• is.na()

• is.nan()

• is.numeric()

• log()

• log10()

• log1p()

• log2()

• logb()

• max()

• mean()

• min()

• nchar()：不支持 allowNA = TRUE 和 keepNA = TRUE

• paste()：暂不支持 collapse 参数

• paste0()：暂不支持 collapse 参数

• pmax()

• pmin()

• prod()

• round()

• sign()

• sin()

• sinh()

• sqrt()

• startsWith()

• strftime()

• strptime()：接受 base 函数中没有的 unit 参数。有效值为 "s"、"ms" (默认)、"us"、"ns"。

• strrep()

• strsplit()

• sub()

• substr()：start 和 stop 的长度必须为 1

• substring()

• sum()

• tan()

• tanh()

• tolower()

• toupper()

• trunc()

• |

bit64

• as.integer64()

• is.integer64()

dplyr

• across()

• between()

• case_when()：不支持 .ptype 和 .size 参数

• coalesce()

• desc()

• if_all()

• if_any()

• if_else()

• n()

• n_distinct()

hms

• as_hms()：字符输入不支持亚秒精度

• hms()：不支持纳秒时间

lubridate

• am()

• as_date()

• as_datetime()

• ceiling_date()

• date()

• date_decimal()

• day()

• ddays()

• decimal_date()

• dhours()

• dmicroseconds()

• dmilliseconds()

• dminutes()

• dmonths()

• dmy()：不支持 locale 参数

• dmy_h()：不支持 locale 参数

• dmy_hm()：不支持 locale 参数

• dmy_hms()：不支持 locale 参数

• dnanoseconds()

• dpicoseconds()：不支持

• dseconds()

• dst()

• dweeks()

• dyears()

• dym()：不支持 locale 参数

• epiweek()

• epiyear()

• fast_strptime()：不支持 lt 和 cutoff_2000 的非默认值

• floor_date()

• force_tz()：不支持从非 UTC 时区进行时区转换；对于不存在的时间，支持 roll_dst 值 'error' 和 'boundary'；对于模糊时间，支持 roll_dst 值 'error'、'pre' 和 'post'。

• format_ISO8601()

• hour()

• is.Date()

• is.POSIXct()

• is.instant()

• is.timepoint()

• isoweek()

• isoyear()

• leap_year()

• make_date()

• make_datetime()：仅支持 UTC (默认) 时区

• make_difftime()：仅支持 units = "secs" (默认值)；不支持同时提供 num 和 ...

• mday()

• mdy()：不支持 locale 参数

• mdy_h()：不支持 locale 参数

• mdy_hm()：不支持 locale 参数

• mdy_hms()：不支持 locale 参数

• minute()

• month()

• my()：不支持 locale 参数

• myd()：不支持 locale 参数

• parse_date_time()：不支持 quiet = FALSE。可用格式为 H、I、j、M、S、U、w、W、y、Y、R、T。在 Linux 和 OS X 上还额外支持 a、A、b、B、Om、p、r。

• pm()

• qday()

• quarter()

• round_date()

• second()

• semester()

• tz()

• wday()

• week()

• with_tz()

• yday()

• ydm()：不支持 locale 参数

• ydm_h()：不支持 locale 参数

• ydm_hm()：不支持 locale 参数

• ydm_hms()：不支持 locale 参数

• year()

• ym()：不支持 locale 参数

• ymd()：不支持 locale 参数

• ymd_h()：不支持 locale 参数

• ymd_hm()：不支持 locale 参数

• ymd_hms()：不支持 locale 参数

• yq()：不支持 locale 参数

methods

• is()

rlang

• is_character()

• is_double()

• is_integer()

• is_list()

• is_logical()

stats

• median()：计算近似中位数 (t-digest)

• quantile()：probs 长度必须为 1；计算近似分位数 (t-digest)

• sd()

• var()

stringi

• stri_reverse()

stringr

任何函数都不支持模式修饰符 coll() 和 boundary()。

• str_c()：暂不支持 collapse 参数

• str_count()：pattern 必须是长度为 1 的字符向量

• str_detect()

• str_dup()

• str_ends()

• str_length()

• str_like()

• str_pad()

• str_remove()

• str_remove_all()

• str_replace()

• str_replace_all()

• str_replace_na()

• str_split()：不支持不区分大小写的字符串拆分和拆分为 0 部分

• str_starts()

• str_sub()：start 和 end 的长度必须为 1

• str_to_lower()

• str_to_title()

• str_to_upper()

• str_trim()

tibble

• tibble()

tidyselect

• all_of()

• contains()

• ends_with()

• everything()

• last_col()

• matches()

• num_range()

• one_of()

• starts_with()