跳至内容

集成 Arrow、Python 和 R

来源: vignettes/python.Rmd
python.Rmd

arrow 包提供了 reticulate 方法，用于在同一进程中传递 R 和 Python 之间的数据。本文提供了一个简要概述。

本文中的代码假设 arrow 和 reticulate 都已加载

library(arrow, warn.conflicts = FALSE)
library(reticulate, warn.conflicts = FALSE)

动机

您可能想要在 R 中使用 PyArrow 的一个原因是利用在 Python 中比在 R 中得到更好支持的功能（在当前的开发阶段）。例如，在某个时间点，R arrow 包不支持 concat_arrays()，但 PyArrow 支持，因此在那个时候这是一个很好的用例。在撰写本文时，PyArrow 对 Arrow Flight 的支持比 R 包更全面——但请参阅 关于 arrow 中 Flight 支持的文章——因此这将是 PyArrow 对 R 用户有益的另一个实例。

R 用户可能想要使用 PyArrow 的第二个原因是在 R 和 Python 之间高效地传递数据对象。对于大型数据集，执行将 R 中的原生数据结构（例如数据框）转换为 Python 中的类似结构（例如 Pandas DataFrame）以及反之亦然的复制和转换操作，在时间和 CPU 周期方面可能代价很高。由于 Arrow 数据对象（如表）在 R 和 Python 中具有相同的内存格式，因此可以执行“零复制”数据传输，其中只需要在语言之间传递元数据。如下所示，这极大地提高了性能。

安装 PyArrow

要在 Python 中使用 Arrow，需要安装 pyarrow 库。例如，您可能希望创建一个包含 pyarrow 库的 Python 虚拟环境。虚拟环境是为一个项目或目的创建的特定 Python 安装。在 Python 中使用特定环境是一个好习惯，这样更新一个包就不会影响其他项目中的包。

您可以从 R 内部执行设置。假设您想将您的虚拟环境命名为 my-pyarrow-env。您的设置代码如下所示

virtualenv_create("my-pyarrow-env")
install_pyarrow("my-pyarrow-env")

如果您想将 pyarrow 的开发版本安装到虚拟环境中，请将 nightly = TRUE 添加到 install_pyarrow() 命令中

install_pyarrow("my-pyarrow-env", nightly = TRUE)

请注意，您不必使用虚拟环境。如果您更喜欢 conda 环境，则可以使用此设置代码

conda_create("my-pyarrow-env")
install_pyarrow("my-pyarrow-env")

要详细了解从 R 安装和配置 Python，请参阅 reticulate 文档，其中更详细地讨论了该主题。

导入 PyArrow

假设 arrow 和 reticulate 都已在 R 中加载，您的第一步是确保正在使用正确的 Python 环境。要使用虚拟环境执行此操作，请使用如下命令

use_virtualenv("my-pyarrow-env")

对于 conda 环境，请使用以下命令

use_condaenv("my-pyarrow-env")

完成此操作后，下一步是将 pyarrow 导入 Python 会话，如下所示

pa <- import("pyarrow")

在 R 中执行此命令等效于 Python 中的以下导入

import pyarrow as pa

最好也检查一下您的 pyarrow 版本，如下所示

pa$`__version__`
## [1] "8.0.0"

pyarrow 0.17 及更高版本包含了传递数据到 R 和从 R 传递数据的功能。

使用 PyArrow

您可以使用 reticulate 函数 r_to_py() 将对象从 R 传递到 Python，类似地，您可以使用 py_to_r() 将对象从 Python 会话拉取到 R 中。为了说明这一点，让我们在 R 中创建两个对象：df_random 是一个包含 1 亿行随机数据的 R 数据框，tb_random 是相同数据作为 Arrow 表存储的数据

set.seed(1234)
nrows <- 10^8
df_random <- data.frame(
  x = rnorm(nrows), 
  y = rnorm(nrows),
  subset = sample(10, nrows, replace = TRUE)
)
tb_random <- arrow_table(df_random)

在没有 Arrow 的情况下将数据从 R 传输到 Python 是一个耗时的过程，因为底层对象必须被复制并转换为 Python 数据结构

system.time({
  df_py <- r_to_py(df_random)
})
##   user  system elapsed 
##  0.307   5.172   5.529

相反，发送 Arrow 表几乎是即时的

system.time({
  tb_py <- r_to_py(tb_random)
})
##   user  system elapsed 
##  0.004   0.000   0.003

但是，“发送”并不是真正正确的词。在内部，我们正在传递指向 R 和 Python 解释器在同一进程中一起运行的数据的指针，而无需复制任何内容。没有任何内容被发送：我们正在共享和访问相同的内部 Arrow 内存缓冲区。

也可以将数据发送到另一个方向。例如，让我们在 pyarrow 中创建一个 Array。

a <- pa$array(c(1, 2, 3))
a
## Array
## <double>
## [
##   1,
##   2,
##   3
## ]

请注意，a 现在是您 R 会话中的 Array 对象——即使您是在 Python 中创建的——并且您可以对其应用 R 方法

a[a > 1]
## Array
## <double>
## [
##   2,
##   3
## ]

类似地，您可以将此对象与在 R 中创建的 Arrow 对象组合，并且可以使用 PyArrow 方法（如 pa$concat_arrays()）来执行此操作

b <- Array$create(c(5, 6, 7, 8, 9))
a_and_b <- pa$concat_arrays(list(a, b))
a_and_b
## Array
## <double>
## [
##   1,
##   2,
##   3,
##   5,
##   6,
##   7,
##   8,
##   9
## ]

现在您在 R 中有一个单独的 Array。

进一步阅读