集成 Arrow、Python 和 R • Arrow R 包

arrow 包提供了 reticulate 方法，用于在同一进程中在 R 和 Python 之间传递数据。本文将提供一个简要概述。

本文中的代码假定 arrow 和 reticulate 都已加载

library(arrow, warn.conflicts = FALSE)
library(reticulate, warn.conflicts = FALSE)

动机

您可能希望在 R 中使用 PyArrow 的一个原因是，利用在当前开发阶段 Python 中比 R 中更好地支持的功能。例如，曾经 R arrow 包不支持 concat_arrays() 而 PyArrow 支持，因此当时这是一个很好的用例。在撰写本文时，PyArrow 对 Arrow Flight 的支持比 R 包更全面——但请参阅关于 arrow 中 Flight 支持的文章——因此这将是 PyArrow 对 R 用户有益的另一个例子。

R 用户可能希望使用 PyArrow 的第二个原因是，在 R 和 Python 之间高效地传递数据对象。对于大型数据集，将 R 中的原生数据结构（例如数据帧）复制并转换为 Python 中的类似结构（例如 Pandas DataFrame），反之亦然，可能会非常耗时且消耗 CPU 周期。由于 Arrow 数据对象（如 Tables）在 R 和 Python 中具有相同的内存格式，因此可以执行“零拷贝”数据传输，其中只需要在语言之间传递元数据。正如稍后将演示的那样，这极大地提高了性能。

安装 PyArrow

要在 Python 中使用 Arrow，需要安装 pyarrow 库。例如，您可能希望创建一个包含 pyarrow 库的 Python 虚拟环境。虚拟环境是为特定项目或目的创建的特定 Python 安装。在 Python 中使用特定环境是一种良好的实践，这样更新一个包就不会影响其他项目中的包。

您可以从 R 中执行设置。假设您希望将虚拟环境命名为 my-pyarrow-env。您的设置代码将如下所示

virtualenv_create("my-pyarrow-env")
install_pyarrow("my-pyarrow-env")

如果您想将 pyarrow 的开发版本安装到虚拟环境，请在 install_pyarrow() 命令中添加 nightly = TRUE

install_pyarrow("my-pyarrow-env", nightly = TRUE)

请注意，您不必使用虚拟环境。如果您更喜欢 conda 环境，可以使用此设置代码

conda_create("my-pyarrow-env")
install_pyarrow("my-pyarrow-env")

要了解有关从 R 安装和配置 Python 的更多信息，请参阅 reticulate 文档，其中详细讨论了该主题。

导入 PyArrow

假设 arrow 和 reticulate 都已在 R 中加载，您的第一步是确保使用正确的 Python 环境。对于虚拟环境，可以使用如下命令

use_virtualenv("my-pyarrow-env")

对于 conda 环境，请使用以下命令

use_condaenv("my-pyarrow-env")

完成此操作后，下一步是将 pyarrow 导入 Python 会话，如下所示

pa <- import("pyarrow")

在 R 中执行此命令相当于 Python 中的以下导入

import pyarrow as pa

检查您的 pyarrow 版本也是一个好主意，如下所示

pa$`__version__`

## [1] "8.0.0"

支持在 R 之间传递数据的 pyarrow 版本为 0.17 及更高版本。

使用 PyArrow

您可以使用 reticulate 函数 r_to_py() 将对象从 R 传递到 Python，同样，您可以使用 py_to_r() 将对象从 Python 会话拉取到 R 中。为了说明这一点，让我们在 R 中创建两个对象：df_random 是一个包含 1 亿行随机数据的 R 数据帧，tb_random 是作为 Arrow Table 存储的相同数据

set.seed(1234)
nrows <- 10^8
df_random <- data.frame(
  x = rnorm(nrows), 
  y = rnorm(nrows),
  subset = sample(10, nrows, replace = TRUE)
)
tb_random <- arrow_table(df_random)

在不使用 Arrow 的情况下将数据从 R 传输到 Python 是一个耗时的过程，因为底层对象必须被复制并转换为 Python 数据结构

system.time({
  df_py <- r_to_py(df_random)
})

##   user  system elapsed 
##  0.307   5.172   5.529

相比之下，发送 Arrow 表几乎是瞬间完成的

system.time({
  tb_py <- r_to_py(tb_random)
})

##   user  system elapsed 
##  0.004   0.000   0.003

然而，“发送”并不是真正正确的词。在内部，我们是在同一进程中运行的 R 和 Python 解释器之间传递数据指针，而无需复制任何内容。没有东西被发送：我们正在共享和访问相同的内部 Arrow 内存缓冲区。

也可以将数据反向发送。例如，让我们在 pyarrow 中创建一个 Array。

a <- pa$array(c(1, 2, 3))
a

## Array
## <double>
## [
##   1,
##   2,
##   3
## ]

请注意，a 现在是您 R 会话中的一个 Array 对象——即使您是在 Python 中创建它的——您可以在其上应用 R 方法

a[a > 1]

## Array
## <double>
## [
##   2,
##   3
## ]

同样，您可以将此对象与在 R 中创建的 Arrow 对象结合使用，并且可以使用 PyArrow 方法（如 pa$concat_arrays()）来实现

b <- Array$create(c(5, 6, 7, 8, 9))
a_and_b <- pa$concat_arrays(list(a, b))
a_and_b

## Array
## <double>
## [
##   1,
##   2,
##   3,
##   5,
##   6,
##   7,
##   8,
##   9
## ]

现在您在 R 中拥有一个单独的 Array。

进一步阅读

要了解有关从 R 安装和配置 Python 的更多信息，请参阅 reticulate 文档。
要学习 PyArrow，请参阅官方 PyArrow 文档和 Apache Arrow Python Cookbook。
Arrow 中的 R/Python 集成也在 PyArrow 集成文档、这篇关于 Arrow 中 reticulate 集成的博客文章以及这篇关于 Arrow 中 rpy2 集成的博客文章中讨论。
R Arrow 和 PyArrow 之间的集成通过 Arrow C 数据接口支持。
要了解有关 Arrow 数据对象的更多信息，请参阅数据对象文章。

整合 Arrow、Python 和 R

动机

安装 PyArrow

导入 PyArrow

使用 PyArrow

进一步阅读