跳至内容

连接到 Flight 服务器

来源: vignettes/flight.Rmd
flight.Rmd

Arrow Flight 是一种通用客户端-服务器框架，用于通过网络接口高效传输大型数据集，它是 Apache Arrow 项目的一部分。它可以通过多种方式实现高效的数据传输。

  • Flight 消除了数据传输过程中反序列化的需要。
  • Flight 允许并行数据流。
  • Flight 采用了旨在利用 Arrow 列式格式的优化。

arrow 包提供了连接到 Flight 服务器以发送和接收数据的方法。

先决条件

目前，R 中的 arrow 包没有提供 Arrow Flight 的独立实现：它通过调用 PyArrow 提供的 Flight 方法 Python，并且需要安装 reticulate 包和 Python PyArrow 库。如果您是第一次使用它们，您可以像这样安装它们

install.packages("reticulate")
arrow::install_pyarrow()

有关设置 pyarrow 的更多详细信息，请参阅 python 集成文章。

示例

该包包含用于启动基于 Python 的 Flight 服务器以及用于连接到其他地方运行的 Flight 服务器的方法。为了说明这两方面，在一个 R 进程中，我们将启动一个演示服务器

library(arrow)
demo_server <- load_flight_server("demo_flight_server")
server <- demo_server$DemoFlightServer(port = 8089)
server$serve()

我们将保持该服务器运行。

在另一个 R 进程中，让我们连接到它并将一些数据放入其中。

library(arrow)
client <- flight_connect(port = 8089)
flight_put(client, iris, path = "test_data/iris")

现在，在另一个 R 进程中，我们可以连接到服务器并提取我们放入那里的数据

library(arrow)
library(dplyr)
client <- flight_connect(port = 8089)
client %>%
  flight_get("test_data/iris") %>%
  group_by(Species) %>%
  summarize(max_petal = max(Petal.Length))

## # A tibble: 3 x 2
##   Species    max_petal
##   <fct>          <dbl>
## 1 setosa           1.9
## 2 versicolor       5.1
## 3 virginica        6.9

因为 flight_get() 返回一个 Arrow 数据结构，所以您可以将其结果直接传递到 dplyr 工作流程中。有关通过 dplyr 接口处理 Arrow 对象的更多信息，请参阅关于 数据整理 的文章。

进一步阅读