入门

Arrow 管理数组中的数据（pyarrow.Array），这些数组可以分组在表中（pyarrow.Table），以表示表格数据中的列。

Arrow 还支持各种格式，用于将表格数据从磁盘和网络中读入和读出。最常用的格式是 Parquet（读写 Apache Parquet 格式）和 IPC 格式（流、序列化和 IPC）。

创建数组和表

Arrow 中的数组是同类型数据的集合。这使得 Arrow 能够使用性能最佳的实现来存储数据并对其执行计算。因此，每个数组都应该包含数据和类型。

In [1]: import pyarrow as pa

In [2]: days = pa.array([1, 12, 17, 23, 28], type=pa.int8())

当附加到列名时，多个数组可以在表中组合，以形成表格数据中的列。

In [3]: months = pa.array([1, 3, 5, 7, 1], type=pa.int8())

In [4]: years = pa.array([1990, 2000, 1995, 2000, 1995], type=pa.int16())

In [5]: birthdays_table = pa.table([days, months, years],
   ...:                            names=["days", "months", "years"])
   ...: 

In [6]: birthdays_table
Out[6]: 
pyarrow.Table
days: int8
months: int8
years: int16
----
days: [[1,12,17,23,28]]
months: [[1,3,5,7,1]]
years: [[1990,2000,1995,2000,1995]]

有关更多详细信息，请参阅数据类型和内存数据模型。

保存和加载表

一旦您拥有表格数据，Arrow 提供开箱即用的功能，可以将这些数据保存和恢复为常见的格式，例如 Parquet。

In [7]: import pyarrow.parquet as pq

In [8]: pq.write_table(birthdays_table, 'birthdays.parquet')

一旦您的数据在磁盘上，将其加载回来只需一个函数调用，Arrow 对内存和速度进行了大量优化，因此加载数据将尽可能快。

In [9]: reloaded_birthdays = pq.read_table('birthdays.parquet')

In [10]: reloaded_birthdays
Out[10]: 
pyarrow.Table
days: int8
months: int8
years: int16
----
days: [[1,12,17,23,28]]
months: [[1,3,5,7,1]]
years: [[1990,2000,1995,2000,1995]]

在 Arrow 中保存和加载数据通常通过Parquet、IPC 格式（Feather 文件格式）、CSV 或行分隔 JSON 格式完成。

执行计算

Arrow 附带了许多可应用于其数组和表的计算函数，因此通过计算函数可以对数据应用转换。

In [11]: import pyarrow.compute as pc

In [12]: pc.value_counts(birthdays_table["years"])
Out[12]: 
<pyarrow.lib.StructArray object at 0x7fe0006005e0>
-- is_valid: all not null
-- child 0 type: int16
  [
    1990,
    2000,
    1995
  ]
-- child 1 type: int64
  [
    1,
    2,
    2
  ]

有关可用计算函数列表及其使用方法，请参阅计算函数。

处理大型数据

Arrow 还提供了pyarrow.dataset API 来处理大型数据，它将为您处理将数据分成更小块的分区。

In [13]: import pyarrow.dataset as ds

In [14]: ds.write_dataset(birthdays_table, "savedir", format="parquet",
   ....:                  partitioning=ds.partitioning(
   ....:                     pa.schema([birthdays_table.schema.field("years")])
   ....:                 ))
   ....: 

加载分区数据集将检测数据块

In [15]: birthdays_dataset = ds.dataset("savedir", format="parquet", partitioning=["years"])

In [16]: birthdays_dataset.files
Out[16]: 
['savedir/1990/part-0.parquet',
 'savedir/1995/part-0.parquet',
 'savedir/2000/part-0.parquet']

并且只在遍历数据块时才惰性加载数据块。

In [17]: import datetime

In [18]: current_year = datetime.datetime.now(datetime.UTC).year

In [19]: for table_chunk in birthdays_dataset.to_batches():
   ....:     print("AGES", pc.subtract(current_year, table_chunk["years"]))
   ....: 
AGES [
  35
]
AGES [
  30,
  30
]
AGES [
  25,
  25
]

有关如何处理大型数据集、如何过滤它们、如何投影它们等的更多详细信息，请参阅表格数据集文档。

从此处继续

要进一步深入了解 Arrow，您可能需要阅读PyArrow 文档本身或Arrow Python Cookbook。