Python

PyArrow - Apache Arrow Python 绑定

这是 Apache Arrow 的 Python API 文档。

Apache Arrow 是一个用于内存中分析的开发平台。它包含一组技术，使大数据系统能够快速存储、处理和移动数据。

有关 Arrow 项目本身、Arrow 格式和其他语言绑定的更多详细信息，请参阅父文档。

Arrow Python 绑定（也称为“PyArrow”）与 NumPy、pandas 和内置 Python 对象具有高级集成。它们基于 Arrow 的 C++ 实现。

在这里，我们将详细介绍 Arrow 的 Python API 和添加其他功能（例如将 Apache Parquet 文件读取到 Arrow 结构中）的叶子库的使用。

• 安装 PyArrow
  • 系统兼容性
  • Python 兼容性
  • 使用 Conda
  • 使用 Pip
  • 安装 nightly 包或从源代码安装
  • 依赖项
  • conda-forge 包之间的差异
• 入门
  • 创建数组和表
  • 保存和加载表
  • 执行计算
  • 处理大型数据
  • 从这里继续
• 数据类型和内存中数据模型
  • 类型元数据
  • 模式
  • 数组
  • 记录批次
  • 表
  • 自定义模式和字段元数据
  • 记录批次读取器
  • 将 RecordBatch 转换为张量
• 计算函数
  • 标准计算函数
  • 分组聚合

  • 表和数据集连接
  • 通过表达式过滤
  • 用户自定义函数
• 内存和 IO 接口
  • 引用和分配内存
  • 输入和输出
• 流式传输、序列化和 IPC
  • 写入和读取流
  • 高效地写入和读取 Arrow 数据
• 文件系统接口
  • 用法
  • 本地文件系统 (Local FS)
  • S3
  • Google Cloud Storage 文件系统
  • Hadoop 分布式文件系统 (HDFS)
  • 使用与 Arrow 兼容的 fsspec 文件系统
  • 使用 fsspec 与 Arrow 文件系统
• NumPy 集成
  • NumPy 到 Arrow
  • Arrow 到 NumPy
• Pandas 集成
  • 数据框 (DataFrames)
  • 序列 (Series)
  • 处理 pandas 索引
  • 类型差异
  • 可空类型
  • 内存使用和零拷贝
• 数据帧交换协议
  • 从 PyArrow 到其他库：__dataframe__() 方法
  • 从其他库到 PyArrow：from_dataframe()
• DLPack 协议
  • PyArrow 中 DLPack 的实现
  • 示例
• 时间戳
  • Arrow/Pandas 时间戳
  • 时间戳转换
• 读取和写入 Apache ORC 格式
  • 获取支持 ORC 的 pyarrow
  • 读取和写入单个文件
  • 更细粒度的读取和写入
  • 压缩
  • 从云存储读取
• 读取和写入 CSV 文件
  • 用法
  • 自定义解析
  • 自定义转换
  • 增量读取
  • 字符编码
  • 自定义写入
  • 增量写入
  • 性能
• Feather 文件格式
  • 使用压缩
  • 写入版本 1 (V1) 文件
• 读取 JSON 文件
  • 用法
  • 自动类型推断
  • 自定义解析
• 读取和写入 Apache Parquet 格式
  • 获取支持 Parquet 的 pyarrow
  • 读取和写入单个文件
  • 更细粒度的读取和写入
  • 检查 Parquet 文件元数据
  • 数据类型处理
  • 压缩、编码和文件兼容性
  • 分区数据集（多个文件）
  • 写入分区数据集
  • 从分区数据集读取
  • 与 Spark 一起使用
  • 多线程读取
  • 从云存储读取
  • Parquet 模块化加密（列加密）
• 表格数据集
  • 读取数据集
  • 过滤数据
  • 投影列
  • 读取分区数据
  • 从云存储读取
  • 从 Minio 读取
  • 使用 Parquet 数据集
  • 手动指定数据集
  • 迭代（核心外或流式）读取
  • 关于事务和 ACID 保证的说明
  • 写入数据集
• Arrow Flight RPC
  • 编写 Flight 服务
  • 使用 Flight 客户端
  • 取消和超时
  • 启用 TLS
  • 启用身份验证
  • 自定义中间件
  • Flight 最佳实践
• 扩展 pyarrow
  • 使用 PyCapsule 接口控制转换为 (Py)Arrow
  • 使用 __arrow_array__ 协议控制转换为 pyarrow.Array
  • 定义扩展类型（“用户定义类型”）
• PyArrow 集成
  • 将 PyArrow 与 R 集成
  • 将 PyArrow 与 Java 集成
  • 从 C++ 和 Cython 代码中使用 pyarrow
  • CUDA 集成
• 环境变量
• API 参考
  • 数据类型和模式
  • 数组和标量
  • 缓冲区和内存
  • 表和张量
  • 计算函数
  • Acero - 流式执行引擎
  • Substrait
  • 流和文件访问
  • 序列化和IPC
  • Arrow Flight
  • 表格文件格式
  • 文件系统
  • 数据集
  • CUDA 集成
  • 其他
• 参与进来
  • PyArrow 架构
• 基准测试
  • 运行基准测试
  • 针对任意 Git 修订版运行
  • 兼容性
• Python 菜谱