项目新闻与博客
Apache Arrow 24.0.0 版本发布
2026年4月21日
Apache Arrow 团队很高兴地宣布 24.0.0 版本发布。此版本涵盖了超过 3 个月的开发工作，包含来自 57 位不同贡献者的 325 次独立提交，解决了 259 个问题。请参阅“安装页面”以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了部分内容…… 阅读更多 →
Apache Arrow ADBC 23（库）版本发布
2026年4月7日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的第 23 版本发布。此版本包含来自 20 位不同贡献者的 41 个已解决问题。这是库的版本发布，当前版本为 23。API 规范单独进行版本控制，当前版本为 1.1.0。子组件独立进行版本控制…… 阅读更多 →
2025年社区亮点
2026年3月19日
正如您在之前的博客文章 1 中可能读到的，Apache Arrow 项目最近迎来了 10 周年。我们感谢每一位帮助我们实现这一里程碑的人，我们希望通过发布 2025 年的社区亮点来庆祝社区取得的成就。我们受到了 Cat Hicks 博士等人的研究 2 的启发，该研究发现…… 阅读更多 →
Apache Arrow Java 19.0.0 版本发布
2026年3月16日
Apache Arrow 团队很高兴地宣布 Apache Arrow Java v19.0.0 版本发布。变更日志：有什么变化？破坏性变更 GH-774：由 @rtadepalli 合并 BitVectorHelper.getValidityBufferSize 和 BaseValueVector.getValidityBufferSizeFromCount (PR #775)；GH-586：由 @axreldable 为 UnionMapWriter 重写 fixedSizeBinary 方法 (PR #885) …… 阅读更多 →
Apache Arrow Go 18.5.2 版本发布
2026年3月4日
Apache Arrow 团队很高兴地宣布 Apache Arrow Go v18.5.2 版本发布。此补丁版本涵盖了来自 6 位不同贡献者的 16 次提交。贡献者列表：11 Matt Topol, 2 daniel-adam-tfs, 1 Evan Todd, 1 Rusty Conover, 1 Stas Spiridonov, 1 William。变更日志：有什么变化…… 阅读更多 →
Apache Arrow nanoarrow 0.8.0 版本发布
2026年2月24日
Apache Arrow 团队很高兴地宣布 Apache Arrow nanoarrow 0.8.0 版本发布。此版本包含来自 10 位贡献者的 28 个已解决的 GitHub 问题。版本亮点：支持构建 String View 数组；IPC 读取器支持缓冲区 LZ4 解压缩；支持 Conan；支持 Homebrew。有关详细列表，请参阅变更日志…… 阅读更多 →
Apache Arrow 23.0.1 版本发布
2026年2月16日
Apache Arrow 团队很高兴地宣布 23.0.1 版本发布。它包含了针对 C++ IPC 文件读取器的一个安全修复，因此请务必阅读下面的相关详细信息，看看您是否受到影响。除此之外，23.0.1 主要是一个错误修复版本，包含来自 12 位不同贡献者的 29 次独立提交，解决了 28 个问题。请参阅安装页面…… 阅读更多 →
Apache Arrow 10 周年快乐 🎉
2026年2月12日
Apache Arrow 项目正式成立于 2016 年 2 月 5 日，并完成了首次 git 提交，因此我们非常激动地宣布其 10 周年纪念！回首这 10 年，项目以许多无法预见的方式发展，我们相信我们已经实现了提供无关、高效、持久的目标…… 阅读更多 →
引入 Arrow 安全模型
2026年2月9日
我们很高兴地宣布正式发布 Apache Arrow 安全模型。Arrow 安全模型涵盖了 Arrow 规范的核心子集：Arrow 列式格式、Arrow C 数据接口和 Arrow IPC 格式。它设定了预期并提供了处理来自不受信任来源的数据的指南…… 阅读更多 →
Apache Arrow Go 18.5.1 版本发布
2026年1月26日
Apache Arrow 团队很高兴地宣布 Apache Arrow Go v18.5.1 版本发布。此补丁版本涵盖了来自 6 位不同贡献者的 10 次提交。贡献者列表：6 Matt Topol, 1 Alfonso Subiotto Marqués, 1 Arnold Wakim, 1 Bryce Mecum, 1 Rok Mihevc, 1 cai.zhang。变更日志：有什么变化…… 阅读更多 →
Apache Arrow 23.0.0 版本发布
2026年1月18日
Apache Arrow 团队很高兴地宣布 23.0.0 版本发布。此版本涵盖了超过 3 个月的开发工作，包含来自 71 位不同贡献者的 417 次独立提交，解决了 336 个问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了部分内容…… 阅读更多 →
Apache Arrow ADBC 22（库）版本发布
2026年1月9日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的第 22 版本发布。此版本包含来自 16 位不同贡献者的 14 个已解决问题。这是库的版本发布，当前版本为 22。API 规范单独进行版本控制，当前版本为 1.1.0。子组件独立进行版本控制…… 阅读更多 →
Apache Arrow Go 18.5.0 版本发布
2025年12月12日
Apache Arrow 团队很高兴地宣布 Apache Arrow Go v18.5.0 版本发布。此次要版本涵盖了来自 17 位不同贡献者的 38 次提交。贡献者列表：11 Matt Topol, 5 Alex, 5 pixelherodev, 2 Mandukhai Alimaa, 2 Rick Morgans, 2 Sutou Kouhei, 1 Ahmed Mezghani …… 阅读更多 →
深入浅出 arrow-rs Parquet 读取中的延迟物化（Late Materialization）
翻译： 简体中文2025年12月11日
本文深入探讨了在 arrow-rs 的 Apache Parquet 读取器（驱动包括 Apache DataFusion 在内的多个项目的读取器）中实现延迟物化的决策与陷阱。我们将看到一个看似简单的文件读取器如何需要复杂的逻辑来评估谓词——实际上它本身已经成为了一个小型的查询引擎…… 阅读更多 →
Apache Arrow ADBC 21（库）版本发布
2025年11月7日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的第 21 版本发布。此版本包含来自 23 位不同贡献者的 30 个已解决问题。这是库的版本发布，当前版本为 21。API 规范单独进行版本控制，当前版本为 1.1.0。子组件独立进行版本控制…… 阅读更多 →
Apache Arrow Rust 57.0.0 版本发布
2025年10月30日
Apache Arrow 团队很高兴地宣布，Apache Arrow Rust v57.0.0 版本现已在 crates.io (arrow 和 parquet) 上发布，并可作为源码下载。请参阅 57.0.0 变更日志以获取完整的更改列表。新功能说明：Arrow Rust 托管了 parquet crate 的开发，这是 Apache Parquet 的高性能 Rust 实现…… 阅读更多 →
Apache Arrow 22.0.0 版本发布
2025年10月24日
Apache Arrow 团队很高兴地宣布 22.0.0 版本发布。此版本涵盖了超过 3 个月的开发工作，包含来自 60 位不同贡献者的 255 次独立提交，解决了 213 个问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了部分内容…… 阅读更多 →
利用 Rust 自定义 Thrift 解析器，将 Apache Parquet 页脚元数据读取速度提升 3-9 倍
2025年10月23日
编者注：虽然 Apache Arrow 和 Apache Parquet 是独立的项目，但 Arrow arrow-rs 仓库托管了 parquet Rust crate 的开发，这是一个广泛使用且高性能的 Parquet 实现。摘要：parquet Rust crate 57.0.0 版本解码元数据的速度比以前版本快三倍多，这要归功于一种新的…… 阅读更多 →
宣布 Arrow Rust 中的 arrow-avro
2025年10月23日
arrow-avro 现已发布，这是一个重写后的 Rust crate，可以直接将 Apache Avro 数据读取和写入为 Arrow RecordBatches。它支持 Avro 对象容器文件 (OCF)、单对象编码 (SOE)、Confluent Schema Registry 线格式和 Apicurio Registry 线格式，并具有投影/演进、可调批量大小…… 阅读更多 →
Apache Arrow ADBC 20（库）版本发布
2025年9月12日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的第 20 版本发布。此版本包含来自 29 位不同贡献者的 44 个已解决问题。这是库的版本发布，当前版本为 20。API 规范单独进行版本控制，当前版本为 1.1.0。子组件独立进行版本控制…… 阅读更多 →
Apache Arrow Go 18.4.1 版本发布
2025年9月4日
Apache Arrow 团队很高兴地宣布 Apache Arrow Go v18.4.1 版本发布。此补丁版本涵盖了来自 7 位不同贡献者的 15 次提交。贡献者列表：7 Matt Topol, 4 Mandukhai Alimaa, 1 Chromo-residuum-opec, 1 Ryan Schneider, 1 Travis Patterson, 1 daniel-adam-tfs …… 阅读更多 →
Apache Arrow Go 18.4.0 版本发布
2025年7月21日
Apache Arrow 团队很高兴地宣布 Apache Arrow Go v18.4.0 版本发布。此次要版本涵盖了来自 11 位不同贡献者的 25 次提交。贡献者列表：16 Matt Topol, 1 Alvaro Viebrantz, 1 Arnold Wakim, 1 Daniil Mileev, 1 Kristofer Gaudel, 1 Marcin Bojanczyk, 1 Raúl C …… 阅读更多 →
Arrow C++ 中 Hash Join 的近期改进
2025年7月18日
编者注：Apache Arrow 是一个庞大的项目，从 Arrow 列式格式本身，到其众多的规范，再到一长串的实现。就贡献者社区而言，Arrow 也是一个庞大的项目。在这篇博客文章中，我们想重点介绍 Apache Arrow 提交者 Rossi Sun 在改进方面所做的工作…… 阅读更多 →
Apache Arrow 21.0.0 版本发布
2025年7月17日
Apache Arrow 团队很高兴地宣布 21.0.0 版本发布。此版本涵盖了超过 2 个月的开发工作，包含来自 82 位不同贡献者的 400 次独立提交，解决了 339 个问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了部分内容…… 阅读更多 →
Apache Arrow ADBC 19（库）版本发布
2025年7月8日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的第 19 版本发布。此版本包含来自 27 位不同贡献者的 60 个已解决问题。这是库的版本发布，当前版本为 19。API 规范单独进行版本控制，当前版本为 1.1.0。子组件独立进行版本控制…… 阅读更多 →
Apache Arrow nanoarrow 0.7.0 版本发布
2025年7月2日
Apache Arrow 团队很高兴地宣布 Apache Arrow nanoarrow 0.7.0 版本发布。此版本涵盖了来自 12 位贡献者的 117 个已解决问题。版本亮点：将 Python 绑定迁移至 Meson Python；更好地支持共享链接；IPC 读取器中的 ZSTD 解压缩支持；Decimal32、Decimal64、ListView 和 LargeListView 支持…… 阅读更多 →
Apache Arrow Java 18.3.0 版本发布
2025年5月13日
Apache Arrow 团队很高兴地宣布 Apache Arrow Java v18.3.0 版本发布。这是自 v18.2.0 以来的一个次要版本。变更日志：新功能和增强功能：MINOR: ZstdCompressionCodec 应使用 decompressedSize 获取错误名称 (@libenchao, #619)；MINOR: 当无法读取更多缓冲区时添加明确的异常…… 阅读更多 →
Apache Arrow Go 18.3.0 版本发布
2025年5月9日
Apache Arrow 团队很高兴地宣布 Apache Arrow Go v18.3.0 版本发布。此次要版本涵盖了来自 8 位不同贡献者的 21 次提交。贡献者列表：13 Matt Topol, 2 Chris Pahl, 1 Ashish Negi, 1 David Li, 1 Jeroen Demeyer, 1 Mateusz Rzeszutek, 1 Raúl Cumplido …… 阅读更多 →
Apache Arrow ADBC 18（库）版本发布
2025年5月6日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的第 18 版本发布。此版本包含来自 22 位不同贡献者的 28 个已解决问题。这是库的版本发布，当前版本为 18。API 规范单独进行版本控制，当前版本为 1.1.0。子组件独立进行版本控制…… 阅读更多 →
Apache Arrow 20.0.0 版本发布
2025年4月27日
Apache Arrow 团队很高兴地宣布 20.0.0 版本发布。此版本涵盖了超过 2 个月的开发工作，包含来自 63 位不同贡献者的 327 次独立提交，解决了 259 个问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了部分内容…… 阅读更多 →
Apache Arrow Go 18.2.0 版本发布
2025年3月16日
Apache Arrow 团队很高兴地宣布 Apache Arrow Go v18.2.0 版本发布。此次要版本涵盖了来自 7 位不同贡献者的 21 次提交。亮点：Arrow 32 位平台上的位图操作 (#277)；arrow/memory 的分配将始终对齐，即使来自 Mallocator (#289)；加速了 compute 中小整数的溢出检查…… 阅读更多 →
利用 ADBC 在 DuckDB 中进行快速流式插入
2025年3月10日
# TL;DR DuckDB 正在迅速成为数据从业者工具箱中不可或缺的一部分，在数据工程、机器学习和本地分析中找到了用例。在许多情况下，DuckDB 一直被用于查询和处理已由另一个进程保存到存储器（基于文件或外部数据库）中的数据。Arrow Database Connectivity…… 阅读更多 →
Apache Arrow ADBC 17（库）版本发布
2025年3月7日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的第 17 版本发布。此版本包含来自 13 位不同贡献者的 18 个已解决问题。这是库的版本发布，当前版本为 17。API 规范单独进行版本控制，当前版本为 1.1.0。子组件独立进行版本控制…… 阅读更多 →
数据渴望自由：使用 Apache Arrow 进行快速数据交换
2025年2月28日
这是系列文章中的第二篇，旨在揭秘将 Arrow 作为数据库和查询引擎的数据交换格式的使用。本系列文章：Apache Arrow 格式如何加速查询结果传输；数据想要自由：使用 Apache Arrow 进行快速数据交换。作为数据从业者，我们经常发现我们的数据被“扣为人质”…… 阅读更多 →
Apache Arrow Java 18.2.0 版本发布
2025年2月19日
Apache Arrow 团队很高兴地宣布 Apache Arrow Java v18.2.0 版本发布。这是自 Arrow Java 进入自己的仓库以来的首次发布。变更日志：有什么变化？GH-466：从 Flight 包导出命名空间 (@lidavidm, #467)；GH-447：从 apache/arrow 移植被遗漏的修复 (@lidavidm, #475)；GH-48：实现 Vecto…… 阅读更多 →
Apache Arrow 19.0.1 版本发布
2025年2月16日
Apache Arrow 团队很高兴地宣布 19.0.1 版本发布。此版本主要修复了最近的 Arrow 19.0.0 版本中的一个错误，该错误阻止了 Arrow C++ 和绑定它的库（例如 Python、R）读取由 Arrow Rust v53.0.0 或更高版本创建的 Parquet 文件。有关详细信息，请参阅 19.0.0 发布博客文章。此版本…… 阅读更多 →
Apache Arrow ADBC 16（库）版本发布
2025年1月21日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的第 16 版本发布。此版本包含来自 11 位不同贡献者的 15 个已解决问题。这是库的版本发布，当前版本为 16。API 规范单独进行版本控制，当前版本为 1.1.0。子组件独立进行版本控制…… 阅读更多 →
Apache Arrow 19.0.0 版本发布
2025年1月16日
Apache Arrow 团队很高兴地宣布 19.0.0 版本发布。此版本涵盖了超过 2 个月的开发工作，包含来自 67 位不同贡献者的 330 次独立提交，解决了 202 个问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了部分内容…… 阅读更多 →
Apache Arrow Go 18.1.0 版本发布
2025年1月13日
Apache Arrow 团队很高兴地宣布 Apache Arrow Go v18.1.0 版本发布。此次要版本涵盖了来自 6 位不同贡献者的 32 次提交。贡献者列表：24 Matt Topol, 2 Sutou Kouhei, 2 Todd Treece, 1 Nick Ripley, 1 Raúl Cumplido, 1 Ruihao Chen。变更日志：有什么变化？GH …… 阅读更多 →
Apache Arrow 格式如何加速查询结果传输
翻译： 日本語2025年1月10日
这是系列文章中的第一篇，旨在揭秘将 Arrow 作为数据库和查询引擎的数据交换格式的使用。本系列文章：Apache Arrow 格式如何加速查询结果传输；数据想要自由：使用 Apache Arrow 进行快速数据交换。“为什么这需要这么长时间？”这是数据从业者常问的一个问题…… 阅读更多 →
Apache Arrowフォーマットはどのようにクエリー結果の転送を高速にしているのか
翻译： 原文（English）2025年1月10日
这篇文章是系列文章的第一篇，旨在揭秘为什么 Arrow 被用作数据库和查询引擎之间的数据交换格式。“为什么这需要这么长时间？”这是人们在等待查询结果时经常思考的问题。有很多可能的答案。也许数据源没有正确分区。也许 SaaS 数据仓库的资源不足。也许查询优化器无法将 SQL 语句转换为高效的执行计划。然而，在惊人数量的情况下，答案是用于将查询结果传输到客户端的协议效率低下。2017 年的论文…… 阅读更多 →
Apache Arrow 18.1.0 版本发布
2024年11月21日
Apache Arrow 团队很高兴地宣布 18.1.0 版本发布。此版本涵盖了大约一个月的开发工作，包含来自 8 位不同贡献者的 25 次独立提交，解决了 15 个问题。请参阅安装页面以了解如何获取适用于您平台的库。此次要版本的主要动机是解决包装 i…… 阅读更多 →
Apache Arrow ADBC 15（库）版本发布
2024年11月13日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的第 15 版本发布。此版本包含来自 13 位不同贡献者的 31 个已解决问题。这是库的版本发布，当前版本为 15。API 规范单独进行版本控制，当前版本为 1.1.0。子组件独立进行版本控制…… 阅读更多 →
Apache Arrow 18.0.0 版本发布
2024年10月28日
Apache Arrow 团队很高兴地宣布 18.0.0 版本发布。此版本涵盖了超过 3 个月的开发工作，包含来自 89 位不同贡献者的 530 次独立提交，解决了 334 个问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了部分亮点…… 阅读更多 →
Apache Arrow Go 18.0.0 版本发布
2024年10月23日
Apache Arrow 团队很高兴地宣布 Apache Arrow Go v18.0.0 版本发布。此版本包含来自 11 位贡献者的 35 个已解决问题。版本亮点：迁移至新仓库。Apache Arrow Go 实现已从 Arrow 单体仓库中移出，现在拥有自己的仓库，位于 https://github.com/apache/arrow-go。这…… 阅读更多 →
Apache Arrow nanoarrow 0.6.0 版本发布
2024年10月7日
Apache Arrow 团队很高兴地宣布 Apache Arrow nanoarrow 0.6.0 版本发布。此版本涵盖了来自 10 位贡献者的 114 个已解决问题。版本亮点：运行末端编码（Run End Encoding）支持；StringView 支持；IPC 写入支持；DLPack/设备支持；IPC/设备可从 CMake/Meson 作为功能标志使用。有关详细列表，请参阅变更日志…… 阅读更多 →
Apache Arrow ADBC 14（库）版本发布
2024年9月5日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的第 14 版本发布。此版本包含来自 12 位不同贡献者的 27 个已解决问题。这是库的版本发布，当前版本为 14。API 规范单独进行版本控制，当前版本为 1.1.0。子组件独立进行版本控制…… 阅读更多 →
Apache Arrow 17.0.0 版本发布
2024年7月16日
Apache Arrow 团队很高兴地宣布 17.0.0 版本发布。此版本涵盖了超过 3 个月的开发工作，包含来自 92 位不同贡献者的 529 次独立提交，解决了 331 个问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了部分亮点…… 阅读更多 →
Apache Arrow ADBC 13（库）版本发布
2024年7月5日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的第 13 版本发布。此版本包含来自 11 位不同贡献者的 24 个已解决问题。这是库的版本发布，当前版本为 13。API 规范单独进行版本控制，当前版本为 1.1.0。子组件独立进行版本控制…… 阅读更多 →
Apache Arrow nanoarrow 0.5.0 版本发布
2024年5月27日
Apache Arrow 团队很高兴地宣布 Apache Arrow nanoarrow 0.5.0 版本发布。此版本涵盖了来自 9 位贡献者的 79 个已解决问题。版本亮点：nanoarrow 0.5.0 版本的主要重点是扩展 0.4.0 中发布的初始 Python 绑定。nanoarrow Python 包现在可以创建和使用 m…… 阅读更多 →
Apache Arrow ADBC 12（库）版本发布
2024年5月21日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的第 12 版本发布。此版本包含来自 13 位不同贡献者的 56 个已解决问题。这是库的版本发布，当前版本为 12。API 规范单独进行版本控制，当前版本为 1.1.0。子组件独立进行版本控制…… 阅读更多 →
Apache Arrow 16.1.0 版本发布
2024年5月14日
Apache Arrow 团队很高兴地宣布 16.1.0 版本发布。这是一个次要版本，包含来自 16 位不同贡献者的 34 个已解决问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了发布的部分亮点。其他错误修复和改进…… 阅读更多 →
宣布 Apache Arrow DataFusion 现更名为 Apache DataFusion
2024年5月7日
介绍：TLDR; Apache Arrow DataFusion --> Apache DataFusion。Arrow PMC 和新创建的 DataFusion PMC 很高兴地宣布，截至 2024 年 4 月 16 日，Apache Arrow DataFusion 子项目现已成为 Apache 软件基金会的顶级项目。背景：Apache DataFusion 是一个快速、可扩展的查询引擎，用于构建高质量…… 阅读更多 →
Apache Arrow 16.0.0 版本发布
2024年4月20日
Apache Arrow 团队很高兴地宣布 16.0.0 版本发布。此版本涵盖了超过 3 个月的开发工作，包含来自 119 位不同贡献者的 586 次独立提交，解决了 385 个问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了部分亮点…… 阅读更多 →
Apache Arrow ADBC 0.11.0（库）版本发布
2024年3月31日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的 0.11.0 版本发布。此版本包含来自 11 位不同贡献者的 36 个已解决问题。这是库的版本发布，当前版本为 0.11.0。API 规范单独进行版本控制，当前版本为 1.1.0。以下发行说明并不详尽…… 阅读更多 →
Apache Arrow 15.0.2 版本发布
2024年3月18日
Apache Arrow 团队很高兴地宣布 15.0.2 版本发布。这主要是一个错误修复版本，包含来自 7 位不同贡献者的 8 个已解决问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了发布的部分亮点。其他错误修复和…… 阅读更多 →
Apache Arrow 15.0.1 版本发布
2024年3月7日
Apache Arrow 团队很高兴地宣布 15.0.1 版本发布。这主要是一个错误修复版本，包含来自 18 位不同贡献者的 42 个已解决问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了发布的部分亮点。其他错误修复和…… 阅读更多 →
宣布 Apache Arrow DataFusion Comet
2024年3月6日
介绍：Apache Arrow PMC 很高兴地宣布捐赠 Comet 项目，这是一个基于 Apache Arrow DataFusion 构建的原生 Spark SQL 加速器。Comet 是一个 Apache Spark 插件，它使用 Apache Arrow DataFusion 来加速 Spark 工作负载。它被设计为 Spark 基于 JVM 的 SQL 执行引擎的直接替换，并提供…… 阅读更多 →
Apache Arrow ADBC 0.10.0（库）版本发布
2024年2月22日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的 0.10.0 版本发布。此版本包含来自 18 位不同贡献者的 31 个已解决问题。这是库的版本发布，当前版本为 0.10.0。API 规范单独进行版本控制，当前版本为 1.1.0。以下发行说明并不详尽…… 阅读更多 →
Apache Arrow nanoarrow 0.4.0 版本发布
2024年1月29日
Apache Arrow 团队很高兴地宣布 Apache Arrow nanoarrow 0.4.0 版本发布。此版本涵盖了来自 5 位贡献者的 46 个已解决问题。版本亮点：nanoarrow 0.4.0 版本的主要重点是测试、稳定性和代码质量。值得注意的是，添加了 C 数据接口集成测试协议的实现…… 阅读更多 →
Apache Arrow 15.0.0 版本发布
2024年1月21日
Apache Arrow 团队很高兴地宣布 15.0.0 版本发布。此版本涵盖了超过 3 个月的开发工作，包含来自 101 位不同贡献者的 536 次独立提交，解决了 344 个问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了部分亮点…… 阅读更多 →
Apache Arrow DataFusion 34.0.0 发布，展望 2024
2024年1月19日
介绍：我们最近发布了 DataFusion 34.0.0。此博客重点介绍了自发布 DataFusion 26.0.0 以来的主要改进（剧透警告：非常多），以及社区计划在未来 6 个月内重点关注的方向的预览。Apache Arrow DataFusion 是一个用 Rust 编写的可扩展查询引擎，它使用 Apache Arrow 作为其…… 阅读更多 →
Apache Arrow ADBC 0.9.0（库）版本发布
2024年1月8日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的 0.9.0 版本发布。此版本包含来自 16 位不同贡献者的 34 个已解决问题。这是库的版本发布，当前版本为 0.9.0。API 规范单独进行版本控制，当前版本为 1.1.0。以下发行说明并不详尽…… 阅读更多 →
Apache Arrow 14.0.2 版本发布
2023年12月18日
Apache Arrow 团队很高兴地宣布 14.0.2 版本发布。这主要是一个错误修复版本，包含来自 11 位不同贡献者的 33 个已解决问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了发布的部分亮点。其他错误修复和…… 阅读更多 →
Apache Arrow ADBC 0.8.0（库）版本发布
2023年11月9日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的 0.8.0 版本发布。此版本包含来自 12 位不同贡献者的 43 个已解决问题。这是库的版本发布，当前版本为 0.8.0。API 规范单独进行版本控制，当前版本为 1.1.0。以下发行说明并不详尽…… 阅读更多 →
Apache Arrow 14.0.1 版本发布
2023年11月9日
Apache Arrow 团队很高兴地宣布 Apache Arrow 14.0.1 版本发布。此版本包含 PyArrow 的一个安全修复程序。其他实现保持不变。建议 PyArrow 用户升级到 14.0.1。同样，建议下游库将其依赖项要求升级到 PyArrow 14.0.1 或…… 阅读更多 →
Apache Arrow 14.0.0 版本发布
2023年11月1日
Apache Arrow 团队很高兴地宣布 14.0.0 版本发布。此版本涵盖了超过 3 个月的开发工作，包含来自 116 位不同贡献者的 483 个已解决问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了发布的部分亮点。M…… 阅读更多 →
Apache Arrow nanoarrow 0.3.0 版本发布
2023年10月3日
Apache Arrow 团队很高兴地宣布 Apache Arrow nanoarrow 0.3.0 版本发布。此版本涵盖了来自 4 位贡献者的 42 个已解决问题。版本亮点：请参阅变更日志以获取此版本贡献的详细列表。C 库：nanoarrow 0.3.0 版本包含对核心 C 库的许多错误修复和改进…… 阅读更多 →
Apache Arrow ADBC 0.7.0（库）版本发布
2023年9月23日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的 0.7.0 版本发布。此版本包含来自 8 位不同贡献者的 50 个已解决问题。这是库的版本发布，当前版本为 0.7.0。API 规范单独进行版本控制，当前版本为 1.1.0。以下发行说明并不详尽…… 阅读更多 →
Apache Arrow Flight SQL PostgreSQL 适配器 0.1.0 版本发布
2023年9月13日
Apache Arrow 团队很高兴地宣布 Apache Arrow Flight SQL PostgreSQL 适配器 0.1.0 版本发布。这包含来自 1 位不同贡献者的 60 次提交。以下发行说明并不详尽，仅展示了发布的部分亮点。已经进行了许多其他错误修复和改进：我们建议您查阅完整…… 阅读更多 →
Apache Arrow ADBC 0.6.0（库）版本发布
2023年8月28日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的 0.6.0 版本发布。此版本包含来自 9 位不同贡献者的 46 个已解决问题。这是库的版本发布，当前版本为 0.6.0。API 规范单独进行版本控制，当前版本为 1.0.0。（API 版本将更新为 1.1.0…… 阅读更多 →
Apache Arrow 13.0.0 版本发布
2023年8月24日
Apache Arrow 团队很高兴地宣布 13.0.0 版本发布。此版本涵盖了超过 3 个月的开发工作，包含来自 108 位不同贡献者的 456 个已解决问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了发布的部分亮点。M…… 阅读更多 →
在 Apache Arrow DataFusion 28.0.0 中快速聚合数百万个组
2023年8月5日
在 Apache Arrow DataFusion 中快速聚合数百万个组 (Andrew Lamb, Daniël Heres, Raphael Taylor-Davies)。注意：本文最初发表于 InfluxData 博客。TLDR：分组聚合是任何分析工具的核心部分，可以创建海量数据量的易懂摘要。Apache Arrow DataFusion 的并行聚合…… 阅读更多 →
Apache Arrow ADBC 0.5.1（库）版本发布
2023年6月27日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的 0.5.1 版本发布。此版本包含来自 8 位不同贡献者的 8 个已解决问题。这是库的版本发布，当前版本为 0.5.1。API 规范单独进行版本控制，当前版本为 1.0.0。以下发行说明并不详尽…… 阅读更多 →
我们在 F5 使用 Apache Arrow 的历程（第二部分）：优化 Arrow 使用的自适应模式和排序
2023年6月26日
在上一篇文章中，我们讨论了在 OpenTelemetry 项目的背景下对 Apache Arrow 的使用。我们研究了各种技术来最大化 Apache Arrow 的效率，旨在找到数据压缩率和可查询性之间的最佳平衡点。压缩结果不言自明，改进范围从…… 阅读更多 →
Apache Arrow DataFusion 26.0.0
2023年6月24日
自我们上次更新以来，DataFusion 的开发经历了旋风般的 6 个月：社区不断壮大，添加了许多功能，性能得到了提升，我们正在讨论将其分拆为我们自己的顶级 Apache 项目。背景：Apache Arrow DataFusion 是一个用 Rust 编写的可扩展查询引擎和数据库工具包，它使用…… 阅读更多 →
Apache Arrow nanoarrow 0.2 版本发布
2023年6月22日
Apache Arrow 团队很高兴地宣布 Apache Arrow nanoarrow 0.2.0 版本发布。此初始版本涵盖了来自 6 位贡献者的 19 个已解决问题。版本亮点：添加了 Arrow IPC 流读取器扩展；添加了 nanoarrow 入门教程；改进了 nanoarrow 的可靠性和平台测试覆盖率…… 阅读更多 →
Apache Arrow ADBC 0.5.0（库）版本发布
2023年6月21日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的 0.5.0 版本发布。此版本包含来自 12 位不同贡献者的 37 个已解决问题。这是库的版本发布，当前版本为 0.5.0。API 规范单独进行版本控制，当前版本为 1.0.0。以下发行说明并不详尽…… 阅读更多 →
Apache Arrow 12.0.1 版本发布
2023年6月13日
Apache Arrow 团队很高兴地宣布 12.0.1 版本发布。这主要是一个错误修复版本，包含来自 12 位不同贡献者的 38 个已解决问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了发布的部分亮点。其他错误修复和…… 阅读更多 →
Apache Arrow ADBC 0.4.0（库）版本发布
2023年5月15日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的 0.4.0 版本发布。此版本包含来自 8 位不同贡献者的 47 个已解决问题。这是库的版本发布，当前版本为 0.4.0。API 规范单独进行版本控制，当前版本为 1.0.0。以下发行说明并不详尽…… 阅读更多 →
在 CloudQuery 采用 Apache Arrow
2023年5月4日
这篇文章是与 CloudQuery 的合作，并交叉发布在 CloudQuery 博客上。CloudQuery 是一个用 Go 编写的开源高性能 ELT 框架。我们之前讨论过我们为构建高性能 ELT 框架所采取的一些架构和设计决策。类型系统是创建高性能和可扩展性的关键组件…… 阅读更多 →
Apache Arrow 12.0.0 版本发布
2023年5月2日
Apache Arrow 团队很高兴地宣布 12.0.0 版本发布。此版本涵盖了超过 3 个月的开发工作，包含来自 97 位不同贡献者的 476 个已解决问题和 531 次提交。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了发布的部分亮点…… 阅读更多 →
我们在 F5 使用 Apache Arrow 的历程（第一部分）
2023年4月11日
Apache Arrow 是一项在大数据、分析和机器学习应用中被广泛采用的技术。在本文中，我们分享了 F5 在 Arrow 方面的经验，特别是其在遥测方面的应用，以及我们在优化 OpenTelemetry 协议以显著降低带宽成本时遇到的挑战。我们获得的令人期待的结果…… 阅读更多 →
Apache Arrow ADBC 0.3.0（库）版本发布
2023年3月21日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的 0.3.0 版本发布。此版本包含来自 7 位不同贡献者的 24 个已解决问题。这是库的版本发布，当前版本为 0.3.0。API 规范单独进行版本控制，当前版本为 1.0.0。以下发行说明并不详尽…… 阅读更多 →
Apache Arrow nanoarrow 0.1 版本发布
2023年3月7日
Apache Arrow 团队很高兴地宣布 Apache Arrow nanoarrow 0.1.0 版本发布。此初始版本涵盖了来自 6 位贡献者的 31 个已解决问题。版本亮点：此初始版本包括以下内容：打包为两个文件的 C 库 (nanoarrow.c 和 nanoarrow.h)；为 R 编程语言用户提供绑定的 R 包…… 阅读更多 →
Apache Arrow ADBC 0.2.0（库）版本发布
2023年2月16日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的 0.2.0 版本发布。此版本包含来自 7 位不同贡献者的 34 个已解决问题。这是库的版本发布，当前版本为 0.2.0。API 规范单独进行版本控制，当前版本为 1.0.0。以下发行说明并不详尽…… 阅读更多 →
2023 年 2 月 Rust Apache Arrow 亮点
2023年2月13日
介绍：随着最近 Apache Arrow Rust 实现版本 32.0.0 的发布，现在是强调自上次更新以来社区工作的好时机。最详细的更改列表始终可以在 CHANGELOG 中找到，完整的历史列表可在此处获得。Arrow arrow 和 arrow-flight 是原生的 Rust 实现…… 阅读更多 →
Apache Arrow 11.0.0 版本发布
2023年1月25日
Apache Arrow 团队很高兴地宣布 11.0.0 版本发布。此版本涵盖了超过 3 个月的开发工作，包含来自 95 位不同贡献者的 423 个已解决问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了发布的部分亮点。M…… 阅读更多 →
Apache Arrow DataFusion 16.0.0 项目更新
2023年1月19日
介绍：DataFusion 是一个用 Rust 编写的可扩展查询执行框架，它使用 Apache Arrow 作为其内存中格式。它主要针对创建数据密集型分析的开发人员，并提供成熟的 SQL 支持、DataFrame API 和许多扩展点。基于 DataFusion 的系统在基准测试中表现非常出色，特别是…… 阅读更多 →
Apache Arrow ADBC 0.1.0（库）版本发布
2023年1月12日
Apache Arrow 团队很高兴地宣布 Apache Arrow ADBC 库的 0.1.0 版本发布。此版本包含来自 7 位不同贡献者的 63 个已解决问题。这是库的版本发布，当前版本为 0.1.0。API 规范单独进行版本控制，当前版本为 1.0.0。欲了解更多信息，请参阅 ADBC 介绍…… 阅读更多 →
介绍 ADBC：Apache Arrow 的数据库访问
2023年1月5日
Arrow 社区想介绍 Arrow Database Connectivity (ADBC) 规范的 1.0.0 版本。ADBC 是 JDBC/ODBC 的一种列式、低开销的分析应用替代方案。或者换句话说：ADBC 是一种用于获取 Arrow 数据进出不同数据库的单一 API。动机：应用程序通常使用 API 标准…… 阅读更多 →
以毫秒延迟查询 Parquet
2022年12月26日
以毫秒延迟查询 Parquet。注意：本文最初发表于 InfluxData 博客。我们认为，直接查询 Apache Parquet 文件中的数据可以实现比大多数专用文件格式更好或更好的存储效率和查询性能。虽然它需要大量的工程投入，但其好处是…… 阅读更多 →
Apache Arrow 10.0.1 版本发布
2022年11月22日
Apache Arrow 团队很高兴地宣布 10.0.1 版本发布。这主要是一个错误修复版本，包含来自 15 位不同贡献者的 30 个已解决问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了发布的部分亮点。其他错误修复和…… 阅读更多 →
Apache Arrow Rust 中快速且内存高效的多列排序，第二部分
2022年11月7日
介绍：在本文的第一部分中，我们描述了多列排序的问题以及有效实现它的挑战。这第二篇文章解释了 Apache Arrow Rust 实现中的新行格式是如何工作和构建的。行格式：行格式是由连接 e 创建的变长字节序列…… 阅读更多 →
Apache Arrow Rust 中快速且内存高效的多列排序，第一部分
2022年11月7日
介绍：排序是现代数据库和其他分析系统中最重要的操作之一，是聚合、连接、窗口函数、合并等重要运算符的基础。据估计，数据处理系统中超过一半的执行时间都花在排序上。因此，优化排序对于…… 阅读更多 →
通过 Arrow Flight SQL 的 JDBC 驱动程序扩展 Arrow 的影响力
2022年11月1日
我们很高兴地宣布，自 10.0.0 版本起，Arrow 项目现在包含基于 Arrow Flight SQL 的 JDBC 驱动程序实现。这要归功于 Dremio（一个数据湖仓平台）的软件捐赠。Dremio 的贡献者设计并贡献了 Flight，此外还开发并开源了此驱动程序实现…… 阅读更多 →
Apache Arrow 10.0.0 版本发布
2022年10月31日
Apache Arrow 团队很高兴地宣布 10.0.0 版本发布。此版本涵盖了超过 3 个月的开发工作，包含来自 100 位不同贡献者的 473 个已解决问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了发布的部分亮点。M…… 阅读更多 →
Apache Arrow Ballista 0.9.0 版本发布
2022年10月28日
介绍：Ballista 是一个用 Rust 实现的 Arrow 原生分布式 SQL 查询引擎。Ballista 0.9.0 现已发布，是自 2021 年项目捐赠给 Apache Arrow 以来最重要的版本。此版本代表了 4 周的工作，来自 14 位贡献者的 66 次提交：22 Andy Grove, 12 yahoNanJing, 6 Daniël…… 阅读更多 →
Apache Arrow DataFusion 13.0.0 项目更新
2022年10月25日
介绍：Apache Arrow DataFusion 13.0.0 现已发布，此博客包含了自 2022 年 5 月上次更新以来 5 个月的项目更新。DataFusion 是一个用 Rust 编写的可扩展且可嵌入的查询引擎，用于创建现代、快速且高效的数据管道、ETL 流程和数据库系统。您可能想查看…… 阅读更多 →
Arrow 和 Parquet 第三部分：结构列表和列表结构的任意嵌套
2022年10月17日
介绍：这是三部分系列文章的第三篇，探讨了 Rust Apache Arrow 等项目如何支持 Apache Arrow（用于内存处理）和 Apache Parquet（用于高效存储）之间的转换。Apache Arrow 是一种开放的、与语言无关的列式内存格式，用于平面和分层数据，专为高效分析操作而组织…… 阅读更多 →
Arrow 和 Parquet 第二部分：使用结构和列表的分层数据
2022年10月8日
介绍：这是三部分系列文章的第二篇，探讨了 Rust Apache Arrow 等项目如何支持 Apache Arrow 和 Apache Parquet 之间的转换。第一篇文章涵盖了数据存储和有效性编码的基础知识，这篇文章将涵盖更复杂的结构和列表类型。Apache Arrow 是一种开放的、与语言无关的…… 阅读更多 →
Arrow 和 Parquet 第一部分：原始类型和可空性
2022年10月5日
介绍：我们最近完成了 Rust Apache Arrow 内部的一个长期项目，以完成对读取和写入任意嵌套 Parquet 和 Arrow 模式的支持。这是一个复杂的主题，我们遇到了缺乏通俗易懂的技术信息的情况，因此编写了此博客与社区分享我们的经验。Apache Arrow 是…… 阅读更多 →
Apache Arrow 9.0.0 版本发布
2022年8月16日
Apache Arrow 团队很高兴地宣布 9.0.0 版本发布。此版本涵盖了超过 3 个月的开发工作，包含来自 114 位不同贡献者的 509 个已解决问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了发布的部分亮点。M…… 阅读更多 →
2022 年 6 月 Rust Apache Arrow 和 Parquet 16.0.0 亮点
2022年6月16日
介绍：我们最近庆祝了 Apache Arrow Rust 实现版本 16.0.0 的发布。虽然我们仍然收到一些评论称“大多数 Rust 库都使用 0.x.0 版本，为什么你们是 16.0.0？”，但我们的版本控制方案似乎运行良好，并允许以 semver 兼容的方式快速发布新功能和 API 演进…… 阅读更多 →
Apache Arrow DataFusion 8.0.0 版本发布
2022年5月16日
介绍：DataFusion 是一个用 Rust 编写的可扩展查询执行框架，它使用 Apache Arrow 作为其内存中格式。当您想用 SQL 支持、DataFrame API 或读取和处理 Parquet、JSON、Avro 或 CSV 数据的功能来扩展您的 Rust 项目时，DataFusion 绝对值得一试。DataFusion 的 SQL、DataF…… 阅读更多 →
Apache Arrow 8.0.0 版本发布
2022年5月15日
Apache Arrow 团队很高兴地宣布 8.0.0 版本发布。此版本涵盖了超过 3 个月的开发工作，包含来自 127 位不同贡献者的 586 个已解决问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了发布的部分亮点。M…… 阅读更多 →
Apache Arrow for R 备忘单
2022年4月27日
我们很高兴介绍新的 Apache Arrow for R 备忘单。帮助（而不是作弊）：虽然备忘单可能最初是一套在讲师不知情的情况下使用的笔记（因此，嗯，作弊），但使用 Arrow for R 备忘单绝对不是作弊！如今，备忘单是为用户提供软件介绍的常用工具…… 阅读更多 →
介绍 Apache Arrow DataFusion Contrib
2022年3月21日
介绍：Apache Arrow DataFusion 是一个用 Rust 编写的可扩展查询执行框架，它使用 Apache Arrow 作为其内存中格式。当您想用 SQL 支持、DataFrame API 或读取和处理 Parquet、JSON、Avro 或 CSV 数据的功能来扩展您的 Rust 项目时，DataFusion 绝对值得一试。DataFusion…… 阅读更多 →
Apache Arrow DataFusion 7.0.0 版本发布
2022年2月28日
介绍：DataFusion 是一个用 Rust 编写的可扩展查询执行框架，它使用 Apache Arrow 作为其内存中格式。当您想用 SQL 支持、DataFrame API 或读取和处理 Parquet、JSON、Avro 或 CSV 数据的功能来扩展您的 Rust 项目时，DataFusion 绝对值得一试。DataFusion 的 SQL、Data…… 阅读更多 →
介绍 Apache Arrow Flight SQL：加速数据库访问
2022年2月16日
我们想介绍 Flight SQL，这是 Apache Arrow 社区开发的一种新的客户机-服务器协议，用于与 SQL 数据库交互，利用 Arrow 内存中列式格式和 Flight RPC 框架。Flight SQL 旨在提供与 JDBC 和 ODBC 等现有 API 大致相同的功能，包括执行查询…… 阅读更多 →
2022 年 2 月 Rust Apache Arrow 和 Parquet 亮点
2022年2月13日
Apache Arrow 的 Rust 实现刚刚发布了版本 9.0.2。虽然这种规模的主要版本可能会让 Rust 社区中的一些人感到震惊（对他们来说，这意味着一个缓慢发展的 20 年历史的软件），但事实远非如此！随着定期且可预测的双周发布，该库继续快速发展…… 阅读更多 →
Apache Arrow 7.0.0 版本发布
2022年2月8日
Apache Arrow 团队很高兴地宣布 7.0.0 版本发布。此版本涵盖了超过 3 个月的开发工作，包含来自 105 位不同贡献者的 617 个已解决问题。请参阅安装页面以了解如何获取适用于您平台的库。以下发行说明并不详尽，仅展示了发布的部分亮点。M…… 阅读更多 →
Skyhook：使用 Apache Arrow 将计算带到存储
2022年1月31日
CPU、内存、存储和网络带宽每年都在变好，但它们在不同维度上的改进越来越不同。处理器速度更快，但其内存带宽没有跟上；同时，云计算导致存储与应用程序通过网络链路分离。这种分歧进化意味着我们需要重新思考…… 阅读更多 →
DuckDB quacks Arrow：Apache Arrow 和 DuckDB 之间的零拷贝数据集成
2021年12月3日
TLDR：DuckDB 和 Apache Arrow 之间的零拷贝集成，使得用户能够使用 SQL 或关系型 API 在 Python 和 R 中快速分析超过内存大小的数据集。本文是与 DuckDB 博客合作并同步发布的。Apache Arrow 的一部分是一种专为分析库优化的内存数据格式。像 Pandas 和…… 阅读更多 →
Apache Arrow 6.0.1 版本发布
2021年11月22日
Apache Arrow 团队很高兴地宣布发布 6.0.1 版本。这是一个主要的修复版本，包含了来自 16 位不同贡献者的 30 个已解决的问题。请查看安装页面，了解如何获取适用于您平台的库。下方的发行说明并不详尽，仅展示了本次发布的精选亮点。许多其他的错误修复…… 阅读更多 →
Apache Arrow DataFusion 6.0.0 版本发布
2021年11月19日
简介：DataFusion 是一个嵌入式查询引擎，它利用 Rust 和 Apache Arrow 的独特功能，提供了一个高性能、易于连接、易于嵌入且高质量的系统。Apache Arrow 团队很高兴地宣布发布 DataFusion 6.0.0 版本。这涵盖了 4 个月的开发工作，包括 134 个提交…… 阅读更多 →
Apache Arrow Rust 6.0.0 版本发布
2021年11月9日
我们最近发布了 Apache Arrow 的 6.0.0 Rust 版本，这与 Arrow 6.0.0 的发布同步。这篇文章重点介绍了一些 Rust 实现中的改进。完整的变更日志可以在这里找到。没有我们社区的出色工作和支持，Rust Arrow 的实现是不可能的，6.0.0 版本…… 阅读更多 →
Apache Arrow R 6.0.0 版本发布
2021年11月8日
我们很高兴地宣布最近在 CRAN 上发布了 Arrow R 包的 6.0.0 版本。虽然我们通常不会为 R 包撰写专门的发布博客文章，但这次很特别。此版本中有许多主要的新功能，其中一些是我们几年来一直在酝酿的。更多的 dplyr 支持：在 0.16 版本中…… 阅读更多 →
Apache Arrow 6.0.0 版本发布
2021年11月4日
Apache Arrow 团队很高兴地宣布发布 6.0.0 版本。这涵盖了超过 3 个月的开发工作，包括来自 77 位不同贡献者的 572 个已解决问题。请查看安装页面，了解如何获取适用于您平台的库。下方的发行说明并不详尽，仅展示了本次发布的精选亮点。许多…… 阅读更多 →
Apache Arrow DataFusion 5.0.0 版本发布
2021年8月18日
Apache Arrow 团队很高兴地宣布发布 DataFusion 5.0.0 版本。这涵盖了 4 个月的开发工作，包括来自以下 31 位不同贡献者的 211 个提交。$ git shortlog -sn 4.0.0..5.0.0 datafusion datafusion-cli datafusion-examples 61 Jiayu Liu 47 Andrew Lamb 27 Daniël Heres 13 QP Hou 13 …… 阅读更多 →
Apache Arrow Ballista 0.5.0 版本发布
2021年8月18日
Ballista 扩展了 DataFusion，提供了对分布式查询的支持。这是自项目捐赠给 Apache Arrow 项目以来的第一个 Ballista 版本，包括来自 11 位贡献者的 80 个提交。git shortlog -sn 4.0.0..5.0.0 ballista/rust/client ballista/rust/core ballista/rust/executor ballista/rust/scheduler 27 Andy Grov…… 阅读更多 →
Apache Arrow 5.0.0 版本发布
2021年7月29日
Apache Arrow 团队很高兴地宣布发布 5.0.0 版本。这涵盖了 3 个月的开发工作，包括来自 2 个仓库中 99 位不同贡献者的 684 个提交。请查看安装页面，了解如何获取适用于您平台的库。下方的发行说明并不详尽，仅展示了本次发布的精选亮点…… 阅读更多 →
Apache Arrow Rust 5.0.0 版本发布
2021年7月29日
我们最近发布了 Apache Arrow 的 5.0.0 Rust 版本，这与 Arrow 5.0.0 的发布同步。这篇文章重点介绍了一些 Rust 实现中的改进。完整的变更日志可以在这里找到。没有我们社区的出色工作和支持，Rust Arrow 的实现是不可能的，5.0.0 版本…… 阅读更多 →
Apache Arrow 4.0.1 版本发布
2021年6月19日
Apache Arrow 团队很高兴地宣布发布 4.0.1 版本。此版本涵盖了不同实现中的常规错误修复，特别是 C++、R、Python 和 JavaScript。列表可以在这里找到，贡献者名单在这里，变更日志在这里。像往常一样，请查看安装页面以获取有关如何安装它的说明。 阅读更多 →
Arrow Rust 实现的新开发工作流
2021年5月4日
Apache Arrow Rust 社区很高兴地宣布，其向新开发工作流的迁移现已完成！如果您正在考虑将 Rust 作为处理列式数据的语言，请继续阅读，看看您的用例如何从我们新的改进后的项目设置中受益。近几个月来，社区成员一直在密切合作…… 阅读更多 →
Apache Arrow 4.0.0 版本发布
2021年5月3日
Apache Arrow 团队很高兴地宣布发布 4.0.0 版本。这涵盖了 3 个月的开发工作，包括来自 114 位不同贡献者的 711 个已解决问题。请查看安装页面，了解如何获取适用于您平台的库。下方的发行说明并不详尽，仅展示了本次发布的精选亮点。许多其他…… 阅读更多 →
Ballista：Apache Arrow 的分布式调度器
2021年4月12日
我们很高兴地宣布 Ballista 已捐赠给 Apache Arrow 项目。Ballista 是一个主要用 Rust 实现并由 Apache Arrow 提供支持的分布式计算平台。它建立在一种允许其他编程语言（如 Python、C++ 和 Java）作为一等公民得到支持而无需付出…… 阅读更多 →
Apache Arrow 3.0.0 版本发布
2021年1月25日
Apache Arrow 团队很高兴地宣布发布 3.0.0 版本。这涵盖了超过 3 个月的开发工作，包括来自 106 位不同贡献者的 666 个已解决问题。请查看安装页面，了解如何获取适用于您平台的库。下方的发行说明并不详尽，仅展示了本次发布的精选亮点。许多…… 阅读更多 →
Apache Arrow 2.0.0 Rust 亮点
2020年10月27日
Apache Arrow 2.0.0 对于整个 Apache Arrow 项目（发行说明）以及 Rust 子项目来说都是一个重要的版本，由 15 位贡献者解决了近 200 个问题。在这篇博客文章中，我们将介绍影响核心 Arrow、Parquet 支持和 DataFusion 查询引擎的主要变化。已解决问题的完整列表…… 阅读更多 →
Apache Arrow 2.0.0 版本发布
2020年10月22日
Apache Arrow 团队很高兴地宣布发布 2.0.0 版本。这涵盖了超过 3 个月的开发工作，包括来自 81 位不同贡献者的 511 个已解决问题。请查看安装页面，了解如何获取适用于您平台的库。下方的发行说明并不详尽，仅展示了本次发布的精选亮点。许多…… 阅读更多 →
使 Arrow C++ 构建更简单、更小、更快
2020年7月29日
在过去的四年半中，我们致力于为 C++ 中的高性能分析应用程序构建一个“功能齐全”的开发平台。随着项目范围的扩大，我们有时会采用额外的库依赖项来支持各种系统和数据处理任务。虽然这些依赖项…… 阅读更多 →
Apache Arrow 1.0.0 版本发布
2020年7月24日
Apache Arrow 团队很高兴地宣布发布 1.0.0 版本。这涵盖了超过 3 个月的开发工作，包括来自 100 位不同贡献者的 810 个已解决问题。请查看安装页面，了解如何获取适用于您平台的库。尽管版本号为“1.0.0”，但这是 Apache Arrow 的第 18 个主要版本，标志着…… 阅读更多 →
引入 Apache Arrow C 数据接口
2020年5月3日
Apache Arrow 包含一种跨语言、平台无关的内存列式格式，允许在异构运行时和应用程序之间进行零拷贝数据共享和传输。使用 Arrow 列式格式的最简单方法一直是依赖 Apache Arrow 社区开发的具体实现之一。该项目…… 阅读更多 →
Apache Arrow 0.17.0 版本发布
2020年4月21日
Apache Arrow 团队很高兴地宣布发布 0.17.0 版本。这涵盖了超过 2 个月的开发工作，包括来自 79 位不同贡献者的 569 个已解决问题。请查看安装页面，了解如何获取适用于您平台的库。下方的发行说明并不详尽，仅展示了本次发布的精选亮点。许多…… 阅读更多 →
模糊测试 Arrow C++ IPC 实现
2020年3月31日
Apache Arrow 旨在允许异构运行时和环境之间进行快速且无缝的数据交换。无论是使用列式 IPC 流协议、Flight RPC 层、Feather 文件格式、Plasma 共享对象存储，还是任何特定于应用程序的数据分发机制，Arrow IPC 实现都可能尝试从……解码数据 阅读更多 →
Apache Arrow 0.16.0 版本发布
2020年2月12日
Apache Arrow 团队很高兴地宣布发布 0.16.0 版本。这涵盖了约 4 个月的开发工作，包括来自 99 位不同贡献者的 735 个已解决问题。请查看安装页面，了解如何获取适用于您平台的库。下方的发行说明并不详尽，仅展示了本次发布的精选亮点。…… 阅读更多 →
引入 Apache Arrow Flight：一种用于快速数据传输的框架
译文： 日本語2019年10月13日
在过去的 18 个月里，Apache Arrow 社区一直忙于设计和实现 Flight，这是一个新的通用客户端-服务器框架，旨在简化大型数据集在网络接口上的高性能传输。Flight 最初专注于 Arrow 列式格式的优化传输（即“Arrow 记录批次”……） 阅读更多 →
Apache Arrow 0.15.0 版本发布
2019年10月6日
Apache Arrow 团队很高兴地宣布发布 0.15.0 版本。这涵盖了约 3 个月的开发工作，包括来自 80 位不同贡献者的 687 个已解决问题。请查看安装页面，了解如何获取适用于您平台的库。完整的变更日志也可提供。大约三分之一已关闭的问题 (240) 被归类为…… 阅读更多 →
Apache Arrow 0.15 中即将推出的针对字典编码字符串数据的更快 C++ Apache Parquet 性能
2019年9月5日
我们一直在 Apache Parquet C++ 内部实施一系列优化，以提高 Arrow 列式二进制和字符串数据的读写效率（包括性能和内存使用），并为 Arrow 的字典类型提供新的“原生”支持。这对 C++、MATLAB、Python、R 和 Ruby 的用户应该会产生重大影响…… 阅读更多 →
CRAN 上的 Apache Arrow R 包
2019年8月8日
我们非常高兴地宣布，arrow R 包现已在 CRAN 上可用。Apache Arrow 是一个用于内存中数据的跨语言开发平台，它为扁平及分层数据指定了一种标准化的列式内存格式，组织结构旨在实现现代硬件上的高效分析操作。arrow 包提供了一个 R 接口…… 阅读更多 →
Apache Arrow 0.14.0 版本发布
2019年7月2日
Apache Arrow 团队很高兴地宣布发布 0.14.0 版本。这涵盖了 3 个月的开发工作，包括来自 75 位不同贡献者的 602 个已解决问题。请查看安装页面，了解如何获取适用于您平台的库。完整的变更日志也可提供。这篇文章将简要介绍项目方面的亮点…… 阅读更多 →
Apache Arrow 0.13.0 版本发布
2019年4月2日
Apache Arrow 团队很高兴地宣布发布 0.13.0 版本。这涵盖了超过 2 个月的开发工作，包括来自 81 位不同贡献者的 550 个已解决问题。请查看安装页面，了解如何获取适用于您平台的库。完整的变更日志也可提供。虽然这是一个大版本，但这篇文章将简要介绍…… 阅读更多 →
在 Apache Arrow 0.12 中减少 Python 字符串内存使用量
2019年2月5日
升级到最近发布的 pyarrow 0.12 的 Python 用户可能会发现，在将 Arrow 字符串数据转换为 pandas 格式时，其应用程序使用的内存明显减少。这包括使用 pyarrow.parquet.read_table 和 pandas.read_parquet。本文详细介绍了幕后发生的一些事情，以及为什么处理 Python 应用程序…… 阅读更多 →
DataFusion：Apache Arrow 的 Rust 原生查询引擎
2019年2月4日
我们很高兴地宣布 DataFusion 已捐赠给 Apache Arrow 项目。DataFusion 是 Apache Arrow 的 Rust 实现的内存查询引擎。尽管 DataFusion 是两年前开始的，但它最近被重新实现为 Arrow 原生，目前功能有限，但确实支持对……的 SQL 查询 阅读更多 →
使用 Apache Arrow 加速 R 和 Apache Spark
2019年1月25日
Javier Luraschi 是 RStudio 的软件工程师。目前，sparklyr 和 SparkR 项目正在积极开发 Apache Spark 中对 Apache Arrow 的支持。这篇文章探讨了在使用 R 与 Apache Spark、Arrow 和 sparklyr 时实现的早期但很有希望的性能改进。设置：由于这项工作正在积极开发中…… 阅读更多 →
Apache Arrow 0.12.0 版本发布
2019年1月21日
Apache Arrow 团队很高兴地宣布发布 0.12.0 版本。这是该项目迄今为止最大的版本，涵盖了 3 个月的开发工作，包括来自 77 位不同贡献者的 614 个已解决问题。请查看安装页面，了解如何获取适用于您平台的库。完整的变更日志也可提供。这是一个巨大的版本…… 阅读更多 →
Gandiva：Apache Arrow 的基于 LLVM 的分析表达式编译器
2018年12月5日
今天我们很高兴地宣布，Apache Arrow 的 Gandiva 计划（一个基于 LLVM 的执行内核）现已成为 Apache Arrow 项目的一部分。Gandiva 由 Dremio 慷慨捐赠，最初是在那里开发并开源的。Gandiva 扩展了 Arrow 的功能，提供了高性能的分析执行，并由两个……组成 阅读更多 →
Apache Arrow 0.11.0 版本发布
2018年10月9日
Apache Arrow 团队很高兴地宣布发布 0.11.0 版本。它是 2 个月开发工作的成果，包括 287 个已解决的问题。请查看安装页面，了解如何获取适用于您平台的库。完整的变更日志也可提供。我们在这篇文章中讨论了该版本的一些亮点和其他项目新闻。Arrow…… 阅读更多 →
Apache Arrow 0.10.0 版本发布
2018年8月7日
Apache Arrow 团队很高兴地宣布发布 0.10.0 版本。它是超过 4 个月开发工作的成果，包括 470 个已解决的问题。这是该项目历史上迄今为止最大的版本。90 个人为这个版本做出了贡献。请查看安装页面，了解如何获取适用于您平台的库。完整的变更日志…… 阅读更多 →
使用 jemalloc 在 Apache Arrow 中实现更快、可扩展的内存分配
2018年7月20日
随着 Apache Arrow 0.9 版本的发布，我们将 OSX 和 Linux 上数组缓冲区的默认分配器从系统分配器切换到了 jemalloc。这适用于 Arrow 的 C++/GLib/Python 实现。在大多数情况下，更改默认分配器通常是为了避免许多小型、频繁的（……）发生的问题 阅读更多 →
Apache Arrow 的原生 Go 库
2018年3月22日
自 2016 年初推出以来，Apache Arrow 发展迅速。通过超过 120 位不同贡献者的努力，我们已经发布了 9 个主要版本。项目的范围也扩大了。我们最初专注于标准化内存中列式数据格式的开发，该格式现在已成为该项目的支柱。从那时起，我们…… 阅读更多 →
Apache Arrow 0.9.0 版本发布
2018年3月22日
Apache Arrow 团队很高兴地宣布发布 0.9.0 版本。它是超过 3 个月开发工作的成果，包括 260 个已解决的 JIRA。虽然我们在去年 12 月的 0.8.0 版本中进行了一些不向后兼容的列式二进制格式更改，但 0.9.0 版本与 0.8.0 向后兼容。我们将致力于 1.0.0 版本…… 阅读更多 →
Apache Arrow 0.8.0 版本发布
2017年12月18日
Apache Arrow 团队很高兴地宣布发布 0.8.0 版本。它是 10 周开发工作的成果，包括 286 个已解决的 JIRA，并为各种语言实现提供了许多新功能和错误修复。这是自今年早些时候 0.3.0 版本以来最大的版本。作为致力于稳定 Arrow 格式并进行……工作的一部分 阅读更多 →
Apache Arrow 0.8.0 中 Java Vector API 的改进
2017年12月18日
这篇文章深入介绍了 Java 实现中向量的主要改进。我们自上次 Arrow 发布以来的 10 周内进行了这项工作。设计目标：提高可维护性和可扩展性，改善堆内存使用，热代码路径上无性能开销。背景：提高可维护性和可扩展性…… 阅读更多 →
使用 Ray 和 Apache Arrow 进行快速 Python 序列化
2017年10月15日
本文最初发布在 Ray 博客上。Philipp Moritz 和 Robert Nishihara 是加州大学伯克利分校的研究生。这篇文章详细阐述了 Ray 和 Apache Arrow 之间的集成。这主要解决的问题是数据序列化。根据维基百科，序列化是将数据结构或对象状态转换为……的过程 阅读更多 →
Apache Arrow 0.7.0 版本发布
2017年9月19日
Apache Arrow 团队很高兴地宣布发布 0.7.0 版本。它包括 133 个已解决的 JIRA，为各种语言实现提供了许多新功能和错误修复。Arrow 内存格式自 0.3.x 版本以来保持稳定。请查看安装页面，了解如何获取适用于您平台的库。完整的变更日志也可提供…… 阅读更多 →
Apache Arrow 0.6.0 版本发布
2017年8月16日
Apache Arrow 团队很高兴地宣布发布 0.6.0 版本。它包括 90 个已解决的 JIRA，带有新的 Plasma 共享内存对象存储，以及对各种语言实现的改进和错误修复。Arrow 内存格式自 0.3.x 版本以来保持稳定。请查看安装页面，了解如何获取适用于您平台的库…… 阅读更多 →
Plasma 内存中对象存储
2017年8月8日
Philipp Moritz 和 Robert Nishihara 是加州大学伯克利分校的研究生。Plasma：高性能共享内存对象存储。推动 Plasma：这篇博客文章介绍了 Plasma，这是一种作为 Apache Arrow 的一部分开发的内存对象存储。Plasma 将不可变对象保存在共享内存中，以便它们可以被……高效访问 阅读更多 →
使用 Apache Arrow 加速 PySpark
2017年7月26日
Bryan Cutler 是 IBM Spark 技术中心 (STC) 的软件工程师。从 Apache Spark 2.3 版本开始，Apache Arrow 将成为受支持的依赖项，并开始通过列式数据传输提供更高的性能。如果您是更喜欢使用 Python 和 Pandas 的 Spark 用户，这是值得兴奋的事情！最初的工作…… 阅读更多 →
Apache Arrow 0.5.0 版本发布
2017年7月25日
Apache Arrow 团队很高兴地宣布发布 0.5.0 版本。它包括 130 个已解决的 JIRA，具有一些新功能、扩展了实现之间的集成测试以及错误修复。Arrow 内存格式自 0.3.x 和 0.4.x 版本以来保持稳定。请查看安装页面，了解如何获取适用于您平台的库。完整的…… 阅读更多 →
使用 turbodbc 将关系数据库连接到 Apache Arrow 世界
2017年6月16日
Michael König 是 turbodbc 项目的首席开发人员。Apache Arrow 项目旨在成为列式数据处理系统的通用数据层，而无需承担序列化成本或在更广泛的层面上牺牲性能。虽然关系数据库在采用 Apache Arrow 方面仍然滞后，但 Python…… 阅读更多 →
Apache Arrow 0.4.1 版本发布
2017年6月14日
Apache Arrow 团队很高兴地宣布发布该项目的 0.4.1 版本。这是一个错误修复版本，解决了 0.4.0 版本中引入的 Java 实现中 Decimal 类型的一个回归问题（参见 ARROW-1091）。总共有 31 个已解决的 JIRA。请查看安装页面，了解如何获取适用于您平台的库。Python Wheel I…… 阅读更多 →
Apache Arrow 0.4.0 版本发布
2017年5月23日
Apache Arrow 团队很高兴地宣布发布该项目的 0.4.0 版本。尽管距离上次发布仅 17 天，但它包括 77 个已解决的 JIRA，并具有一些重要的新功能和错误修复。请查看安装页面，了解如何获取适用于您平台的库。扩展的 JavaScript 实现：TypeScript Arrow 实现已经…… 阅读更多 →
Apache Arrow 0.3.0 版本发布
译文： 日本語2017年5月8日
Apache Arrow 团队很高兴地宣布发布该项目的 0.3.0 版本。它是自去年 2 月发布 0.2.0 版本以来紧张开发 10 周的成果。它包括来自 23 位贡献者的 306 个已解决的 JIRA。虽然我们为不同的 Arrow 实现添加了许多新功能，但主要的开发重点之一是…… 阅读更多 →