Apache Arrow 0.1.0 版本发布 (2016年10月10日)

下载

• 源代码发布: [apache-arrow-0.1.0.tar.gz][6]
• 验证: [md5][3], [asc][7]

更新日志

贡献者

$ git shortlog -sn d5aa7c46..apache-arrow-0.1.0
    49  Wes McKinney
    27  Uwe L. Korn
    25  Julien Le Dem
    13  Micah Kornfield
    11  Steven Phillips
     6  Jihoon Son
     5  Laurent Goujon
     5  adeneche
     4  Dan Robinson
     4  proflin
     2  Jacques Nadeau
     1  Christopher C. Aycock
     1  Edmon Begoli
     1  Kai Zheng
     1  MechCoder
     1  Minji Kim
     1  Philipp Moritz
     1  Smyatkin Maxim
     1  fengguangyuan
     1  hyukjinkwon
     1  hzhang2
     1  lfzCarlosC

新特性和改进

• ARROW-1 - 导入初始代码库
• ARROW-10 - 修复 javadoc 名称与方法参数不匹配的问题
• ARROW-100 - [C++] 计算 RowBatch 大小
• ARROW-101 - 修复 Java 编译器发出的 Java 警告
• ARROW-102 - 为 Java 项目添加 travis-ci 支持
• ARROW-106 - 为字符串类型（string, char, varchar, binary）添加 IPC 往返支持
• ARROW-107 - [C++] 为结构体类型添加 IPC 往返支持
• ARROW-11 - 将 JIRA 活动镜像到 dev@arrow.apache.org 邮件列表
• ARROW-13 - 添加类似于 Parquet 中使用的 PR 合并工具
• ARROW-14 - 添加 JIRA 组件
• ARROW-15 - 修复 memory.AllocationManager.AllocationOutcome 的命名拼写错误
• ARROW-19 - C++: 外部化内存分配并向构建器类添加 MemoryPool 抽象接口
• ARROW-190 - Python: 提供可安装的 sdist 构建
• ARROW-197 - [Python] 为 pyarrow 添加 conda 开发配方
• ARROW-199 - [C++] 优化第三方依赖
• ARROW-2 - 发布简易网站
• ARROW-20 - C++: 向 Array 容器添加 null count 成员，移除 nullable 成员
• ARROW-201 - C++: 初步实现 ParquetWriter
• ARROW-203 - Python: 基于文件名的 Parquet 读写基础功能
• ARROW-204 - [Python] 自动化上传 libarrow 和 pyarrow 的 conda 构建产物
• ARROW-206 - [C++] 暴露数组相等性 API，用于比较两个数组中一定范围的槽位
• ARROW-21 - C++: 添加内存中的 schema 元数据容器
• ARROW-212 - [C++] 澄清 PrimitiveArray 现在是抽象类的事实
• ARROW-213 - 暴露静态 Arrow 构建
• ARROW-214 - C++: 向 Parquet I/O 添加字符串支持
• ARROW-215 - C++: 在 Parquet I/O 中支持其他整数类型
• ARROW-218 - 添加选项，允许在合并 PR 时通过环境变量使用 GitHub API token
• ARROW-22 - C++: 添加 schema 适配器例程，用于将扁平的 Parquet schema 转换为内存中的 Arrow schema
• ARROW-222 - [C++] 创建 HDFS (通过 libhdfs) 的原型文件式接口，并开始为 Arrow 数据适配器定义更通用的 IO 接口
• ARROW-23 - C++: 添加用于分块数据的逻辑“列”容器
• ARROW-233 - [C++] 添加可见性定义，用于限制共享库符号的可见性
• ARROW-234 - [C++] 在 conda 构建中，构建包含 arrow_io 中 libhdfs 支持的版本
• ARROW-236 - [Python] 使 Parquet 读写支持 HDFS 文件对象
• ARROW-237 - [C++] 创建 Parquet 分配器和读取接口的 Arrow 特化版本
• ARROW-238 - C++: 当分配的内存不足时，InternalMemoryPool::Free() 应该抛出错误
• ARROW-24 - C++: 添加逻辑“表”容器
• ARROW-242 - C++/Python: 支持时间戳数据类型
• ARROW-245 - [格式] 澄清 Arrow 与大端平台的关联
• ARROW-251 - [C++] 暴露用于获取状态码和消息的 API
• ARROW-252 - 向文档添加实现指南
• ARROW-253 - Int 类型宽度应仅为 8*2^n (8, 16, 32, 64)
• ARROW-254 - 移除 Bit 类型，因为它与 boolean 类型重复
• ARROW-255 - 确定字典表示的最终版本
• ARROW-256 - 向 Arrow 规范添加版本控制
• ARROW-257 - 向 Union 类型添加 typeids Vector
• ARROW-26 - C++: 添加构建 parquet-cpp 集成的开发者说明
• ARROW-260 - TestValueVector.testFixedVectorReallocation 和 testVariableVectorReallocation 测试不稳定
• ARROW-262 - [格式] 添加新的格式文档，用于描述消息传递、IPC / 在线/文件表示中的元数据和逻辑类型
• ARROW-264 - 创建 Arrow 文件格式
• ARROW-267 - [C++] RPC / IPC 文件式布局的 C++ 实现
• ARROW-270 - [格式] 定义更通用的 Interval 逻辑类型
• ARROW-271 - 更新 Field 结构使其更明确
• ARROW-272 - Arrow 0.1 版本发布
• ARROW-279 - 将 vector 模块重命名为 arrow-vector 以保持一致性
• ARROW-28 - C++: 将 google/benchmark 添加到第三方构建工具链
• ARROW-280 - [C++] 合并文件和共享内存 IO 接口
• ARROW-285 - 允许使用自定义的 flatc 编译器
• ARROW-286 - 并行构建第三方依赖
• ARROW-289 - 安装 test-util.h
• ARROW-290 - 特化 ArrowBuf 中的 alloc() 方法
• ARROW-292 - [Java] 将 Netty 升级到 4.041
• ARROW-293 - [C++] 实现操作系统文件的 IO 接口
• ARROW-296 - [C++] 移除 arrow_parquet C++ 模块以及构建系统中相关的部分
• ARROW-298 - 创建发布脚本
• ARROW-299 - 在宏中使用绝对命名空间
• ARROW-3 - 发布 Arrow 格式规范的初始版本
• ARROW-30 - Python: pandas/NumPy 与 Arrow 之间的转换例程
• ARROW-301 - [格式] 向 IPC schema 添加某种形式的用户字段元数据
• ARROW-302 - [Python] 添加支持，允许对类文件对象使用 Arrow 文件格式
• ARROW-305 - 向 Parquet 接口添加压缩和 use_dictionary 选项
• ARROW-306 - 添加选项，允许通过环境变量传递 cmake 参数
• ARROW-31 - Python: PyList <-> Arrow 的基础 marshaling 代码
• ARROW-315 - 确定时间戳类型的最终版本
• ARROW-318 - [Python] 修改 README 以反映项目当前状态
• ARROW-319 - 添加规范的 Arrow Schema JSON 表示
• ARROW-324 - 更新 Arrow 元数据图
• ARROW-325 - 使 TestArrowFile 不依赖于时区
• ARROW-35 - 向主 README.md 添加简短的行动号召 / 如何参与的部分
• ARROW-37 - C++: 以位 packed 形式表示布尔数组数据
• ARROW-4 - 初步实现 Arrow CPP
• ARROW-42 - Python: 添加到 Travis CI 构建
• ARROW-43 - Python: 为数组类型添加基本的控制台 __repr__ 表示
• ARROW-44 - Python: 为标量值（即 arrow_arr[i] 的结果）实现基本对象模型
• ARROW-48 - Python: 添加 Schema 对象包装器
• ARROW-49 - Python: 添加 Column 和 Table 包装器接口
• ARROW-50 - C++: 使第三方用户无需构建第三方 googletest 即可构建库
• ARROW-53 - Python: 修复 RPATH 并添加源代码安装说明
• ARROW-54 - Python: 将包重命名为 “pyarrow”
• ARROW-56 - 格式: 在位数组中指定 LSB 位序
• ARROW-57 - 格式: 为数据交换起草数据头 IDL
• ARROW-58 - 格式: 起草类型元数据 (“schemas”) IDL
• ARROW-59 - Python: 为内置数据结构添加布尔数据支持
• ARROW-60 - C++: 结构体类型构建器 API
• ARROW-64 - 向 C++ 构建脚本添加 zsh 支持
• ARROW-66 - 安装指南中可能缺少某些步骤
• ARROW-67 - C++: 起草类型元数据与 IPC 表示之间的转换
• ARROW-68 - 更新 setup_build_env 和第三方脚本使其更易用
• ARROW-7 - 添加 Python 库构建工具链
• ARROW-70 - C++: 添加 parquet-cpp 中使用的“精简版”DCHECK 宏
• ARROW-71 - C++: 添加脚本用于对代码库运行 clang-tidy
• ARROW-73 - 支持 CMake 2.8
• ARROW-76 - 修订格式文档，包含 null 计数，将非可空数组延迟到元数据领域
• ARROW-78 - C++: 为 DecimalType 添加构造函数
• ARROW-79 - Python: 添加基准测试
• ARROW-8 - 设置 Travis CI
• ARROW-82 - C++: 实现 List 类型的 IPC 交换
• ARROW-83 - 为 DecimalType 添加基础测试基础设施
• ARROW-85 - C++: 当与同一 Buffer 比较时，Equal 方法中可以避免使用 memcmp
• ARROW-86 - Python: 实现零拷贝的 Arrow 到 Pandas 转换
• ARROW-87 - 为 Parquet 支持的所有方式实现 Decimal schema 转换
• ARROW-89 - Python: 为 Arrow<->Pandas 转换添加基准测试
• ARROW-9 - 将一些未更改的“Drill”重命名为“Arrow”
• ARROW-90 - Apache Arrow C++ 代码不支持 Power 架构
• ARROW-91 - C++: parquet-cpp 的 ParquetFileReader 适配器类的初稿，用于生成 Arrow table/row batch 对象
• ARROW-92 - C++: Arrow 到 Parquet Schema 转换

Bug 修复

• ARROW-103 - .gitignore 中缺失的模式
• ARROW-104 - 根据邮件列表上的讨论更新 Layout.md
• ARROW-105 - 如果断言被禁用，单元测试会失败
• ARROW-113 - TestValueVector 测试在无法分配 2GB 内存时失败
• ARROW-16 - 在 XCode 7.2.1 上构建 C++ 时遇到的问题
• ARROW-17 - 将一些 vector 字段设置为默认访问级别以兼容 Drill
• ARROW-18 - 修复 decimal 精度和 scale 的 bug
• ARROW-185 - [C++] 确保对齐和内存填充符合规范
• ARROW-188 - Python: 将 numpy 添加为安装依赖
• ARROW-193 - 指令中的拼写错误“int his”应为“in this”
• ARROW-194 - C++: 允许只读内存映射源
• ARROW-200 - [Python] Convert Values String 的错误处理似乎不正确
• ARROW-209 - [C++] 构建中断：llvm.org apt 仓库不可用
• ARROW-210 - [C++] 稍微整理一下类型系统
• ARROW-211 - Layout.md 示例中的几个拼写错误/错误
• ARROW-217 - 修复 Travis CI 中与 conda 4.1.0 更改相关的问题
• ARROW-219 - [C++] 传递的 CMAKE_CXX_FLAGS 被丢弃，修复编译器警告
• ARROW-223 - 不要链接 libpython
• ARROW-225 - [C++/Python] 主分支的 Travis CI 构建中断
• ARROW-244 - [C++] IPC 模块的一些全局 API 应该对外可见
• ARROW-246 - [Java] UnionVector 在创建其 vectorType 时没有调用 allocateNew()
• ARROW-247 - [C++] RowBatchReader 中缺少显式析构函数导致不完整类型错误
• ARROW-250 - 对 ARROW-246 的修复可能导致内存泄漏
• ARROW-259 - 在 Java 实现中使用 flatbuffer 字段
• ARROW-265 - 负 decimal 值填充错误
• ARROW-266 - [C++] 修复中断的构建
• ARROW-274 - 使 MapVector 可为空
• ARROW-278 - [格式] 实现和元数据中结构体类型名称的一致性
• ARROW-283 - [C++] 更新 arrow_parquet 以适应 PARQUET-573 中的 API 更改
• ARROW-284 - [C++] 通过禁用 Arrow-Parquet 模块来分类构建问题
• ARROW-287 - [Java] 使可空向量使用 BitVector 而不是 UInt1Vector 来表示位
• ARROW-297 - 修复用于发布的 Arrow pom
• ARROW-304 - NullableMapReaderImpl.isSet() 总是返回 true
• ARROW-308 - UnionListWriter.setPosition() 不应该调用 startList()
• ARROW-309 - Types.getMinorTypeForArrowType() 对 Union 类型不起作用
• ARROW-313 - XCode 8.0 导致构建中断
• ARROW-314 - JSONScalar 是不必要的且未使用。
• ARROW-320 - ComplexCopier.copy(FieldReader, FieldWriter) 如果 reader 未设置，不应该开始一个列表
• ARROW-321 - 修复 Arrow 许可证
• ARROW-36 - 从 patch 工具中移除 fixVersions (直到我们有它们为止)
• ARROW-46 - 将 DRILL-4410 移植到 Arrow
• ARROW-5 - 运行 maven install 时出错
• ARROW-51 - 将 ValueVector 测试从 Drill 项目移出
• ARROW-55 - Python: 修复遗留 Python (2.7) 测试并添加到 Travis CI
• ARROW-62 - 格式: 对于 null 值，null 位是 0 还是 1？
• ARROW-63 - C++: 如果 Python 3 是活动的 Python 解释器，ctest 会失败
• ARROW-65 - Python: FindPythonLibsNew 在 virtualenv 中不起作用
• ARROW-69 - 更改可分配用户的权限
• ARROW-72 - FindParquet 搜索不存在的头文件
• ARROW-75 - C++: 修复空字符串处理问题
• ARROW-77 - C++: 使 null 位解释与 ARROW-62 匹配
• ARROW-80 - 对空数组调用 len(Array) 时发生段错误
• ARROW-88 - C++: 根据 PARQUET-572 进行重构
• ARROW-93 - XCode 7.3 导致构建中断
• ARROW-94 - 扩展列表示例以澄清 null 与空列表的区别