Apache Arrow 0.1.0 (2016年10月10日)

下载

• 源码发布: [apache-arrow-0.1.0.tar.gz][6]
• 校验: [md5][3], [asc][7]

更新日志

贡献者

$ git shortlog -sn d5aa7c46..apache-arrow-0.1.0
    49  Wes McKinney
    27  Uwe L. Korn
    25  Julien Le Dem
    13  Micah Kornfield
    11  Steven Phillips
     6  Jihoon Son
     5  Laurent Goujon
     5  adeneche
     4  Dan Robinson
     4  proflin
     2  Jacques Nadeau
     1  Christopher C. Aycock
     1  Edmon Begoli
     1  Kai Zheng
     1  MechCoder
     1  Minji Kim
     1  Philipp Moritz
     1  Smyatkin Maxim
     1  fengguangyuan
     1  hyukjinkwon
     1  hzhang2
     1  lfzCarlosC

新特性和改进

• ARROW-1 - 导入初始代码库
• ARROW-10 - 修复 javadoc 名称和方法参数不匹配的问题
• ARROW-100 - [C++] 计算 RowBatch 大小
• ARROW-101 - 修复 Java 编译器发出的 Java 警告
• ARROW-102 - Java 项目的 travis-ci 支持
• ARROW-106 - 为字符串类型（string, char, varchar, binary）添加 IPC 往返
• ARROW-107 - [C++] 为结构体类型添加 ipc 往返
• ARROW-11 - 将 JIRA 活动镜像到 dev@arrow.apache.org
• ARROW-13 - 添加类似于 Parquet 中使用的 PR 合并工具
• ARROW-14 - 添加 JIRA 组件
• ARROW-15 - 修复 memory.AllocationManager.AllocationOutcome 的命名错误
• ARROW-19 - C++: 外部化内存分配，并向构建器类添加 MemoryPool 抽象接口
• ARROW-190 - Python: 提供可安装的 sdist 构建
• ARROW-197 - [Python] 为 pyarrow 添加 conda 开发配方
• ARROW-199 - [C++] 完善第三方依赖
• ARROW-2 - 发布简单网站
• ARROW-20 - C++: 向数组容器添加空计数成员，移除 nullable 成员
• ARROW-201 - C++: 初始 ParquetWriter 实现
• ARROW-203 - Python: 基于文件名的 Parquet 基本读/写
• ARROW-204 - [Python] 自动上传 libarrow 和 pyarrow 的 conda 构建工件
• ARROW-206 - [C++] 为数组公开一个比较两个数组上一定范围的槽位的相等性 API
• ARROW-21 - C++: 添加内存模式元数据容器
• ARROW-212 - [C++] 阐明 PrimitiveArray 现在是抽象类的事实
• ARROW-213 - 公开静态 arrow 构建
• ARROW-214 - C++: 为 Parquet I/O 添加字符串支持
• ARROW-215 - C++: 在 Parquet I/O 中支持其他整数类型
• ARROW-218 - 添加通过环境变量在合并 PR 时使用 GitHub API 令牌的选项
• ARROW-22 - C++: 添加用于将平面 Parquet 模式转换为内存 Arrow 模式的模式适配器例程
• ARROW-222 - [C++] 创建 HDFS 的原型文件类接口（通过 libhdfs），并开始为 Arrow 数据适配器定义更通用的 IO 接口
• ARROW-23 - C++: 为分块数据添加逻辑“列”容器
• ARROW-233 - [C++] 添加用于限制共享库符号可见性的可见性定义
• ARROW-234 - [C++] 在 conda 构建中使用 arrow_io 中的 libhdfs 支持进行构建
• ARROW-236 - [Python] 使 Parquet 读/写能够与 HDFS 文件对象一起使用
• ARROW-237 - [C++] 创建 Parquet 分配器和读取接口的 Arrow 特化
• ARROW-238 - C++: 当分配的内存不足时，InternalMemoryPool::Free() 应抛出错误
• ARROW-24 - C++: 添加逻辑“表”容器
• ARROW-242 - C++/Python: 支持时间戳数据类型
• ARROW-245 - [格式] 阐明 Arrow 与大端平台的关系
• ARROW-251 - [C++] 公开用于获取状态代码和消息的 API
• ARROW-252 - 将实施指南添加到文档中
• ARROW-253 - Int 类型只能具有 8*2^n (8, 16, 32, 64) 的宽度
• ARROW-254 - 删除 Bit 类型，因为它与布尔值冗余
• ARROW-255 - 完成字典表示
• ARROW-256 - 向箭头规范添加版本控制
• ARROW-257 - 向联合类型添加 typeids 向量
• ARROW-26 - C++: 为构建 parquet-cpp 集成添加开发人员说明
• ARROW-260 - TestValueVector.testFixedVectorReallocation 和 testVariableVectorReallocation 不稳定
• ARROW-262 - [格式] 为消息传递和 IPC / 在线/文件表示添加新的元数据和逻辑类型格式文档
• ARROW-264 - 创建 Arrow 文件格式
• ARROW-267 - [C++] RPC / IPC 的类文件布局的 C++ 实现
• ARROW-270 - [格式] 定义更通用的间隔逻辑类型
• ARROW-271 - 更新字段结构以使其更清晰
• ARROW-272 - Arrow 0.1 版本发布
• ARROW-279 - 为保持一致性，将向量模块重命名为 arrow-vector
• ARROW-28 - C++: 将 google/benchmark 添加到第三方构建工具链
• ARROW-280 - [C++] 合并文件和共享内存 IO 接口
• ARROW-285 - 允许自定义 flatc 编译器
• ARROW-286 - 并行构建第三方依赖项
• ARROW-289 - 安装 test-util.h
• ARROW-290 - 在 ArrowBuf 中专门化 alloc()
• ARROW-292 - [Java] 将 Netty 升级到 4.041
• ARROW-293 - [C++] 用于操作系统文件的 IO 接口的实现
• ARROW-296 - [C++] 删除 arrow_parquet C++ 模块和构建系统的相关部分
• ARROW-298 - 创建发布脚本
• ARROW-299 - 在宏中使用绝对命名空间
• ARROW-3 - 发布初始 Arrow 格式规范
• ARROW-30 - Python: pandas/NumPy 到/从 Arrow 的转换例程
• ARROW-301 - [格式] 向 IPC 模式添加某种形式的用户字段元数据
• ARROW-302 - [Python] 添加对将 Arrow 文件格式与类文件对象一起使用的支持
• ARROW-305 - 向 Parquet 接口添加压缩和 use_dictionary 选项
• ARROW-306 - 添加通过环境变量传递 cmake 参数的选项
• ARROW-31 - Python: 基本的 PyList <-> Arrow 编组代码
• ARROW-315 - 完成时间戳类型
• ARROW-318 - [Python] 修改 README 以反映项目的当前状态
• ARROW-319 - 添加规范的 Arrow 模式 json 表示
• ARROW-324 - 更新箭头元数据图
• ARROW-325 - 使 TestArrowFile 不依赖于时区
• ARROW-35 - 向主要的 README.md 添加简短的行动号召 / 如何参与
• ARROW-37 - C++: 以位打包形式表示布尔数组数据
• ARROW-4 - 初始 Arrow CPP 实现
• ARROW-42 - Python: 添加到 Travis CI 构建
• ARROW-43 - Python: 为数组类型添加基本的控制台 **repr**
• ARROW-44 - Python: 为标量值（即 arrow_arr[i] 的结果）实现基本对象模型
• ARROW-48 - Python: 添加 Schema 对象包装器
• ARROW-49 - Python: 添加 Column 和 Table 包装器接口
• ARROW-50 - C++: 为第三方用户启用库构建，而无需构建第三方 googletest
• ARROW-53 - Python: 修复 RPATH 并添加源代码安装说明
• ARROW-54 - Python: 将包重命名为“pyarrow”
• ARROW-56 - 格式: 在位数组中指定 LSB 位顺序
• ARROW-57 - 格式: 为数据交换草拟数据头 IDL
• ARROW-58 - 格式: 草拟类型元数据（“模式”）IDL
• ARROW-59 - Python: 对内置数据结构的布尔数据支持
• ARROW-60 - C++: 结构类型构建器 API
• ARROW-64 - 为 C++ 构建脚本添加 zsh 支持
• ARROW-66 - 安装指南中可能缺少一些步骤
• ARROW-67 - C++: 类型元数据与 IPC 表示之间相互转换的草案
• ARROW-68 - 更新 setup_build_env 和第三方脚本，使其更加用户友好
• ARROW-7 - 添加 Python 库构建工具链
• ARROW-70 - C++: 添加 parquet-cpp 中使用的“lite” DCHECK 宏
• ARROW-71 - C++: 添加在代码库上运行 clang-tidy 的脚本
• ARROW-73 - 支持 CMake 2.8
• ARROW-76 - 修订格式文档以包含空值计数，将非空数组推迟到元数据域
• ARROW-78 - C++: 为 DecimalType 添加构造函数
• ARROW-79 - Python: 添加基准测试
• ARROW-8 - 设置 Travis CI
• ARROW-82 - C++: 为列表类型实现 IPC 交换
• ARROW-83 - 为 DecimalType 添加基本测试基础设施
• ARROW-85 - C++: 在使用相同的 Buffer 进行比较时，Equal 中可以避免 memcmp
• ARROW-86 - Python: 实现 Arrow 到 Pandas 的零拷贝转换
• ARROW-87 - 为 Parquet 支持的所有方式实现 Decimal 模式转换
• ARROW-89 - Python: 为 Arrow<->Pandas 转换添加基准测试
• ARROW-9 - 将一些未更改的“Drill”重命名为“Arrow”
• ARROW-90 - Apache Arrow cpp 代码不支持 Power 架构
• ARROW-91 - C++: parquet-cpp 的 ParquetFileReader 的适配器类的初稿，该类生成 Arrow 表/行批处理对象
• ARROW-92 - C++: Arrow 到 Parquet 模式转换

错误修复

• ARROW-103 - .gitignore 中缺少模式
• ARROW-104 - 根据邮件列表中的讨论更新 Layout.md
• ARROW-105 - 如果禁用断言，单元测试将失败
• ARROW-113 - 如果无法分配 2GB 内存，TestValueVector 测试将失败
• ARROW-16 - 在 XCode 7.2.1 上构建 cpp 问题
• ARROW-17 - 将一些向量字段设置为默认访问级别以实现 Drill 兼容性
• ARROW-18 - 修复 decimal 精度和比例的错误
• ARROW-185 - [C++] 确保对齐和内存填充符合规范
• ARROW-188 - Python: 将 numpy 添加为安装要求
• ARROW-193 - 说明中的拼写错误“int his”应为“in this”
• ARROW-194 - C++: 允许只读内存映射源
• ARROW-200 - [Python] 转换值字符串看起来像错误处理不正确
• ARROW-209 - [C++] 构建失败：llvm.org apt 存储库不可用
• ARROW-210 - [C++] 对类型系统进行一些整理
• ARROW-211 - Layout.md 示例中的几个拼写错误/错误
• ARROW-217 - 修复关于 conda 4.1.0 更改的 Travis
• ARROW-219 - [C++] 传递的 CMAKE_CXX_FLAGS 被丢弃，修复编译器警告
• ARROW-223 - 不要链接 libpython
• ARROW-225 - [C++/Python] master Travis CI 构建失败
• ARROW-244 - [C++] IPC 模块的一些全局 API 应对外部可见
• ARROW-246 - [Java] UnionVector 在创建其 vectorType 时不会调用 allocateNew()
• ARROW-247 - [C++] RowBatchReader 中缺少显式析构函数会导致不完整类型错误
• ARROW-250 - ARROW-246 的修复可能会导致内存泄漏
• ARROW-259 - 在 Java 实现中使用 flatbuffer 字段
• ARROW-265 - 负十进制值的填充错误
• ARROW-266 - [C++] 修复构建失败
• ARROW-274 - 使 MapVector 可为空
• ARROW-278 - [格式] 实现和元数据中结构类型名称的一致性
• ARROW-283 - [C++] 更新 arrow_parquet 以考虑 PARQUET-573 中的 API 更改
• ARROW-284 - [C++] 通过禁用 Arrow-Parquet 模块来分类构建
• ARROW-287 - [java] 使可为空的向量使用 BitVecor 而不是 UInt1Vector 来表示位
• ARROW-297 - 修复 Arrow pom 以进行发布
• ARROW-304 - NullableMapReaderImpl.isSet() 始终返回 true
• ARROW-308 - UnionListWriter.setPosition() 不应调用 startList()
• ARROW-309 - Types.getMinorTypeForArrowType() 对 Union 类型不起作用
• ARROW-313 - XCode 8.0 导致构建失败
• ARROW-314 - JSONScalar 不必要且未使用。
• ARROW-320 - 如果未设置读取器，ComplexCopier.copy(FieldReader, FieldWriter) 不应启动列表
• ARROW-321 - 修复 Arrow 许可证
• ARROW-36 - 从补丁工具中删除 fixVersions（直到我们拥有它们）
• ARROW-46 - 将 DRILL-4410 移植到 Arrow
• ARROW-5 - 运行 maven install 时出错
• ARROW-51 - 将 ValueVector 测试从 Drill 项目移出
• ARROW-55 - Python：修复旧版 Python (2.7) 测试并添加到 Travis CI
• ARROW-62 - 格式：空值的空位是 0 还是 1？
• ARROW-63 - C++：如果 Python 3 是活动的 Python 解释器，则 ctest 失败
• ARROW-65 - Python：FindPythonLibsNew 在 virtualenv 中不起作用
• ARROW-69 - 更改可分配用户的权限
• ARROW-72 - FindParquet 搜索不存在的标头
• ARROW-75 - C++：修复空字符串的处理
• ARROW-77 - C++：使空位解释与 ARROW-62 匹配
• ARROW-80 - 空数组的 len(Array) 上出现段错误
• ARROW-88 - C++：重构给定的 PARQUET-572
• ARROW-93 - XCode 7.3 导致构建失败
• ARROW-94 - 扩展列表示例以阐明空列表与空列表的区别