Apache Arrow 0.1.0 (2016年10月10日)

下载

• 源码发布: [apache-arrow-0.1.0.tar.gz][6]
• 验证: [md5][3], [asc][7]

更新日志

贡献者

$ git shortlog -sn d5aa7c46..apache-arrow-0.1.0
    49  Wes McKinney
    27  Uwe L. Korn
    25  Julien Le Dem
    13  Micah Kornfield
    11  Steven Phillips
     6  Jihoon Son
     5  Laurent Goujon
     5  adeneche
     4  Dan Robinson
     4  proflin
     2  Jacques Nadeau
     1  Christopher C. Aycock
     1  Edmon Begoli
     1  Kai Zheng
     1  MechCoder
     1  Minji Kim
     1  Philipp Moritz
     1  Smyatkin Maxim
     1  fengguangyuan
     1  hyukjinkwon
     1  hzhang2
     1  lfzCarlosC

新功能和改进

• ARROW-1 - 导入初始代码库
• ARROW-10 - 修复 javadoc 名称与方法参数不匹配的问题
• ARROW-100 - [C++] 计算 RowBatch 大小
• ARROW-101 - 修复 Java 编译器发出的 Java 警告
• ARROW-102 - 为 Java 项目提供 travis-ci 支持
• ARROW-106 - 为字符串类型（string, char, varchar, binary）添加 IPC 往返测试
• ARROW-107 - [C++] 为结构体类型添加 ipc 往返测试
• ARROW-11 - 将 JIRA 活动镜像到 dev@arrow.apache.org
• ARROW-13 - 添加类似于 Parquet 中使用的 PR 合并工具
• ARROW-14 - 添加 JIRA 组件
• ARROW-15 - 修复 memory.AllocationManager.AllocationOutcome 的命名拼写错误
• ARROW-19 - C++: 将内存分配外部化，并为构建器类添加 MemoryPool 抽象接口
• ARROW-190 - Python: 提供可安装的 sdist 构建
• ARROW-197 - [Python] 为 pyarrow 添加 conda 开发 recipe
• ARROW-199 - [C++] 优化第三方依赖
• ARROW-2 - 发布简单的网站
• ARROW-20 - C++: 向 Array 容器添加 null 计数成员，移除 nullable 成员
• ARROW-201 - C++: 初始 ParquetWriter 实现
• ARROW-203 - Python: 基于文件名的基本 Parquet 读/写
• ARROW-204 - [Python] 自动上传 libarrow 和 pyarrow 的 conda 构建产物
• ARROW-206 - [C++] 公开一个用于比较两个数组上一定范围槽位的相等性 API
• ARROW-21 - C++: 添加内存中的 schema 元数据容器
• ARROW-212 - [C++] 阐明 PrimitiveArray 现在是抽象类
• ARROW-213 - 公开静态 arrow 构建
• ARROW-214 - C++: 为 Parquet I/O 添加字符串支持
• ARROW-215 - C++: 在 Parquet I/O 中支持其他整数类型
• ARROW-218 - 合并 PR 时，添加通过环境变量使用 GitHub API 令牌的选项
• ARROW-22 - C++: 添加用于将扁平 Parquet schema 转换为内存中 Arrow schema 的 schema 适配器例程
• ARROW-222 - [C++] 创建一个类似于文件的 HDFS 接口原型（通过 libhdfs），并开始为 Arrow 数据适配器定义更通用的 IO 接口
• ARROW-23 - C++: 为分块数据添加逻辑“Column”容器
• ARROW-233 - [C++] 添加可见性定义以限制共享库符号的可见性
• ARROW-234 - [C++] 在 conda 构建的 arrow_io 中，构建时支持 libhdfs
• ARROW-236 - [Python] 使 Parquet 读/写能够处理 HDFS 文件对象
• ARROW-237 - [C++] 创建 Parquet 分配器和读取接口的 Arrow 特化版本
• ARROW-238 - C++: 当已分配内存不足时，InternalMemoryPool::Free() 应该抛出错误
• ARROW-24 - C++: 添加逻辑“Table”容器
• ARROW-242 - C++/Python: 支持时间戳数据类型
• ARROW-245 - [格式] 阐明 Arrow 与大端平台的兼容性关系
• ARROW-251 - [C++] 公开用于获取状态码和消息的 API
• ARROW-252 - 在文档中添加实现指南
• ARROW-253 - Int 类型的宽度只应为 8*2^n (8, 16, 32, 64)
• ARROW-254 - 移除 Bit 类型，因为它与布尔类型冗余
• ARROW-255 - 最终确定字典表示
• ARROW-256 - 为 arrow 规范添加版本控制
• ARROW-257 - 为 Union 类型添加一个 typeids 向量
• ARROW-26 - C++: 为构建 parquet-cpp 集成添加开发者说明
• ARROW-260 - TestValueVector.testFixedVectorReallocation 和 testVariableVectorReallocation 不稳定
• ARROW-262 - [格式] 为消息传递和 IPC / 在线/文件表示添加一个新的格式文档，用于元数据和逻辑类型
• ARROW-264 - 创建 Arrow 文件格式
• ARROW-267 - [C++] 用于 RPC / IPC 的类文件布局的 C++ 实现
• ARROW-270 - [格式] 定义更通用的 Interval 逻辑类型
• ARROW-271 - 更新 Field 结构以使其更明确
• ARROW-272 - Arrow 0.1 版本发布
• ARROW-279 - 为保持一致性，将 vector 模块重命名为 arrow-vector
• ARROW-28 - C++: 将 google/benchmark 添加到第三方构建工具链中
• ARROW-280 - [C++] 整合文件和共享内存 IO 接口
• ARROW-285 - 允许使用自定义 flatc 编译器
• ARROW-286 - 并行构建第三方依赖
• ARROW-289 - 安装 test-util.h
• ARROW-290 - 在 ArrowBuf 中特化 alloc()
• ARROW-292 - [Java] 将 Netty 升级到 4.0.41
• ARROW-293 - [C++] 针对操作系统文件的 IO 接口实现
• ARROW-296 - [C++] 移除 arrow_parquet C++ 模块及构建系统相关部分
• ARROW-298 - 创建发布脚本
• ARROW-299 - 在宏中使用绝对命名空间
• ARROW-3 - 发布初始 Arrow 格式规范
• ARROW-30 - Python: pandas/NumPy 与 Arrow 之间的转换例程
• ARROW-301 - [格式] 为 IPC schema 添加某种形式的用户字段元数据
• ARROW-302 - [Python] 添加对类文件对象使用 Arrow 文件格式的支持
• ARROW-305 - 为 Parquet 接口添加压缩和 use_dictionary 选项
• ARROW-306 - 添加通过环境变量传递 cmake 参数的选项
• ARROW-31 - Python: 基本的 PyList 与 Arrow 之间的编组代码
• ARROW-315 - 最终确定时间戳类型
• ARROW-318 - [Python] 修订 README 以反映项目当前状态
• ARROW-319 - 添加规范的 Arrow Schema json 表示
• ARROW-324 - 更新 arrow 元数据图
• ARROW-325 - 使 TestArrowFile 不依赖于时区
• ARROW-35 - 在主 README.md 中添加一个简短的行动号召/如何参与部分
• ARROW-37 - C++: 以位打包形式表示布尔数组数据
• ARROW-4 - 初始 Arrow CPP 实现
• ARROW-42 - Python: 添加到 Travis CI 构建
• ARROW-43 - Python: 为数组类型添加基本的控制台 **repr**
• ARROW-44 - Python: 为标量值（即 arrow_arr[i] 的结果）实现基本的对象模型
• ARROW-48 - Python: 添加 Schema 对象包装器
• ARROW-49 - Python: 添加 Column 和 Table 包装器接口
• ARROW-50 - C++: 使第三方用户能够在不构建 thirdparty googletest 的情况下构建库
• ARROW-53 - Python: 修复 RPATH 并添加源码安装说明
• ARROW-54 - Python: 将包重命名为 "pyarrow"
• ARROW-56 - 格式: 在位数组中指定 LSB 位序
• ARROW-57 - 格式: 为数据交换起草数据头 IDL
• ARROW-58 - 格式: 起草类型元数据（“schemas”）IDL
• ARROW-59 - Python: 对内置数据结构的布尔数据支持
• ARROW-60 - C++: 结构体类型构建器 API
• ARROW-64 - 为 C++ 构建脚本添加 zsh 支持
• ARROW-66 - 安装指南中可能缺少一些步骤
• ARROW-67 - C++: 起草类型元数据与 IPC 表示之间的转换
• ARROW-68 - 更新 setup_build_env 和第三方脚本以提高用户友好性
• ARROW-7 - 添加 Python 库构建工具链
• ARROW-70 - C++: 添加 parquet-cpp 中使用的 "lite" DCHECK 宏
• ARROW-71 - C++: 添加脚本以在代码库上运行 clang-tidy
• ARROW-73 - 支持 CMake 2.8
• ARROW-76 - 修订格式文档以包含 null 计数，将不可为空的数组推迟到元数据领域
• ARROW-78 - C++: 为 DecimalType 添加构造函数
• ARROW-79 - Python: 添加基准测试
• ARROW-8 - 设置 Travis CI
• ARROW-82 - C++: 实现 List 类型的 IPC 交换
• ARROW-83 - 为 DecimalType 添加基本的测试基础设施
• ARROW-85 - C++: 在与相同 Buffer 比较时，Equal 中可以避免 memcmp
• ARROW-86 - Python: 实现零拷贝的 Arrow 到 Pandas 转换
• ARROW-87 - 为 Parquet 中所有支持的方式实现 Decimal schema 转换
• ARROW-89 - Python: 为 Arrow 与 Pandas 转换添加基准测试
• ARROW-9 - 将一些未更改的 "Drill" 重命名为 "Arrow"
• ARROW-90 - Apache Arrow cpp 代码不支持 Power 架构
• ARROW-91 - C++: parquet-cpp 的 ParquetFileReader 的适配器类的初稿，该类生成 Arrow 表/行批处理对象
• ARROW-92 - C++: Arrow 到 Parquet Schema 转换

Bug 修复

• ARROW-103 - .gitignore 中缺少模式
• ARROW-104 - 根据邮件列表中的讨论更新 Layout.md
• ARROW-105 - 如果禁用断言，单元测试会失败
• ARROW-113 - 如果无法分配 2GB 内存，TestValueVector 测试会失败
• ARROW-16 - 在 XCode 7.2.1 上构建 cpp 的问题
• ARROW-17 - 为 Drill 兼容性设置一些向量字段为默认访问级别
• ARROW-18 - 修复十进制精度和标度的错误
• ARROW-185 - [C++] 确保对齐和内存填充符合规范
• ARROW-188 - Python: 添加 numpy 作为安装依赖
• ARROW-193 - 说明中的拼写错误，"int his" 应为 "in this"
• ARROW-194 - C++: 允许只读内存映射源
• ARROW-200 - [Python] Convert Values String 似乎有不正确的错误处理
• ARROW-209 - [C++] 构建中断：llvm.org apt 仓库不可用
• ARROW-210 - [C++] 稍微整理一下类型系统
• ARROW-211 - Layout.md 示例中的几个拼写错误/错误
• ARROW-217 - 修复 Travis 以适应 conda 4.1.0 的更改
• ARROW-219 - [C++] 传递的 CMAKE_CXX_FLAGS 被丢弃，修复编译器警告
• ARROW-223 - 不链接 libpython
• ARROW-225 - [C++/Python] master Travis CI 构建中断
• ARROW-244 - [C++] IPC 模块的一些全局 API 应该对外部可见
• ARROW-246 - [Java] UnionVector 在创建其 vectorType 时没有调用 allocateNew()
• ARROW-247 - [C++] RowBatchReader 中缺少显式析构函数导致不完整类型错误
• ARROW-250 - ARROW-246 的修复可能导致内存泄漏
• ARROW-259 - 在 java 实现中使用 flatbuffer 字段
• ARROW-265 - 负十进制值的填充不正确
• ARROW-266 - [C++] 修复中断的构建
• ARROW-274 - 使 MapVector 可为空
• ARROW-278 - [格式] 实现和元数据中结构体类型名称的一致性
• ARROW-283 - [C++] 更新 arrow_parquet 以适应 PARQUET-573 中的 API 更改
• ARROW-284 - [C++] 通过禁用 Arrow-Parquet 模块来筛选构建
• ARROW-287 - [java] 使可为空的向量使用 BitVecor 而不是 UInt1Vector 来存储位
• ARROW-297 - 修复 Arrow pom 以便发布
• ARROW-304 - NullableMapReaderImpl.isSet() 总是返回 true
• ARROW-308 - UnionListWriter.setPosition() 不应调用 startList()
• ARROW-309 - Types.getMinorTypeForArrowType() 对 Union 类型不起作用
• ARROW-313 - XCode 8.0 导致构建中断
• ARROW-314 - JSONScalar 是不必要的且未使用
• ARROW-320 - 如果 reader 未设置，ComplexCopier.copy(FieldReader, FieldWriter) 不应启动列表
• ARROW-321 - 修复 Arrow 许可证
• ARROW-36 - 从补丁工具中移除 fixVersions（直到我们有它们为止）
• ARROW-46 - 将 DRILL-4410 移植到 Arrow
• ARROW-5 - 运行 maven install 时出错
• ARROW-51 - 从 Drill 项目移动 ValueVector 测试
• ARROW-55 - Python: 修复旧版 Python (2.7) 测试并添加到 Travis CI
• ARROW-62 - 格式: 空值的 null 位是 0 还是 1？
• ARROW-63 - C++: 如果活动 Python 解释器是 Python 3，ctest 会失败
• ARROW-65 - Python: FindPythonLibsNew 在 virtualenv 中不起作用
• ARROW-69 - 更改可分配用户的权限
• ARROW-72 - FindParquet 搜索不存在的头文件
• ARROW-75 - C++: 修复空字符串的处理
• ARROW-77 - C++: 使 null 位解释符合 ARROW-62
• ARROW-80 - 对空数组使用 len(Array) 时出现分段错误
• ARROW-88 - C++: 根据 PARQUET-572 进行重构
• ARROW-93 - XCode 7.3 导致构建中断
• ARROW-94 - 展开列表示例以阐明 null 与空列表的区别