本文描述了 Arrow 数据对象的内部结构。arrow R 包的用户通常不需要了解 Arrow 数据对象的内部结构。我们将其包含在此处是为了帮助那些希望了解 Arrow 规范 的 R 用户和 Arrow 开发人员。本文更深入地探讨了 数据对象文章 中描述的一些主题，主要面向开发人员。使用 arrow 包不需要了解这些知识。
我们首先描述两个关键概念
- 数组中的值存储在一个或多个**缓冲区**中。缓冲区是一个具有给定长度的连续虚拟地址空间（即内存块）。给定一个指定缓冲区起始内存地址的指针，您可以使用指定相对于缓冲区起始位置的偏移值的“偏移量”来访问缓冲区中的任何字节。
- 数组的**物理布局**是指描述数组中数据如何在内存中布局的术语，而不考虑如何解释该信息。例如：32 位有符号整数和 32 位浮点数具有相同的布局：它们都是 32 位，在内存中表示为 4 个连续字节。含义不同，但布局相同。
我们可以使用一个简单的整数值数组来解释这些概念
integer_array <- Array$create(c(1L, NA, 2L, 4L, 8L))
integer_array## Array
## <int32>
## [
## 1,
## null,
## 2,
## 4,
## 8
## ]我们可以检查 integer_array$type 属性，以查看数组中的值是否存储为有符号的 32 位整数。当由 Arrow C++ 库在内存中布局时，整数数组由两个元数据和两个存储数据的缓冲区组成。元数据指定数组的长度和空值的计数，均存储为 64 位整数。可以使用 integer_array$length() 和 integer_array$null_count 分别从 R 查看这些元数据。与数组关联的缓冲区数量取决于所存储数据的具体类型。对于整数数组，有两个：一个“有效位图缓冲区”和一个“数据值缓冲区”。我们可以用示意图的方式将数组描述如下
此图将数组显示为一个矩形，细分为两部分，一部分用于元数据，另一部分用于缓冲区。在矩形下方，我们为您解压缩了缓冲区的内容，在虚线包围的区域中显示了两个缓冲区的内容。在图的最底部，您可以看到特定字节的内容。
有效位图缓冲区
有效位图是二进制值的，当数组中的相应槽包含有效的非空值时，它包含 1。在抽象层面上，我们可以假设它包含以下五个位
10111然而，由于三个原因，这有点过于简化。首先，由于内存是以字节为单位分配的，因此末尾有三个尾随位（假定为零），这使我们得到位图 10111000。其次，虽然我们是从左到右编写的，但这种书面格式通常被认为代表 大端格式，其中最高有效位首先写入（即写入最低值的内存地址）。Arrow 采用小端约定，当用英语书写时，这更自然地对应于从右到左的顺序。为了反映这一点，我们以从右到左的顺序写入位：00011101。最后，Arrow 鼓励使用 自然对齐的数据结构，其中分配的内存地址是数据块大小的倍数。Arrow 使用*64 字节对齐*，因此每个数据结构的大小必须是 64 字节的倍数。此设计特性是为了允许有效地使用现代硬件，如 Arrow 规范 中所述。这就是缓冲区在内存中的样子
| 字节 0（有效位图） | 字节 1-63 |
|---|---|
00011101 |
0（填充） |
数据缓冲区
数据缓冲区与有效位图一样，填充到 64 字节的长度以保持自然对齐。这是显示物理布局的图表
| 字节 0-3 | 字节 4-7 | 字节 8-11 | 字节 12-15 | 字节 16-19 | 字节 20-63 |
|---|---|---|---|---|---|
1 |
未指定 | 2 |
4 |
8 |
未指定 |
根据 32 位有符号整数的要求，每个整数占用 4 个字节。请注意，与缺失值关联的字节未指定：为该值分配了空间，但这些字节未填充。
偏移缓冲区
某些类型的 Arrow 数组包含第三个缓冲区，称为偏移缓冲区。这在字符串数组的上下文中最为常见，例如这个
string_array <- Array$create(c("hello", "amazing", "and", "cruel", "world"))
string_array## Array
## <string>
## [
## "hello",
## "amazing",
## "and",
## "cruel",
## "world"
## ]使用与之前相同的示意图表示法，这是对象的结构。它具有与以前相同的元数据，但如下所示，现在有三个缓冲区
要理解偏移缓冲区的作用，需要注意字符串数组的数据缓冲区的格式：它将所有字符串首尾相连地连接在一个连续的内存部分中。对于 string_array 对象，数据缓冲区的内容看起来像一个很长的 utf8 编码字符串
helloamazingandcruelworld由于单个字符串的长度可以是可变的，因此偏移缓冲区的作用是指定槽之间的边界在哪里。我们数组中的第二个槽是字符串 "amazing"。如果数据数组中的位置像这样索引
| h | e | l | l | o | a | m | a | z | i | n | g | a | n | d | … |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | … |
那么我们可以看到感兴趣的字符串从位置 5 开始，到位置 11 结束。偏移缓冲区由存储这些断点位置的整数组成。对于 string_array，它可能如下所示
0 5 12 15 20 25utf8() 数据类型和 large_utf8() 数据类型之间的区别在于，utf8() 数据类型将这些存储为 32 位整数，而 large_utf8() 类型将它们存储为 64 位整数。
分块数组
数组是不可变对象：一旦数组被初始化，它存储的值就不能被更改。这确保了多个实体可以通过指针安全地引用一个数组，并且不会有值更改的风险。使用不可变数组使 Arrow 可以避免不必要的数据对象副本。
不可变数组存在局限性，最明显的是当新的数据批次到达时。由于数组是不可变的，因此您无法将新信息添加到现有数组中。如果您不想干扰或复制现有数组，唯一能做的就是创建一个包含新数据的新数组。这样做可以保留数组的不可变性，并且不会导致任何不必要的复制，但现在我们有一个新问题：数据被分割成两个数组。每个数组只包含数据的一个“块”。理想的情况是一个抽象层，它允许我们像处理单个“类似数组”的对象一样处理这两个数组。
这就是分块数组解决的问题。分块数组是数组列表的包装器，允许您对其内容进行索引，“就好像”它们是单个数组一样。从物理上讲，数据仍然存储在不同的位置——每个数组是一个块，这些块不必在内存中彼此相邻——但分块数组为我们提供了一个抽象层，允许我们假装它们都是一个事物。
为了说明这一点，让我们使用 chunked_array() 函数
chunked_string_array <- chunked_array(
c("hello", "amazing", "and", "cruel", "world"),
c("I", "love", "you")
)chunked_array() 函数只是 ChunkedArray$create() 提供的功能的包装器。让我们看看这个对象
chunked_string_array## ChunkedArray
## <string>
## [
## [
## "hello",
## "amazing",
## "and",
## "cruel",
## "world"
## ],
## [
## "I",
## "love",
## "you"
## ]
## ]此输出中的双括号旨在突出分块数组的“类似列表”的性质。有三个独立的数组，包装在一个容器对象中，该对象实际上是一个数组列表，但允许该列表的行为就像一个常规的一维数据结构。 схематически это выглядит так
如图所示，这里确实有三个数组，每个数组都有自己的有效位图、偏移缓冲区和数据缓冲区。
记录批次
记录批次是由一系列数组组成的类似表格的数据结构。数组可以是不同类型的，但它们的长度必须相同。每个数组都被称为记录批次的一个“字段”或“列”。每个字段必须有一个（UTF8 编码的）名称，这些名称构成记录批次元数据的一部分。当存储在内存中时，记录批次不包括存储在每个字段中的值的物理存储：相反，它包含指向相关数组对象的指针。但是，它确实包含自己的有效位图。
这是一个包含 5 行 3 列的记录批次。
rb <- record_batch(
strs = c("hello", "amazing", "and", "cruel", "world"),
ints = c(1L, NA, 2L, 4L, 8L),
dbls = c(1.1, 3.2, 0.2, NA, 11)
)
rb## RecordBatch
## 5 rows x 3 columns
## $strs <string>
## $ints <int32>
## $dbls <double>在抽象层面上，rb 对象的行为类似于具有行和列的二维结构，但就其在内存中的表示方式而言，它本质上是一个数组列表，如下所示。
表格
为了处理矩形数据集随时间增长（随着更多数据的添加）的情况，我们需要一个类似于记录批次的表格数据结构，但有一个例外：我们现在希望将每一列存储为分块数组，而不是将其存储为数组。这就是 arrow 中的 Table 类所做的。
为了说明这一点，假设我们有第二组数据作为记录批次到达。
new_rb <- record_batch(
strs = c("I", "love", "you"),
ints = c(5L, 0L, 0L),
dbls = c(7.1, -0.1, 2)
)
df <- concat_tables(arrow_table(rb), arrow_table(new_rb))
df## Table
## 8 rows x 3 columns
## $strs <string>
## $ints <int32>
## $dbls <double>这是此表格的底层结构。
