其他数据结构#

我们的 FlatBuffers 协议定义文件 包含一些其他数据结构的元数据,以便其他类型的应用程序可以利用通用的进程间通信机制。这些数据结构不被认为是列式格式的一部分。

Arrow 列式实现不需要实现这些类型。

张量(多维数组)#

Tensor 消息类型提供了一种写入固定大小值的多维数组的方法(例如 NumPy ndarray)。

当写入独立的封装张量消息时,我们使用 列式规范 中定义的封装 IPC 格式,但另外将张量主体的起始偏移量对齐为 64 字节的倍数。

<metadata prefix and metadata>
<PADDING>
<tensor body>

稀疏张量#

SparseTensor 表示一个多维数组,其元素通常几乎全为零。

当写入独立的封装稀疏张量消息时,我们使用 列式规范 中定义的封装 IPC 格式,但另外将稀疏索引和稀疏张量主体(如果写入共享内存区域)的起始偏移量对齐为 64 字节的倍数。

<metadata prefix and metadata>
<PADDING>
<sparse index>
<PADDING>
<sparse tensor body>

稀疏张量索引的内容取决于所使用的稀疏格式类型。