表格数据

虽然数组（又名：ValueVector）表示一个同类值的单维序列，但数据通常以二维异类数据集的形式出现（例如数据库表、CSV 文件等）。Arrow 提供了几个抽象来方便有效地处理此类数据。

字段

字段用于表示表格数据的特定列。字段，即 Field 的一个实例，将字段名称、数据类型和一些可选的键值元数据组合在一起。

// Create a column "document" of string type with metadata
import org.apache.arrow.vector.types.pojo.ArrowType;
import org.apache.arrow.vector.types.pojo.Field;
import org.apache.arrow.vector.types.pojo.FieldType;

Map<String, String> metadata = new HashMap<>();
metadata.put("A", "Id card");
metadata.put("B", "Passport");
metadata.put("C", "Visa");
Field document = new Field("document", new FieldType(true, new ArrowType.Utf8(), /*dictionary*/ null, metadata), /*children*/ null);

模式

Schema 描述了由任意数量的列组成的整体结构。它将一系列字段与一些可选的 schema 范围元数据（除了每个字段的元数据）组合在一起。

// Create a schema describing datasets with two columns:
// a int32 column "A" and a utf8-encoded string column "B"
import org.apache.arrow.vector.types.pojo.ArrowType;
import org.apache.arrow.vector.types.pojo.Field;
import org.apache.arrow.vector.types.pojo.FieldType;
import org.apache.arrow.vector.types.pojo.Schema;
import static java.util.Arrays.asList;

Map<String, String> metadata = new HashMap<>();
metadata.put("K1", "V1");
metadata.put("K2", "V2");
Field a = new Field("A", FieldType.nullable(new ArrowType.Int(32, true)), null);
Field b = new Field("B", FieldType.nullable(new ArrowType.Utf8()), null);
Schema schema = new Schema(asList(a, b), metadata);

VectorSchemaRoot

VectorSchemaRoot 是数据批次的容器。批次作为管道的一部分流经 VectorSchemaRoot。

注意

VectorSchemaRoot 在某种程度上类似于其他 Arrow 实现中的表或记录批次，因为它们都是二维数据集，但它们的用法有所不同。

建议的用法是基于已知模式创建一个单独的 VectorSchemaRoot，并反复将数据填充到该根目录中，形成一系列批次，而不是每次都创建一个新实例（例如，请参阅 Flight 或 ArrowFileWriter）。因此，在任何一点上，VectorSchemaRoot 可能会包含数据，也可能不包含数据（例如，它已下游传输或尚未填充）。

以下是如何创建 VectorSchemaRoot 的示例

BitVector bitVector = new BitVector("boolean", allocator);
VarCharVector varCharVector = new VarCharVector("varchar", allocator);
bitVector.allocateNew();
varCharVector.allocateNew();
for (int i = 0; i < 10; i++) {
  bitVector.setSafe(i, i % 2 == 0 ? 0 : 1);
  varCharVector.setSafe(i, ("test" + i).getBytes(StandardCharsets.UTF_8));
}
bitVector.setValueCount(10);
varCharVector.setValueCount(10);

List<Field> fields = Arrays.asList(bitVector.getField(), varCharVector.getField());
List<FieldVector> vectors = Arrays.asList(bitVector, varCharVector);
VectorSchemaRoot vectorSchemaRoot = new VectorSchemaRoot(fields, vectors);

可以通过 VectorLoader 和 VectorUnloader 将数据加载到 VectorSchemaRoot 或从 VectorSchemaRoot 中卸载数据。它们处理 VectorSchemaRoot 和 ArrowRecordBatch（RecordBatch IPC 消息的表示形式）之间的转换。例如

// create a VectorSchemaRoot root1 and convert its data into recordBatch
VectorSchemaRoot root1 = new VectorSchemaRoot(fields, vectors);
VectorUnloader unloader = new VectorUnloader(root1);
ArrowRecordBatch recordBatch = unloader.getRecordBatch();

// create a VectorSchemaRoot root2 and load the recordBatch
VectorSchemaRoot root2 = VectorSchemaRoot.create(root1.getSchema(), allocator);
VectorLoader loader = new VectorLoader(root2);
loader.load(recordBatch);

可以从现有根目录中切片出一个新的 VectorSchemaRoot，而无需复制数据

// 0 indicates start index (inclusive) and 5 indicated length (exclusive).
VectorSchemaRoot newRoot = vectorSchemaRoot.slice(0, 5);

表格

Table 是一种不可变的表格数据结构，与 VectorSchemaRoot 非常相似，因为它也是建立在 ValueVectors 和模式上的。与 VectorSchemaRoot 不同，Table 不是为批处理设计的。以下是如何创建 Table 而不是 VectorSchemaRoot 的示例版本

BitVector bitVector = new BitVector("boolean", allocator);
VarCharVector varCharVector = new VarCharVector("varchar", allocator);
bitVector.allocateNew();
varCharVector.allocateNew();
for (int i = 0; i < 10; i++) {
  bitVector.setSafe(i, i % 2 == 0 ? 0 : 1);
  varCharVector.setSafe(i, ("test" + i).getBytes(StandardCharsets.UTF_8));
}
bitVector.setValueCount(10);
varCharVector.setValueCount(10);

List<FieldVector> vectors = Arrays.asList(bitVector, varCharVector);
Table table = new Table(vectors);

有关更多信息，请参阅 Table 文档。