表格数据#
虽然数组(又称:ValueVector)表示一维同质值的序列,但数据通常以二维异质数据集的形式出现(例如数据库表、CSV 文件……)。Arrow 提供了几个抽象来方便高效地处理此类数据。
字段#
字段用于表示表格数据的特定列。字段,即 Field 的实例,将字段名称、数据类型和一些可选的键值元数据组合在一起。
// Create a column "document" of string type with metadata
import org.apache.arrow.vector.types.pojo.ArrowType;
import org.apache.arrow.vector.types.pojo.Field;
import org.apache.arrow.vector.types.pojo.FieldType;
Map<String, String> metadata = new HashMap<>();
metadata.put("A", "Id card");
metadata.put("B", "Passport");
metadata.put("C", "Visa");
Field document = new Field("document", new FieldType(true, new ArrowType.Utf8(), /*dictionary*/ null, metadata), /*children*/ null);
模式#
Schema 描述了由任意数量的列组成的整体结构。它将一系列字段与一些可选的 schema 范围元数据(除了每个字段的元数据)组合在一起。
// Create a schema describing datasets with two columns:
// a int32 column "A" and a utf8-encoded string column "B"
import org.apache.arrow.vector.types.pojo.ArrowType;
import org.apache.arrow.vector.types.pojo.Field;
import org.apache.arrow.vector.types.pojo.FieldType;
import org.apache.arrow.vector.types.pojo.Schema;
import static java.util.Arrays.asList;
Map<String, String> metadata = new HashMap<>();
metadata.put("K1", "V1");
metadata.put("K2", "V2");
Field a = new Field("A", FieldType.nullable(new ArrowType.Int(32, true)), null);
Field b = new Field("B", FieldType.nullable(new ArrowType.Utf8()), null);
Schema schema = new Schema(asList(a, b), metadata);
VectorSchemaRoot#
VectorSchemaRoot 是数据批次的容器。批次作为管道的一部分流经 VectorSchemaRoot。
注意
VectorSchemaRoot 在某种程度上类似于其他 Arrow 实现中的表或记录批次,因为它们都是 2D 数据集,但它们的用法不同。
建议的用法是基于已知模式创建一个 VectorSchemaRoot,并在批次流中反复将数据填充到该根中,而不是每次都创建一个新实例(参见 Flight 或 ArrowFileWriter
作为示例)。因此,在任何一个时间点,VectorSchemaRoot 可能有数据,也可能没有数据(例如,它被传输到下游或尚未填充)。
以下是如何创建 VectorSchemaRoot 的示例
BitVector bitVector = new BitVector("boolean", allocator);
VarCharVector varCharVector = new VarCharVector("varchar", allocator);
bitVector.allocateNew();
varCharVector.allocateNew();
for (int i = 0; i < 10; i++) {
bitVector.setSafe(i, i % 2 == 0 ? 0 : 1);
varCharVector.setSafe(i, ("test" + i).getBytes(StandardCharsets.UTF_8));
}
bitVector.setValueCount(10);
varCharVector.setValueCount(10);
List<Field> fields = Arrays.asList(bitVector.getField(), varCharVector.getField());
List<FieldVector> vectors = Arrays.asList(bitVector, varCharVector);
VectorSchemaRoot vectorSchemaRoot = new VectorSchemaRoot(fields, vectors);
可以通过 VectorLoader 和 VectorUnloader 将数据加载到 VectorSchemaRoot 中或从 VectorSchemaRoot 中卸载数据。它们处理在 VectorSchemaRoot 和 ArrowRecordBatch(RecordBatch 的表示形式 IPC 消息)之间进行转换。例如
// create a VectorSchemaRoot root1 and convert its data into recordBatch
VectorSchemaRoot root1 = new VectorSchemaRoot(fields, vectors);
VectorUnloader unloader = new VectorUnloader(root1);
ArrowRecordBatch recordBatch = unloader.getRecordBatch();
// create a VectorSchemaRoot root2 and load the recordBatch
VectorSchemaRoot root2 = VectorSchemaRoot.create(root1.getSchema(), allocator);
VectorLoader loader = new VectorLoader(root2);
loader.load(recordBatch);
可以从现有根中切片一个新的 VectorSchemaRoot,而无需复制数据
// 0 indicates start index (inclusive) and 5 indicated length (exclusive).
VectorSchemaRoot newRoot = vectorSchemaRoot.slice(0, 5);
表格#
Table 是一个不可变的表格数据结构,与 VectorSchemaRoot 非常相似,因为它也是基于 ValueVectors 和模式构建的。与 VectorSchemaRoot 不同,Table 不是为批处理设计的。以下是如何创建 Table 而不是 VectorSchemaRoot 的示例版本
BitVector bitVector = new BitVector("boolean", allocator);
VarCharVector varCharVector = new VarCharVector("varchar", allocator);
bitVector.allocateNew();
varCharVector.allocateNew();
for (int i = 0; i < 10; i++) {
bitVector.setSafe(i, i % 2 == 0 ? 0 : 1);
varCharVector.setSafe(i, ("test" + i).getBytes(StandardCharsets.UTF_8));
}
bitVector.setValueCount(10);
varCharVector.setValueCount(10);
List<FieldVector> vectors = Arrays.asList(bitVector, varCharVector);
Table table = new Table(vectors);
有关更多信息,请参见 Table 文档。