Schema
是一个包含 Field 的 Arrow 对象,它将名称映射到 Arrow 数据类型。当您想将 R data.frame
转换为 Arrow 但不想依赖 R 类型到 Arrow 类型的默认映射时,例如当您想选择特定的数值精度,或者当创建 Dataset 并希望确保特定的 Schema 而不是从各种文件中推断它时,创建一个 Schema
。
许多 Arrow 对象,包括 Table 和 Dataset,都有一个 $schema
方法(活动绑定),允许您访问它们的 Schema。
方法
$ToString()
:转换为字符串$field(i)
:返回索引i
处的字段(从 0 开始)$GetFieldByName(x)
:返回名称为x
的字段$WithMetadata(metadata)
:返回一个设置了键值metadata
的新Schema
。请注意,metadata
中的所有列表元素都将被强制转换为character
。$code(namespace)
:返回生成此 Schema 所需的 R 代码。使用namespace=TRUE
调用arrow::
。
活动绑定
$names
:返回字段名称(在names(Schema)
中调用)$num_fields
:返回字段数量(在length(Schema)
中调用)$fields
:返回Schema
中的Field
列表,适合迭代$HasMetadata
:逻辑值:此Schema
是否具有额外的元数据?$metadata
:将键值元数据作为命名列表返回。通过赋值修改或替换(sch$metadata <- new_metadata
)。所有列表元素都被强制转换为字符串。
R 元数据
将 data.frame 转换为 Arrow Table 或 RecordBatch 时,data.frame
的属性将与表一起保存,以便可以在 R 中忠实地重建对象(例如,使用 as.data.frame()
)。此元数据可以位于 data.frame
的顶层(例如 attributes(df)
),也可以位于列级别(例如 attributes(df$col_a)
),或者仅适用于列表列:元素级别(例如 attributes(df[1, "col_a"])
)。例如,这允许将 haven
列存储在表中,并在将其拉回 R 时能够忠实地重新创建它们。此元数据与 Schema(列名称和类型)分开,后者与其他 Arrow 客户端兼容。R 元数据仅由 R 读取,并被其他客户端忽略(例如,Pandas 有其自己的自定义元数据)。此元数据存储在 $metadata$r
中。
由于 Schema 元数据键和值必须是字符串,因此通过将 R 的属性列表结构序列化为字符串来保存此元数据。如果序列化元数据的大小超过 100Kb,则默认情况下从 3.0.0 版本开始对其进行压缩。要禁用此压缩(例如,对于与 3.0.0 之前的 Arrow 版本兼容且包含大量元数据的表),请将选项 arrow.compress_metadata
设置为 FALSE
。具有压缩元数据的文件可由旧版本的 arrow 读取,但元数据将被丢弃。