是否有用于转换为 Delta（Delta Lake）格式的 CDAP/Data Fusion 插件？

Question

我想使用 GCP 上的数据融合作为我的 ETL 管道管理器，并使用 delta 格式将原始数据存储在 GCS 中。有人做过吗，或者有插件吗？

Answer 1

Data Fusion 有一个插件可以从 Google Cloud Storage 存储桶中的路径读取文件/对象，并且它确实支持 Parquet 格式。一种方法是使用云函数将 delta 转换为 parquet，然后在数据融合管道中使用。