是否可以在镶木地板文件上应用 CDC？答案

【问题标题】：Is it possible to apply CDC's on a parquet file?是否可以在镶木地板文件上应用 CDC？
【发布时间】：2019-03-30 13:50:30
【问题描述】：

我正在使用 spark，需要将来自数据库副本的 cdc 文件应用到 parquet 文件上，例如 upsert。我已经编写了代码来获取 Cdc 文件中每个 ID 的最后状态，但现在我需要将这些最后状态应用到历史实木复合地板上。

【问题讨论】：

不能先CDC成Kafka，然后用Spark以追加模式写入Parquet吗？
您好 Felipe，对不起，我对这个问题不是很清楚，但我想要合并镶木地板文件，而不是追加。我希望在发布合并和更新功能时使用 delta Lake 功能解决这个问题。

【解决方案1】：

ORC 文件具有此功能（用于在 Hive 中启用 ACID 合规性），但我不确定您将如何从 Spark 访问该功能。 https://orc.apache.org/docs/acid.html

【讨论】：