VACUUM/OPTIMIZE 对自动装载机检查点的影响答案

【问题标题】：VACUUM/OPTIMIZE Effect on Autoloader CheckpointsVACUUM/OPTIMIZE 对自动装载机检查点的影响
【发布时间】：2022-04-25 18:40:01
【问题描述】：

我正在使用 Databricks Autoloader 以增量方式从 Delta Lake 表流式传输到 SQL 数据库。如果针对 Delta 表运行 OPTIMIZE 或 VACUUM 语句，则会添加/减去新文件。

我的问题是，自动加载器检查点会在下一个流中折扣这些优化文件吗？或者我的整个 Delta 表是否会因为 autoloader 无法识别它已经处理过数据而被流式传输到 SQL 中？

【问题讨论】：

【解决方案1】：

只要正确指定 readStream 的格式，自动加载器检查点将忽略所有由 OPTIMIZE 命令创建的聚合文件。在这种情况下，代码应该如下启动。 df.readStream.format('delta')

【讨论】：