优化命令对结构化流作业编写的 Delta 湖表没有帮助

Question

我有一个结构化的流式处理作业，它从事件中心读取并以 /mytablepath 的形式写入 delta Lake 表，该表存储在 Azure Blob 存储中。在过去 2 个月的生产运行中，它在存储中创建了大约 1000 个小文件，每个文件只有 2-3 行。

我尝试在我的 delta Lake 表（路径）上运行优化命令，但即使 Blob 存储上的文件数量没有减少，并且当我在笔记本中的表上运行任何查询时，它继续显示警告“查询是在包含许多小文件的增量表上，运行优化以提高性能”。

谢谢

Answer 1

运行优化后需要运行vacuum来清理小文件。