pyspark databricks 代码对传入文件进行零字节检查

Question

如何对数据块中的传入文件进行审计检查。 希望 python 代码进行零字节检查（应该检查文件是否有数据），如果文件有数据，那么它应该继续该过程，否则它应该停止该过程并发送电子邮件。

Answer 1

Databricks 有dbutils.fs，它返回目录中的文件列表，包括文件大小。您可以使用该信息来检查每个用例。