Lambda 触发 DLT 管道

Question

我有一个源文件，我将其作为增量文件加载到 S3 中。我可以将 lambda 触发器附加到文件。有没有一种方法可以基于 lambda 触发器触发 DLT 管道

Answer 1

是的，您可以使用DLT REST APIs开始现存的DLT 管道（它应该是预先创建的，但如果它尚不存在，您也可以通过 API 创建它）。另一种方法是围绕 DLT 管道创建 Databricks 作业，然后使用 Jobs REST API 触发该作业。