有什么方法可以将实时流从 azure blob 存储复制到 azure my sql

Question

我们基本上可以使用 databricks 作为中间，但我被困在 python 脚本上，每 30 秒将数据从 blob 存储复制到 azure 我的 sql，我们在这里使用 CSV 文件。脚本需要将 csv 存储在当前时间戳中。

Answer 1

spark/databricks 中没有针对 mysql 的就绪流选项，因为它不是流源/接收器技术。

您可以在数据块中使用 writeStream .forEach(df) 或 .forEachBatch(df) 选项。这样它会创建临时数据框，您可以将其保存在您选择的位置（因此写入 mysql）。

我个人会选择简单的解决方案。在 Azure 数据因子中，y 足以创建两个数据集（甚至可以没有它） - 一个 mysql、一个 blob 并使用带有复制活动的管道来传输数据。