如何编写用于将数据从 MySQL 加载到 Redshift 的 Luigi 工作流程？

Question

Luigi 是否支持我执行整个流程？

流程将是这样的： 将 MySQL 数据转储到 S3，然后使用 Copy 命令将数据移动到 Redshift。

我可以使用 Luigi 执行上述工作流程吗？

Answer 1

基本上，您可以在 Luigi 中使用 Python 脚本执行任何操作，因为您可以在 Luigi 任务的 run() 方法中编写该 Python 代码，这意味着实际上没有真正的限制。

有关任务，尤其是 run() 方法，请参阅 Luigi 文档，了解更多信息：http://luigi.readthedocs.org/en/stable/tasks.html#task-run

所以，剩下的问题是如何从 python 本身访问 RedShift 和 MySQL，但这是一个单独的问题，我认为在谷歌上搜索一个好的指南或教程是最好的选择。