【问题标题】:Prefect Multiple Database Connections完善多个数据库连接
【发布时间】:2021-12-07 23:00:15
【问题描述】:

Prefect 如何为流处理多个数据库连接,或者它如何为连接委托驱动程序和运行时; Oracle、SQL Server 和 Snowflake?

如果我在 Kubernetes 上有一个 Prefect 服务器,Docker 会处理所有这些,还是托管许多连接到许多源的流的 prefect 服务器?

【问题讨论】:

  • 我们正在为我们的 Prefect 部署运行 Kubernetes 设置,并构建了一个自定义映像来运行不同的任务。目前连接到 MSSQL 数据库和 Postgres 数据库作为源 - 必须设置对代理运行的图像的所有依赖项,以便事情顺利运行(对于所有连接器)我们与我的同事进行了一些研发并设法获得以下设置跑步,他写了一个很好的描述:infinitelambda.com/post/…希望它有帮助!

标签: prefect


【解决方案1】:

Prefect 与 Stitch 或 Fivetran 等工具的连接方式不同。流(可能是 python 脚本)使用 prefect 在您选择的基础架构上进行编排,您可以从这些脚本中创建连接并通常做任何您想做的事情。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-05-19
    • 2019-07-10
    • 2012-01-06
    • 1970-01-01
    • 2019-11-29
    相关资源
    最近更新 更多