【问题标题】:Airflow RabbitMQ sensor气流 RabbitMQ 传感器
【发布时间】:2021-10-27 10:48:56
【问题描述】:

是否存在订阅 RabbitMQ 队列中消息的气流传感器?

我注意到有一个PubSub sensor 可以完成与我想要的类似的操作。

我可以使用 PythonOperator 轻松完成此任务,但奇怪的是 RabbitMQ 传感器还不存在。

我在这里遗漏了什么明显的东西吗?

【问题讨论】:

    标签: rabbitmq airflow amqp


    【解决方案1】:

    我认为不会 - 你不会错过任何东西。 Airflow 是一个开源项目,拥有近 1800 名贡献者。而且很可能他们还没有贡献 RabbitMQ 传感器。

    这对您来说是一个很好的机会 - 创建一个新的提供者并在那里贡献一个 RabbitMQ 传感器怎么样?

    很高兴帮助和审查 PR!

    【讨论】:

    • 谢谢 Jarek,我想我会的!我首先查看了 Google PubSub 代码,以了解从哪里开始。您是否可以推荐任何参考指南来编写自定义传感器?对编写好的测试特别感兴趣(最好使用 pytest,但我不挑剔)
    • 看看代码中的例子——我们有很多——很多传感器,所有的传感器都用 pytest 自动测试:D:
    • 这里是关于如何创建一个新的community 提供者的指南(你必须从它开始)airflow.apache.org/docs/apache-airflow-providers/howto/…
    • 这应该会给您一个良好的开端,然后最好从那里查看其他提供商的代码。 Google Operators/Hooks(包括 PubSub)非常适合入手 - 它们通常遵循所有良好实践。而且我们不接受没有测试的代码 - 所以你可以确定测试在那里:D
    • 嗨 Jarek,我们现在开发了 airflow-provider-rabbitmq。它非常简单,适合我们的项目需求。有兴趣了解需要做哪些工作才能使其成为社区提供者:)
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-12-31
    • 1970-01-01
    相关资源
    最近更新 更多