何时在气流中创建自定义运算符？

Question

所以有一个用例，我想检查文件的大小，如果它超过可配置值的大小（根据业务规则更改每个文件类型），我们将返回 true/false 作为返回值.这只是添加一些上下文的用例，而不是我的问题。问题是'什么时候决定创建一个客户操作员而不是仅仅使用 python 可调用，因为它试图完成是小任务

1. 在使用运算符方面有可重用性增益
2. 单一类责任和更好的测试（操作员的单元测试）
3. 更好的可维护性
4. 预计运营商未来会出现一些复杂性

那么你认为使用自定义操作符比使用 python callable 的简单 pythonoperator 更好吗？

Answer 1

我会从一个可调用的 python 开始，以启动一些可以工作的小东西。或者您可以将其封装在 python 脚本/文件中，以便您可以在气流之外对其进行单元测试。这本身就是一种责任分离，将气流仅用于编排而不包含业务逻辑。