为什么我应该使用 Airflow Hook 而不是 Python SDK for DataStore？

Question

我的一些 Airflow 作业将使用 Google DataStore。从 Airflow 访问 DataStore 至少有两种明显的可能性：

• 使用谷歌python client library
• 使用Airflow Hook for DataStore interaction

python 库的使用在契约到钩子上要方便得多。它实现了人们需要的所有美好事物。钩子或多或少只是纯粹的 API 包装器。

但是，我想知道使用钩子而不是客户端库是否有一些优势。

Answer 1

首先让我指出您指的是旧版本的 Hook。更新版本可以在提供程序包here 中找到。有关如何安装它的说明，请参阅此answer。 然后你可以将钩子导入为：

from airflow.providers.google.cloud.hooks.datastore import DatastoreHook

更新后的版本可能包含旧版本的 contrib hook 中缺少的功能。

Hooks 的想法是包装 python 库，从而为您省去很多麻烦。例如：当您使用钩子时，您不需要处理设置连接。钩子会为你做到这一点。

您始终可以直接使用 python 库，但我认为这是一种不好的做法。在不同的用例中使用同一个库是很常见的 - Hook 可以与多个运算符一起使用，从而为您节省大量代码重复。

如果 Hook 中不存在 Python 库中的相关函数，您始终可以创建自定义 Hook - 从上游（开源）Hook 继承并使用它：

from airflow.providers.google.cloud.hooks.datastore import DatastoreHook
Class MyDatastoreHook(DatastoreHook)
      def missing_method(self):
          #wrap a function from the python lib
          conn = self.get_conn()
          function code