使用 azure blob 存储设置 DAGS 和插件

【问题标题】：Setting up DAGS and Plugins with azure blob storage使用 azure blob 存储设置 DAGS 和插件
【发布时间】：2019-09-03 17:27:16
【问题描述】：

有没有办法配置气流以与 DAGS 和 PLUGINS 文件夹的 microsoft azure blob 存储通信

对于 celery 模式，希望将这些存储在 BLOB 存储中，而不是本地共享文件夹中。

气流版本：1.10.0

配置tyoe：芹菜执行器

//Directory for log storage.
airflow_logs_dir: "/var/log/airflow"

//Location of Airflow plugins.
airflow_plugins_dir: "/usr/local/src/airflow/plugins"

【问题讨论】：

标签： config airflow azure-blob-storage

【解决方案1】：

此 apache 气流 Python API 参考展示了如何与 Azure Blob 存储集成：Microsoft Azure。

模块内容可以参考这个页面：airflow.contrib.operators.file_to_wasb。该模块用于将文件上传到 Azure Blob 存储。

如果您需要示例代码，可以参考file_to_wasb.py。

【讨论】：

嗨 George，这可用于开发人员使用的自定义 DAGS，但不是气流配置和安装的一部分。
我看到一个使用 blobfuse 的选项，必须尝试在气流配置中使用它docs.microsoft.com/en-us/azure/storage/blobs/…
是否有适当的示例如何在 Azure Blob Upload 上触发 dag ？我查看了airflow.contrib.sensors.wasb_sensor.WasbBlobSensor，但不确定如何在 blob 上传时将其用于trigger dag tasks..