【问题标题】:Azure Data Lake Storage Gen2 (ADLS Gen2) as a data source for Kedro pipelineAzure Data Lake Storage Gen2 (ADLS Gen2) 作为 Kedro 管道的数据源
【发布时间】:2021-11-12 09:23:40
【问题描述】:

根据 Kedro 的 documentation,Azure Blob 存储是可用的数据源之一。这会扩展到 ADLS Gen2 吗?

还没有尝试过 Kedro,但在我投入一些时间之前,我想确保我可以连接到 ADLS Gen2。

提前谢谢你!

【问题讨论】:

    标签: python kedro mlops


    【解决方案1】:

    是的,这适用于 Kedro。您实际上指的是文档的一个非常旧的版本,现在 Kedro 中所有基于文件系统的数据集在底层都使用 fsspec,这意味着它们可以与 S3、HDFS、本地和更多文件系统无缝协作。

    ffspec 通过底层的adlfs 库(即documented here)支持 ADLS Gen2。

    从 Kedro 的角度来看,您需要做的就是像这样声明您的目录条目:

     motorbikes:
         type: pandas.CSVDataSet
         filepath: abfs://your_bucket/data/02_intermediate/company/motorbikes.csv
         credentials: dev_az
    

    我们还有更多示例here,尤其是示例 15。

    【讨论】:

      猜你喜欢
      • 2020-12-01
      • 2019-09-10
      • 2020-01-01
      • 2020-01-13
      • 2021-09-14
      • 1970-01-01
      • 2021-11-10
      • 2020-07-21
      • 2019-12-02
      相关资源
      最近更新 更多