【发布时间】:2021-11-12 09:23:40
【问题描述】:
根据 Kedro 的 documentation,Azure Blob 存储是可用的数据源之一。这会扩展到 ADLS Gen2 吗?
还没有尝试过 Kedro,但在我投入一些时间之前,我想确保我可以连接到 ADLS Gen2。
提前谢谢你!
【问题讨论】:
根据 Kedro 的 documentation,Azure Blob 存储是可用的数据源之一。这会扩展到 ADLS Gen2 吗?
还没有尝试过 Kedro,但在我投入一些时间之前,我想确保我可以连接到 ADLS Gen2。
提前谢谢你!
【问题讨论】:
是的,这适用于 Kedro。您实际上指的是文档的一个非常旧的版本,现在 Kedro 中所有基于文件系统的数据集在底层都使用 fsspec,这意味着它们可以与 S3、HDFS、本地和更多文件系统无缝协作。
ffspec 通过底层的adlfs 库(即documented here)支持 ADLS Gen2。
从 Kedro 的角度来看,您需要做的就是像这样声明您的目录条目:
motorbikes:
type: pandas.CSVDataSet
filepath: abfs://your_bucket/data/02_intermediate/company/motorbikes.csv
credentials: dev_az
我们还有更多示例here,尤其是示例 15。
【讨论】: