如何将许多 CSV 文件添加到 Kedro 的目录中？答案

【问题标题】：How do I add many CSV files to the catalog in Kedro?如何将许多 CSV 文件添加到 Kedro 的目录中？
【发布时间】：2020-05-06 21:05:45
【问题描述】：

我有数百个 CSV 文件，我想以类似方式处理它们。为简单起见，我们可以假设它们都在./data/01_raw/（如./data/01_raw/1.csv、./data/02_raw/2.csv）等中。我宁愿不给每个文件一个不同的名称，并在构建我的管道时单独跟踪它们。我想知道是否有任何方法可以通过在catalog.yml 文件中指定某些内容来批量读取所有这些内容？

【问题讨论】：

标签： python kedro

【解决方案1】：

您正在寻找PartitionedDataSet。在您的示例中，catalog.yml 可能如下所示：

my_partitioned_dataset:
  type: "PartitionedDataSet"
  path: "data/01_raw"
  dataset: "pandas.CSVDataSet"

【讨论】：