Kedro：如何将目录中的多个相同数据作为节点输入传递？

【问题标题】：Kedro: How to pass multiple same data from a directory as a node input?Kedro：如何将目录中的多个相同数据作为节点输入传递？
【发布时间】：2019-11-19 09:52:29
【问题描述】：

我有一个目录，其中包含相同数据格式的多个文件（每天 1 个文件）。这就像一个数据拆分成多个文件。

是否可以在不指定每个文件的情况下将所有文件传递给 Kedro 节点？那么它们都是根据跑步者顺序或并行处理的吗？

【问题讨论】：

  • 你在 24 秒内回答了你自己的问题 :D 为什么是这个问题
  • 我只是分享一个经常被问到的问题，所以人们可以通过谷歌搜索找到答案:)

标签： python kedro


【解决方案1】：
  1. 如果文件数量较少且固定，您可以考虑手动为每个文件创建这些预处理管道。
  2. 如果文件数量很大/动态，您可以通过编程方式为每个文件创建管道定义，然后将它们全部添加到一起。同样可能适用于所需数据集的编程创建。
  3. 另一种选择是在第一个节点中读取所有文件一次，将它们全部连接到一个数据集中，并让所有连续的 preproc 节点使用该数据集（或其派生数据）作为输入

【讨论】：

  • 你们有没有考虑在文档或其他地方设置一些“模式目录”部分或“食谱”部分？
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2022-12-21
  • 1970-01-01
  • 2021-04-12
相关资源
最近更新 更多
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode