【问题标题】:Talend, combine tWaitForFile and tFileListTalend,结合 tWaitForFile 和 tFileList
【发布时间】:2016-04-14 04:07:40
【问题描述】:

我在 Talend 方面不是很先进,而且我有一份由 Talend 专家开发的工作,其中有一个我无法理解的技巧,这是工作的棘手开始: The tricky beginning

该作业会处理指定文件夹中存在的任何文件,有一个生产者进程不断将文件写入文件夹,因此它必须处理已经存在的文件并创建任何新文件,文件数量为这么大,目标系统是Linux。

我不明白为什么他使用 tFileList 而他只能使用 tWaitForFile,它可以检索现有的和以后创建的文件。

诚挚的。

【问题讨论】:

  • 这似乎很主观,我不确定您在这里寻找什么样的客观答案。如果该工作正在做我认为的那样,然后等待文件到达文件夹中,然后抓取该文件夹中的所有内容并处理它,而不仅仅是最近的文件。我冒险猜测它会过滤掉看起来很愚蠢的旧文件。我对your previous question 的旧回答应该向您展示如何为此目的设置工作。

标签: etl talend


【解决方案1】:

你是对的,tFileList 或 tWaitForFile 组件足以处理现有文件和新创建的文件。但是,如果您发布两个组件的工作设计或组件属性详细信息,那么它将有助于回答您的问题。

【讨论】:

    【解决方案2】:

    TWaitForFile 用于在有文件时开始文件处理,该作业应连续运行但不执行任何操作,直到 TWaitForFile 检测到目录中的文件,它只是一个基于文件的触发器,用作企业版触发器功能的替代方案。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多