【问题标题】:Incremental data processing for file in talendtalend中文件的增量数据处理
【发布时间】:2020-08-29 11:51:20
【问题描述】:

当您没有数据库或任何东西来记录以前的执行时间戳时,您如何管理增量数据处理? 我们可以使用 tAddCRCRow 组件吗?但是,当源和目标都只是文件的集合时,它怎么会知道这些数据是否已经经过特殊处理?

谢谢。

【问题讨论】:

    标签: etl talend


    【解决方案1】:

    您必须将目标文件用作查找并识别现有值。这将帮助您解决问题。

    如果是文件,您必须使用多个文件作为查找。或者创建一个单独的表来保存所有文件的唯一值并将其用作查找

    【讨论】:

    • 非常感谢@Jim Macaulay 的回复。我的目标是文件集合,而不是单个文件。
    • 那么你必须使用多个文件作为查找。或者创建一个单独的表来保存所有文件的唯一值并将其用作查找
    • 谢谢@Jim Macaulay,我从您的回复中得到了一个想法。我可以使用 tUnite 从目标的所有文件创建单个文件,并且可以使用 tUnite 的输出作为查找,对吗?
    • 是的,您也可以这样做。但是请在应用逻辑时考虑性能。如果您对答案感到满意,请点赞
    猜你喜欢
    • 2016-07-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-16
    • 1970-01-01
    • 2018-07-03
    相关资源
    最近更新 更多