【问题标题】:How to log a talend job result?如何记录 talend 工作结果?
【发布时间】:2016-07-16 13:52:08
【问题描述】:

我们有许多 talend 作业将数据从 oracle (tOracleInput) 传输到 redshift (tRedshiftOutputBulkExec)。我想将结果信息存储到数据库表中。例如: 作业名称、开始时间、运行时间、加载的行数、成功或失败

我知道如果我打开 log4j,大部分信息都可以从日志中得出。但是,将其保存到 DB 表中将便于检查和报告结果。

我对加载的记录最感兴趣。我检查了这个链接http://www.talendbyexample.com/talend-logs-and-errors-component-reference.html 和 tRedshiftOutputBulkExec 的手册。他们都没有给我这样的信息。

Talend Administration Center 会提供这样的功能吗?最好的实现方式是什么?

谢谢,

【问题讨论】:

  • 下面的答案是否足够?如果有,请点赞。如果没有,请告诉我如何进一步帮助您。提前致谢。

标签: talend


【解决方案1】:

查看您提供的 URL 后,tLogCatcher 应该会为您提供所需的内容(减去加载的行,您可以通过查找获得)。

【讨论】:

    【解决方案2】:

    我从 Talend Studio 版本 6.4.1 开始。在那里您可以为工作设置“统计和日志”。它可以登录到控制台、文件或数据库。写入数据库时​​,您需要设置 JDBC 参数和三个表的名称:

    • 统计表:存储作业的开始和结束时间戳
    • 日志表:存储错误消息
    • 计量表:存储每个监控流的行数

    它们对应于组件 tStatCatcher、tLogCatcher、tFlowMeterCatcher,您可以在其中找到所需的表架构。

    要使流量受监控,请选择它,打开选项卡“组件”并选中复选框“监控此连接”。

    要查看记录的值,您可以使用 Studio 或 TAC 中的“AMC”(活动监控控制台)。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-08-24
      • 1970-01-01
      • 2012-01-29
      • 1970-01-01
      相关资源
      最近更新 更多