【问题标题】:Transactional job in Kettle Community EditionKettle 社区版中的事务性作业
【发布时间】:2016-09-05 07:06:03
【问题描述】:

使用:Pentaho Data Integration 5.4 Community Edition。

documentation 中有一个声明对作业级别的数据库事务进行了说明:

工作中的交易

从 PDI 5.0 版(企业版)开始,您还可以 启用与 工作。 “使作业数据库具有事务性” 选项位于 作业设置对话框的“设置”选项卡。

但这仅适用于 PDI 企业版。我需要 Community Edition 中的此功能。

我一直在尝试使用Transformation ExecutorsMapping transformations 在内部转换中执行此操作,但到目前为止没有成功。

对于一个小型流程,我最终在转换中使用了Blocking step,并使转换数据库事务

从更大的角度考虑,对于数据集市、数据仓库等的 ETL 流程,如果发生失败所有流程需要完全回滚,如何解决没有此功能的问题在 CE 中?

编辑:你们中的一些人可能偶然发现了这个问题,我想知道解决这个问题的不同方法是什么(不包括完整的数据库备份和恢复 - 这将永远需要大数据仓库等数据库)。

【问题讨论】:

    标签: transactions pentaho jobs kettle pentaho-data-integration


    【解决方案1】:

    您试用过 6.0 版吗?从“最新消息”页面:

    恢复作业数据库事务中的更改

    数据库连接可用于所有作业。这使提交 并在工作级别回滚。在此版本之前,这只是 可以通过转换来实现。

    不过,我不确定 CE 中是否提供该功能。

    如果做不到这一点,您可以使用低预算方法:在作业开始时,触发数据库备份。如果出现故障,请恢复备份。

    【讨论】:

    • 不幸的是,这仅适用于 Kettle 企业版。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-04-23
    相关资源
    最近更新 更多