【问题标题】:Migration of data from SQL/Oracle to Cassandra using Pentaho使用 Pentaho 将数据从 SQL/Oracle 迁移到 Cassandra
【发布时间】:2017-10-09 10:18:39
【问题描述】:

我想使用 Pentaho 将数据从 Oracle/MySQL 迁移到 Cassandra。有没有人完成这个任务?

我想知道如何迁移数据的完整方法以及迁移数据的前提条件是什么?

【问题讨论】:

    标签: mysql oracle cassandra pentaho migrate


    【解决方案1】:

    这在很大程度上取决于计划的数据重组水平。

    如果您的目标只是更改底层 DBMS,并且可以复制/粘贴表,那么您有一个名为 Copy Tables(复数)的 Wizard(菜单 Tools),它将询问您的输入和输出连接并创建所有需要的东西(SQL 创建脚本、每个表一个转换、一个执行一组转换的作业)。

    它不适用于您的情况,因为 Cassandra 不是 sql 数据库。但是,它会为您提供一个框架,您必须在其中将所有 Output tables 替换为 Cassandra output,这样您就可以在插入行之前一键执行 CQL。

    但那是理论。不是因为技术问题,而是因为这样的迁移需要更改数据模型,如果您对业务不是很熟悉,这很难猜到。

    因此,开始迁移具有最少外键的表,并向您的老板/客户询问反馈。然后移动到下一张桌子,依此类推。始终选择没有外键且尚未移动的表,并检查(记录计数)并向用户询问反馈。您很快就会被要求更改数据结构。

    另请注意,如果 Oracle/MySQL 数据库处于生产状态,则数据每天都在变化。因此,不要丢弃您的 ETL,而是将它们包含在单个 Job 中,以便您只需单击即可重新加载新数据。

    【讨论】:

      猜你喜欢
      • 2013-11-28
      • 1970-01-01
      • 2021-08-21
      • 2018-08-01
      • 1970-01-01
      • 2012-10-19
      • 1970-01-01
      • 2012-11-16
      • 2017-11-16
      相关资源
      最近更新 更多