【发布时间】:2017-10-09 10:18:39
【问题描述】:
我想使用 Pentaho 将数据从 Oracle/MySQL 迁移到 Cassandra。有没有人完成这个任务?
我想知道如何迁移数据的完整方法以及迁移数据的前提条件是什么?
【问题讨论】:
标签: mysql oracle cassandra pentaho migrate
我想使用 Pentaho 将数据从 Oracle/MySQL 迁移到 Cassandra。有没有人完成这个任务?
我想知道如何迁移数据的完整方法以及迁移数据的前提条件是什么?
【问题讨论】:
标签: mysql oracle cassandra pentaho migrate
这在很大程度上取决于计划的数据重组水平。
如果您的目标只是更改底层 DBMS,并且可以复制/粘贴表,那么您有一个名为 Copy Tables(复数)的 Wizard(菜单 Tools),它将询问您的输入和输出连接并创建所有需要的东西(SQL 创建脚本、每个表一个转换、一个执行一组转换的作业)。
它不适用于您的情况,因为 Cassandra 不是 sql 数据库。但是,它会为您提供一个框架,您必须在其中将所有 Output tables 替换为 Cassandra output,这样您就可以在插入行之前一键执行 CQL。
但那是理论。不是因为技术问题,而是因为这样的迁移需要更改数据模型,如果您对业务不是很熟悉,这很难猜到。
因此,开始迁移具有最少外键的表,并向您的老板/客户询问反馈。然后移动到下一张桌子,依此类推。始终选择没有外键且尚未移动的表,并检查(记录计数)并向用户询问反馈。您很快就会被要求更改数据结构。
另请注意,如果 Oracle/MySQL 数据库处于生产状态,则数据每天都在变化。因此,不要丢弃您的 ETL,而是将它们包含在单个 Job 中,以便您只需单击即可重新加载新数据。
【讨论】: