1.基础数据的维护,基本都是人工实现

2.慢慢基于文件进行导入

3.专业的数据交换平台

=================================

Kettle:数据导入不是采取数据库模式,因为数据库要求无逻辑,所以基于逻辑抽取,也就是一个ETL的过程。

所以使用开源的Kettle工具:

  1.完善的UI

  2.优秀的代码组织结构

使用场景:

  BI里面的数据导入,也就是ODS层的数据导入

  ETL项目场景ETL项目场景

ETL项目场景

这仅仅是基于医疗BI的一些ETL设计,其实就是从一个数据库抽取到另一个数据库里面的过程,下面是通过Web实现的:

ETL项目场景

ETL项目场景ETL项目场景

最近接触的一些数据交换平台的实现机制,通过界面可以ETL思想在项目中的使用。

此处达到实时的数据抽取,可以借鉴Oracle的CDC,oracle GG、MySQL的主从复制的思想以及消息服务器

===================================

名词:

  ETL

  抽取

  校验

  映射

  抓取

  调度(定时,手工)

 

相关文章:

  • 2021-05-09
  • 2021-12-29
  • 2021-07-25
  • 2022-12-23
  • 2021-09-10
  • 2021-05-15
  • 2021-06-29
  • 2022-01-04
猜你喜欢
  • 2022-12-23
  • 2022-01-15
  • 2022-01-11
  • 2022-12-23
  • 2021-11-18
  • 2021-12-24
  • 2021-06-21
相关资源
相似解决方案