一、数据同步策略的类型包括:全量表,增量表,新增及变化表

1、全量表:存储完整的数据

2、增量表:存储新增加的数据

3、新增及变化表:存储新增加的数据和变化的数据

4、特殊表:只需要存储一次的数据

二、全量同步策略

全量同步策略:

每日全量,就是每天存储一份完整的数据,作为一个分区

适用于表中数据量很小,每天可能会有数据新增或者数据修改的情形。

增量同步策略:

每日增量,就是每天存储一份增量数据,,作为一个分区

适用于数据量大,每天都会向表中新增数据的场景(支付流水表)

新增和变化同步策略:

每日新增及变化,就是村塾创建时间和操作时间都是今天的数据

适用于数据量大,每天不仅会新增数据,还会有历史数据发生变化(订单表,用户表)

特殊策略:

某些特殊的维度表,可不必遵循上述同步策略

例如:地区表,省份表,日期表,可以只导入一次即可

 

相关文章:

  • 2021-07-19
  • 2022-12-23
  • 2022-01-24
  • 2021-08-30
  • 2022-03-08
  • 2021-06-02
  • 2021-12-05
猜你喜欢
  • 2021-09-28
  • 2021-07-22
  • 2021-05-13
  • 2021-06-12
  • 2022-12-23
  • 2022-12-23
  • 2021-12-22
相关资源
相似解决方案