检测增量记录以进行夜间捕获？

Question

我有一个现有的 HANA 仓库，它是在没有创建/更新时间戳的情况下构建的。我需要生成一些夜间批处理增量文件以发送到另一个平台。我的问题是如何检测哪些记录是新的或更改的，以便我可以在复制过程中捕获这些记录。

有没有办法使用 HANA 的内置功能来检测新的/更改的记录？

Answer 1

SAP HANA 不提供用于表的通用变更数据捕获接口（截至当前版本 HANA 2 SPS 02）。
这意味着，要检测“自给定时间点以来更改的记录”，必须采取一些其他方法。

根据表格中的信息，可以使用不同的选项：

• 如果表显式包含对上次更改时间的引用，则可以使用它
• 如果表具有保证更新特性（例如，没有就地更新和单调 ID 值），则可以使用它。例如。 读取 ID 大于最后处理的 ID 的所有记录
• 如果表格不提供有关更改时间的内在信息，则可以维护一份表格副本，其中包含 只有到目前为止处理的记录。然后可以使用此副本 比较当前表并计算差异。 SAP HANA 的 智能数据集成 (SDI) 流程图支持这种方法。

根据我的经验，在这个看似简单的增量负载问题上尝试“节省时间和金钱”通常比使用相应功能更复杂、更耗时且更昂贵ETL 工具。

Answer 2

可以根据您的需要创建日志表并组织列，以便通过在数据库表上创建触发器，您可以创建带有时间戳值的日志记录。然后，您可以查询您的日志表，以确定从源表中插入、更新或删除了哪些记录。

例如，以下来自我的一个测试触发代码

CREATE TRIGGER "A00077387"."SALARY_A_UPD" AFTER UPDATE ON "A00077387"."SALARY" REFERENCING OLD ROW MYOLDROW,
     NEW ROW MYNEWROW FOR EACH ROW 
begin INSERT 
INTO SalaryLog ( Employee,
     Salary,
     Operation,
     DateTime ) VALUES ( :mynewrow.Employee,
     :mynewrow.Salary,
     'U',
     CURRENT_DATE )
;

end
;

您可以创建类似于 AFTER UPDATE 的 AFTER INSERT 和 AFTER DELETE 触发器

您可以组织您的日志表，以便只要保留表名、PK 字段和值、操作类型、时间戳值等，就可以跟踪多个表。 但是为每个表使用单独的 Log 表会更好也更容易。