如何将动态数据从 prem sql server 复制到 azure 数据仓库

Question

我创建了一个链接服务，该服务从本地获取数据并将其存储到 azure blob，但我的数据是动态的，如何构建一个管道，将更新后的表放入 blob 并将该 blob 传输到azure 数据仓库，我需要这种方式，以便我的所有表都实时同步到 azure 数据仓库中。

Answer 1

您可能正在寻找的是将数据增量加载到您的数据仓库中。

下面描述的过程是documented here。它假定您将整个源表定期快照到 blobstorage 中。

1. 您需要选择一列来跟踪表中的更改。
   • 如果您只是追加而不更改现有行，则主键将完成这项工作。
   • 但是，如果您必须处理现有行中的更改，则需要一种方法来跟踪这些更改（例如，使用名为“timestamp-of-last-update”的列 - 或任何更好、更简洁的名称） .
     • 注意：如果您没有这样的列，您将无法跟踪更改，因此无法增量加载数据。
2. 对于给定的快照，我们对源表中添加或更新的行感兴趣。此内容称为与快照关联的 delta。一旦计算出增量，就可以使用调用存储过程的复制活动将其插入到您的表中。 Here您可以找到有关如何完成此操作的详细信息。
3. 假设选定列的值只会随着源表中行的添加/更新而增长，因此有必要通过快照跟踪其最大值。此跟踪值称为水印。 This page 描述了一种将水印持久保存到 SQL Server 中的方法。
4. 最后，您需要能够根据存储的最后一个水印计算给定快照的增量。 The basic idea is to select the rows where the elected column is greater than the stored watermark.您可以使用 SQL Server（如参考文档中所述）执行此操作，也可以使用 HDInsight 上的 Hive 执行此过滤。
5. 一旦将增量插入数据仓库，请不要忘记使用所选列的最大值更新水印。