将关系数据中间存储到 Azure Data Lake答案

【问题标题】：Intermediate storage of the relational data into Azure Data Lake将关系数据中间存储到 Azure Data Lake
【发布时间】：2021-09-15 11:34:16
【问题描述】：

给定一组本地关系数据库 (SQL Server)，是否值得在处理到 Azure Synapse 之前将数据保存到 Azure Data Lake？

如果是，传输数据的选项有哪些？我已经看到 BCP/azcopy 作为替代方案，但还有其他选择吗？

【问题讨论】：

真的没有办法回答这个问题，因为它是在征求意见（就像你关于使用数据湖的另一个问题一样，here。我建议阅读数据湖和热路径/cold-path 数据处理。然后，在遇到问题时发布具体问题。此外：除了关于使用 Data Lake 的广泛/基于意见的问题外，您还提出了一个关于传输数据的通用问题（到 Data Lake？ Synapse？）。推荐问题是题外话。Data Lake 和 Synapse 都有大量文档 - 我建议从那里开始。

【解决方案1】：

给定一组本地关系数据库 (SQL Server)，是值得在处理之前将数据保存到 Azure Data Lake Azure 突触？

这取决于用例，但由于此时数据是在前提下的，您已经在计算服务器空间上进行了投资，但是如果您是未来派并考虑您将占用多少计算和服务器空间，然后转移到 ADLS 会产生更多的 snse 。此外，使用 Synapse，您将为您运行的查询付费。

您提到了 BCP，我怀疑这是否会有所帮助，您可以使用 Azure 数据工厂、azcopy 等。

【讨论】：