长时间运行的存储过程而不保持与 Azure 数据库的连接

Question

为了将原始表中的数据加载到 Azure 数据库中的星型模式（事实 - 维度）中，我们运行了很长时间的存储过程来执行 ETL 工作。

此存储过程需要大约 10 到 20 小时运行超过 1000 万行（使用 MERGE 语句）。

目前，我们从 C# 代码 (ADO.NET) 运行存储过程，并保持 CommandTimeout = 0（永远）。但有时会因为与 Azure 数据库的连接不稳定而断开连接。

是否可以在不保持连接一直打开的情况下在数据库级别运行存储过程，然后将存储过程的过程记录在进度表中以跟踪进度？

我看到了一些建议：

1. 代理作业，在 Azure 数据库上似乎不可能，因为它目前不支持。

2. SqlCommand.BeginExecuteNonQuery：我不确定 100% BeginExecuteNonQuery 是否仍然在引擎盖下保持连接打开。

还有其他方法吗？

Answer 1

您可以使用 Azure 自动化运行手册。

https://azure.microsoft.com/en-us/blog/azure-automation-your-sql-agent-in-the-cloud/?cdn=disable

https://gallery.technet.microsoft.com/scriptcenter/How-to-use-a-SQL-Command-be77f9d2

https://azure.microsoft.com/en-us/blog/azure-automation-runbook-management/?cdn=disable

http://www.sqlservercentral.com/articles/Azure+SQL+database/117804/

希望这会有所帮助。

问候，

阿尔贝托·莫里洛

Answer 2

Azure 数据工厂有一个 Stored Procedure task 可以做到这一点。它在policy 部分中有一个timeout 属性，这是可选的。如果你忽略它，它默认为无限：

"policy": {
           "concurrency": 1,
           "retry": 3
           },

如果您在创建活动时将超时指定为 0，那么当您在门户中配置任务时，您会看到它消失。您也可以尝试指定 1 天（24 小时）的超时时间，例如 "timeout": "1.00:00:00"，尽管我没有正确测试它的超时时间。

您也可以在连接字符串中将超时设置为 0，尽管我还没有测试过这个选项，例如

{
  "name": "AzureSqlLinkedService",
  "properties": {
    "type": "AzureSqlDatabase",
    "typeProperties": {
      "connectionString": "Server=tcp:<servername>.database.windows.net,1433;Database=<databasename>;User ID=<username>@<servername>;Password=<password>;Trusted_Connection=False;Encrypt=True;Connection Timeout=0"
    }
  }
}

我认为这比 Azure 自动化更简单，但这是个人选择。不妨试试这两个选项，看看哪个最适合你。

我同意其他一些关于 MERGE 记录的时间太长的内容。我怀疑您的表没有适当的索引来支持MERGE，或者您运行的服务层太低。您在哪个服务层上运行，例如 Basic、Standard、Premium (P1-P15)。考虑对表的 DDL 提出一个单独的问题，包括索引和一些示例数据、MERGE 语句和服务层，我相信这可以更快。

作为测试/快速修复，您始终可以将 MERGE 重构为适当的 INSERT / UPDATE / DELETE - 我敢打赌它会更快。让我们知道。

Azure 数据工厂和 Azure 数据库之间的连接应该是稳定的。如果不是，您可以提出支持票。然而，对于云架构（实际上是任何架构），您需要做出良好的设计决策，以应对出现问题的可能性。这意味着在架构上，您必须针对连接断开或作业失败的可能性进行设计。示例是确保您的工作可以从故障点重新启动，确保错误报告良好等。

此外，根据经验，鉴于您的数据量（我认为数据量较低），这项工作需要的时间太长了。它或设计一定有问题。我强烈建议您尝试解决此问题。