如何加载到 Azure Blob 中存储为 JSON 的 Azure SQL 数据仓库数据？答案

【问题标题】：How to load to Azure SQL Data Warehouse data stored as JSON in Azure Blobs?如何加载到 Azure Blob 中存储为 JSON 的 Azure SQL 数据仓库数据？
【发布时间】：2016-03-15 02:28:43
【问题描述】：

我在 Azure Blob 中以 JSON 文件的形式存储了一堆数据。我想将它们加载到 Azure SQL 数据仓库，但 Azure SQL 数据仓库似乎不接受 JSON 输入文件。

最好的方法是什么？

我研究过的解决方案：

1) 将 Azure 数据工厂与自定义活动一起使用（例如https://github.com/Azure/azure-content/blob/master/articles/data-factory/data-factory-use-custom-activities.md）但是为此旋转 HDInsight 集群似乎有点“开销”（而且我更喜欢使用 JavaScript 而不是 C# 解决方案）。

2) 编写 Azure api-app（或自定义代码）将文件转换为 CSV，然后编写外部表脚本将其上传到 Azure SQL 数据仓库，然后删除 CSV 文件。我不确定是否需要保留此 CSV 文件以供日后使用。

有更好的建议吗？

【问题讨论】：

如果您希望 Polybase 支持 JSON，请在 Azure 的客户反馈页面上投票：feedback.azure.com/forums/34192--general-feedback/suggestions/…
Azure SQL DW 现在支持 JSON 函数，因此您不必利用其他服务来加载此数据，具体取决于 blob 存储中文件的格式以及 Polybase 是否可以查询它们：azure.microsoft.com/en-us/updates/…

标签： json csv azure azure-sqldw azure-data-factory

【解决方案1】：

您可以使用 Azure 数据工厂将 json blob 数据转换为 csv，然后插入 Azure SQL 数据仓库。

您的管道将有一个复制活动、一个 json AzureBlob 数据集和一个 AzureSqlDWTable。

将a column mapping with translator rules 添加到复制活动很重要。

【讨论】：

【解决方案2】：

我更喜欢第二种选择。 Azure Web 作业似乎是一个不错的选择。它在与 Web 应用程序相同的环境中工作。您可以压缩一个包含控制台应用程序、PowerShell 脚本或 bash 脚本及其依赖项的文件夹，并将其安排为批处理或连续运行。如果您使用 C#，您甚至可以利用 Azure SDK 1.1 将 blob 作为流处理：https://azure.microsoft.com/en-us/documentation/articles/websites-dotnet-webjobs-sdk-storage-blobs-how-to/

【讨论】：