将 DocumentDB 集合移动到 Azure Data Lake Storage答案

【问题标题】：Moving a DocumentDB Collection to Azure Data Lake Storage将 DocumentDB 集合移动到 Azure Data Lake Storage
【发布时间】：2017-10-03 03:57:52
【问题描述】：

我想知道将 documentDB 移动到 Azure Data Lake Storage 的最佳做法是什么。我应该为集合中的每个文档创建一个文件还是移动整个文档数据库？我也没有找到太多关于如何使用 U-SQL 访问 documentDB 的信息？

我们将不胜感激。

【问题讨论】：

我想我需要问你为什么要这样做？ DocDB 和 ADL 是用于不同目的的不同工具。这是一个永久的举动。或者您只是想将数据复制到 ADL 以进行报告？如果是这样，您是否考虑过在数据湖分析服务中使用表？
为了简化它，我有许多发送到 ADL 的日志文件。我还有一个文档数据库，其中包含每个文件的附加信息（不要问我为什么，但这就是它的设置方式）。所以每个日志文件都有一个匹配的 documentdb 文档。 documentDB 作为 json 文件存储在 ADL 中。我可以查询 json 文件，但似乎我不能将它存储为 documentDB 并直接查询它（这会更好作为它的索引）。

标签： azure azure-data-factory azure-data-lake u-sql

【解决方案1】：

您目前无法使用 U-SQL 访问 DocumentDB（或现在称为 CosmosDB）中的数据。有一个功能请求here。请随时添加您的投票。

如果您移动数据，组织取决于您希望如何管理数据（删除全部还是仅部分？），数据的结构（将相似的结构化数据放在同一文件或同一文件夹中）以及您如何使用它（总是需要全部？还是只需要部分？）以及什么可以为您提供访问它的最佳性能（较大的文件通常更好，但如果它们是 JSON，还要确保提取过程有效）。

【讨论】：

【解决方案2】：

您可以使用 Azure 数据工厂连接到 Document DB 并将数据存储在 Data Lake 上。之后，您可以使用 U-SQL 直接从 Data Lake 查询数据。

【讨论】：