【发布时间】：2021-11-03 14:30:11
【问题描述】：
我们正在使用 ADF 的复制活动将 100+GB 的文件加载到 Azure 数据资源管理器中，这需要 13 多个小时。
是否有任何最佳实践可以在合理的时间范围内进行加载？
【问题讨论】：
【发布时间】：2021-11-03 14:30:11
【问题描述】：
数据的来源是什么？如果它是 Azure 存储并且少于 5,000 个 blob/文件，请使用 1click 从存储中摄取数据 - https://docs.microsoft.com/en-us/azure/data-explorer/one-click-ingestion-new-table 如果有超过 5000 个 blob/文件 = 请使用摄取历史数据到 ADX - https://docs.microsoft.com/en-us/azure/data-explorer/generate-lightingest-command
【讨论】：
-
数据来源为ADLS Gen1/2，为文本文件。
你可以把它分成两个活动：
- 使用 ADF 将此文件分解为大小约为 1GB 的文件，然后将它们写入 Azure 存储上的容器中。
- 使用其他活动或使用上述答案中的方法，将它们引入 Azure 数据资源管理器。
也欢迎您打开支持票，因为当前行为看起来不对。
【讨论】：
-
如果您使用 ADF 将 100GB 的文件拆分为更小的文件（小于 1GB），请考虑在之后使用一键提取文件。 docs.microsoft.com/en-us/azure/data-explorer/…