增加要在 Azure 数据资源管理器（ADX、Kusto）中引入的最大文件大小答案

【问题标题】：Increase the maximum file size to be ingested in the Azure Data Explorer (ADX, Kusto)增加要在 Azure 数据资源管理器（ADX、Kusto）中引入的最大文件大小
【发布时间】：2020-04-18 01:56:20
【问题描述】：

我目前正在将多个 TB 数据摄取到 Azure 数据资源管理器集群（ADX aka Kusto DB）的数据库中。总的来说，我迭代了大约 30k 个文件。其中一些只有几 kB，但有些则高达 GB。

对于一些大文件，由于它们的文件大小，我遇到了错误：

FailureMessage(
    {
        ...
        "Details":"Blob size in bytes: '4460639075' has exceeded the size limit allowed for ingestion ('4294967296' B)",
        "ErrorCode":"BadRequest_FileTooLarge",
        "FailureStatus":"Permanent",
        "OriginatesFromUpdatePolicy":false,
        "ShouldRetry":false
    })

我可以做些什么来增加允许的摄取大小？

【问题讨论】：

标签： azure azure-data-explorer

【解决方案1】：

有一个不可配置的 4GB 限制。

您应该拆分源文件（理想情况下，每个文件都有 100MB-1GB 的未压缩数据）。

见：https://docs.microsoft.com/en-us/azure/data-explorer/kusto/api/netfx/kusto-ingest-best-practices#optimizing-for-throughput

【讨论】：

嗯，这很不幸。我的文件被压缩（gzip），但超过了这个 4GB 的阈值。然后解压缩会将它们炸毁约 20 倍。说到压缩数据的TB，这似乎不合适。
ADX 摄取限制与未压缩数据大小有关，因此如果您的压缩超过 4GB，我们就会遇到问题。即使您能够覆盖大小限制，该摄取操作也会耗尽内存或超时。