Azure WebJob 未处理所有 Blob

Question

我将压缩后的文件上传到 Azure 存储容器（输入）。然后我有一个 WebJob 应该拾取 Blob，解压缩它们并将它们放入另一个容器（输出）。两个容器使用相同的存储帐户。

我的问题是它不能处理所有 Blob。它似乎总是错过 1。今天早上，我将 11 个 blob 上传到输入容器，只有 10 个被处理并转储到输出容器中。如果我上传 4 则 3 将被处理。即使已上传 11 个 blob，仪表板仍将显示 10 次调用。看起来它不会被第 11 个 blob 触发。如果我只上传 1 个，它似乎会处理它。

我在标准模式下运行网站，并将 Always On 设置为 true。

我试过了：

• 编写类似于 Azure 示例 (https://github.com/Azure/azure-webjobs-sdk-samples) 的代码。
• 按照本文中的代码编写代码 (http://azure.microsoft.com/en-us/documentation/articles/websites-dotnet-webjobs-sdk-get-started)。
• 使用 Streams 代替 CloudBlockBlobs 进行输入和输出。
• 关闭输入、输出和 Gzip 流的各种组合。
• 在 Unzip 方法中包含 UnzipData 代码。

这是我最新的代码。我做错了吗？

public class Functions
    {
        public static void Unzip(
            [BlobTrigger("input/{name}.gz")] CloudBlockBlob inputBlob,
            [Blob("output/{name}")] CloudBlockBlob outputBlob)
        {
            using (Stream input = inputBlob.OpenRead())
            {
                using (Stream output = outputBlob.OpenWrite())
                {
                    UnzipData(input, output);
                }
            }
        }

        public static void UnzipData(Stream input, Stream output)
        {
            GZipStream gzippedStream = null;

            gzippedStream = new GZipStream(input, CompressionMode.Decompress);
            gzippedStream.CopyTo(output);            
        }
    }

Answer 1

根据上面 Victor 的评论，这似乎是微软的一个错误。

编辑：我没有得到反对票。存在问题，Microsoft 将修复它。这就是为什么我的一些 blob 被忽略的答案......

“有一个关于某些存储日志事件被忽略的已知问题。这些事件通常是为大文件生成的。我们有一个修复程序，但它尚未公开。抱歉给您带来不便。- Victor Hurdugaci 1 月 9 日12:23"

Answer 2

作为一种解决方法，如果您不直接收听 Blob 而是在中间带一个 Queue，当您写入 Input Blob Container 时，还要写一条关于队列中新 Blob 的消息，让WebJob 监听这个 Queue，一旦有消息到达 Queue ，WebJob Function 从 Input Blob Container 中读取 File 并复制到 Output Blob Container 中。 这个模型适合你吗？