通过 ICollector 向队列发送消息的 Azure WebJob 输出列表似乎很慢

Question

我有一个 Azure WebJob 循环遍历文件页面并处理它们。该作业还有一个输出队列的 ICollector：

[Queue("batch-pages-to-process")] ICollector<QueueMessageBatchPage> outputQueueMessage

在将所有内容发送到输出队列之前，我需要等到所有页面都处理完毕，因此我没有在文件处理循环中将每条消息添加到 ICollector，而是将消息添加到队列消息列表中：

List<QueueMessageBatchPage>

处理完所有页面后，我会遍历列表并将消息添加到 ICollector：

foreach (var m in outputMessages)
{
    outputQueueMessage.Add(m);
}

但最后一部分似乎需要很长时间。要添加 300 条队列消息，大约需要 50 秒。我没有太多可以衡量的，但这似乎很慢。这正常吗？

Answer 1

没有慢与快的客观标准可以提供给您，但有一些想法：

a) 排队时间的一部分将是每个 QueueMessageBatchPage 实例的序列化...其性能将与这些实例所代表的对象图的广度和深度成反比。更多的数据显然需要更多的时间来写入队列。

b) 我知道您提到在处理完所有文件行之前您不能写入队列，但如果可能的话，您可能会重新考虑该选择。在某种程度上，您可以并行处理文件中的行以及随后写入输出队列（使用多个 WebJob 实例或可能在单个 WebJob 实例中使用 TPL 任务），您可能会更快地完成这项工作。再一次，我意识到你事先声明你不能这样做，所以我只是建议你考虑这个选择的全部含义（如果你还没有的话）。

c) 另一种可能的方法...确保您的存储队列所在的区域与您的 WebJob 所在的区域相同，以最大限度地减少延迟。

祝你好运！