散列/分片动作块

Question

我需要并行处理某些项目，因此我使用的是TPL Dataflow。问题是共享相同键的项目（类似于字典）应该以先进先出的顺序处理，而不是彼此并行（它们可以与具有不同值的其他项目并行）。

正在完成的工作非常受 CPU 限制，并且异步锁最少，因此我的解决方案是创建一个大小为 Environment.ProcessorCount 的 ActionBlock<T>s 数组，没有并行性，并根据密钥的 GetHashCode 值发布给它们。

创作：

_actionBlocks = new ActionBlock<Item>[Environment.ProcessorCount];
for (int i = 0; i < _actionBlocks.Length; i++)
{
    _actionBlocks[i] = new ActionBlock<Item>(_ => ProcessItemAsync(_));
}

用法：

bool ProcessItem(Key key, Item item)
{
    var actionBlock = _actionBlocks[(uint)key.GetHashCode() % _actionBlocks.Length];
    return actionBlock.Post(item);
}

所以，我的问题是，这是解决我问题的最佳方法吗？我会损害性能/可扩展性吗？我错过了什么吗？

Answer 1

我认为你的方法是合理的，假设你知道哈希码会很好地分布。

如果您想更好地防止不良分布，您可以使用更多数量的ActionBlocks，同时通过使用所有块共享的单个自定义TaskScheduler 来限制它们的总并发级别。你可以找到这样的调度器in ParallelExtensionsExtras或on MSDN。