【问题标题】:How to parallelize using IAsyncEnumerable如何使用 IAsyncEnumerable 进行并行化
【发布时间】:2020-10-28 07:05:14
【问题描述】:

我有一种情况,我正在启动 Task-s,我希望他们的结果以某种方式尽快在数据结构中通过管道传输/排队,而不关心他们的顺序。

IAsyncEnumerable 适合这种情况吗?

public async Task BigMethod()
{
    Queue<int> queue = new Queue<int>();
    foreach (var item in RunJobsAsync())
    {
        queue.Enqueue(item);
    }
    //await foreach(var item in await RunIAsyncJobsAsync())
    // {
    //     queue.Enqueue(item);
    // }
    // [some more code]
}

没有IAsyncEnumerable

public async Task<IEnumerable<int> RunJobsAsync()
{    
    List<Task<int>> tasks = new List<Task<int>>();
    foreach(var x in Enumerable.Range(0,100))
    {
        tasks.Add(Task.Run(async()=> await someMethodAsync()));
    }
    await tasks.WhenAll(tasks);
    return tasks.Select(x=>x.Result);
}

IAsyncEnumerable

public async IAsyncEnumerable<int> RunIAsyncJobsAsync()
{
    foreach (var x in Enumerable.Range(0, 100))
    {
        yield return await Task.Run(async () => await someMethodAsync());
    }
}

IAsyncEnumerable 是否有任何性能提升,因为我最终希望在所有 async 调用完成之前不进一步使用算法,但我希望它们并行执行,而不是等待所有其中顺序,我想等待最长的完成。

P.S在这种情况下,我需要ConcurrentQueue/locking 吗?

【问题讨论】:

  • 您的 someMethodAsync 是否受 CPU 或 IO 限制?
  • 我认为两者都是,它从文件中读取(异步)并解析它。

标签: parallel-processing task-parallel-library c#-8.0 iasyncenumerable


【解决方案1】:

不,IAsyncEnumerable 不适合这种情况。由于在完成所有异步操作之前您不想进一步移动,因此您不会利用 IAsyncEnumerables 主要资产。即:一旦结果可用,就立即流式传输结果。返回Task&lt;IEnumerable&lt;int&gt;&gt;,甚至更好的是Task&lt;int[]&gt;,更简单、更可取。特别是如果您还想同时启动操作,这是IAsyncEnumerable 默认不做的事情,而是quite tricky 来实现。

【讨论】:

  • 我意识到我不需要尽快收集结果。我想我可以一路流式传输它们。
  • @BercoviciAdrian 我希望您有充分的理由采用流式方法,因为它会使您的应用程序相当复杂。您可能需要考虑缓冲容量、背压等问题。
猜你喜欢
  • 2020-08-03
  • 2021-04-30
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-12-03
  • 2019-10-24
  • 1970-01-01
  • 2013-07-16
相关资源
最近更新 更多