如何从多个网站异步获取数据，并将它们添加到集合中？

Question

我正在尝试同时调用许多不同的 Web 服务并聚合数据。

我的意图是为每个网络调用创建一个任务，将一个共享容器传递给每个任务，并将每个调用的数据存储在容器中。只要我能从每个网络调用中获取数据到共享容器中，我就很高兴。

我已经创建了一个我正在尝试做的示例 - 但是，它有时会崩溃并在 Task.WaitAll 行上出现异常：“发生一个或多个错误。（源数组不够长。检查源索引、长度和数组的下限。 参数名称：sourceArray)"。

我不熟悉使用异步/等待和多线程。

using System;
using System.Collections.Generic;
using System.Net.Http;
using System.Threading.Tasks;
using System.Linq;

namespace ConsoleApp1
{
    class Program
    {
        static void Main(string[] args)
        {
            Console.WriteLine("Starting tasks...");
            List<Task> tasks = new List<Task>();
            List<char> container = new List<char>();
            for (int i = 0; i < 80; i++)
            {
                tasks.Add(LongTask(container));
            }
            Task.WaitAll(tasks.ToArray());
            Console.WriteLine("Checkpoint 1.");
            Console.WriteLine("Tasks Finished");

            Console.ReadLine();
        }

        public static async Task<string> LongTask(List<char> container)
        {
            var client = new HttpClient();
            var text = await client.GetAsync("http://www.google.com");

            var myList = text.StatusCode.ToString().ToList();

            container.AddRange(myList);

            return text.StatusCode.ToString();
        }
    }
}

Answer 1

在添加数据时，您可以在当前列表周围使用lock 构造也可以使用。

下面将进入班级级别

private static object _lock = new object();

这将进入你的方法

var myList = text.StatusCode.ToString().ToList();
lock(_lock)
{
  container.AddRange(myList);
}

---

或者你可以使用ConcurrentBag

所以在你的代码中用 this 替换 List ，在 main 方法中

ConcurrentBag<string> container = new ConcurrentBag<string>();

并在 LongTask( 方法中执行以下操作。

 var myList = text.StatusCode.ToString().ToList();               
 container.AddRange(myList);

在这里，我建议您将字符串列表列为ConcurrentBag doenst 有AddRange 方法，如果您确实编写foreach 以添加ConcurrentBag，那么其他线程也可能在两者之间添加char，而不是其中一旦全部完成，您可以将string 从ConcurrentBag 中取出并将其转换为char 数组或列表。

注意：ConcurrentBag<T> 是一个线程安全的包实现，针对同一线程将同时生产和使用包中存储的数据的场景进行了优化。