调用许多网络服务的最佳方式？

Question

我有 30 家子公司，每个公司都实施了他们的网络服务（使用不同的技术）。

我需要实现一个 Web 服务来聚合它们，例如，所有子公司 Web 服务都有一个名为 GetUserPoint(int nationalCode) 的 Web 方法，我需要实现我的 Web 服务，它将调用所有这些 Web 服务并收集所有响应（例如分数总和）。

这是我的基类：

public abstract class BaseClass
{ // all same attributes and methods
  public long GetPoint(int nationalCode);
}

对于每个子公司的网络服务，我实现了一个继承这个基类的类，并定义了自己的GetPoint方法。

public class Company1
{
  //implement own GetPoint method (call a web service).
}

到

public class CompanyN
{
  //implement own GetPoint method (call a web service).
}

所以，这是我的网络方法：

        [WebMethod]
        public long MyCollector(string nationalCode)
        {

           BaseClass[] Clients = new BaseClass[]  { new Company1(),//... ,new Company1()}

           long Result = 0;
           foreach (var item in Clients)
           {
                long ResultTemp = item.GetPoint(nationalCode);
                Result += ResultTemp;
           }
       return Result;
       }

好的，它可以工作，但是太慢了，因为每个子公司的网络服务都托管在不同的服务器上（在互联网上）。

我可以像这样使用并行编程：（这叫并行编程吗！？）

    foreach (var item in Clients)
    {
                    Tasks.Add(Task.Run(() =>
                        {
                        Result.AddRange(item.GetPoint(MasterLogId, mobileNumber));                  
                    }
      }

我认为并行编程（和线程）不适合这个解决方案，因为我的解决方案是 IO 密集型的（不是 CPU 密集型的）！

调用每个外部 Web 服务都很慢，对吗？许多线程正在等待响应！

我认为异步编程是最好的方法，但我是异步编程和并行编程的新手。

最好的方法是什么？ （parallel.foreach - 异步 TAP - 异步 APM - 异步 EAP - 线程）

请给我写一个例子。

Answer 1

看到有人完成了家庭作业真是令人耳目一新。

首先，从 .NET 4 开始（今天仍然如此）TAP 是 .NET 中异步工作流的首选技术。任务很容易组合，如果它们提供真正的Task<T>-returning API，那么并行化 Web 服务调用是一件轻而易举的事。现在你已经用Task.Run“伪造”了它，暂时这可能足以满足你的目的。当然，您的线程池线程会花费大量时间阻塞，但如果服务器负载不是很高，即使这不是理想的做法，您也可以很好地摆脱它。

你只需要在你的代码中修复一个潜在的竞争条件（更多关于最后的内容）。

如果您想遵循最佳实践，请选择真正的 TAP。如果您的 API 提供开箱即用的 Task-returning 方法，那很容易。如果不是这样，它还没有结束，因为 APM 和 EAP 可以很容易地转换为 TAP。 MSDN 参考：https://msdn.microsoft.com/en-us/library/hh873178(v=vs.110).aspx

我还将在此处包含一些转换示例。

APM（取自另一个 SO 问题）：

MessageQueue 没有提供ReceiveAsync 方法，但我们可以通过Task.Factory.FromAsync 让它打球：

public static Task<Message> ReceiveAsync(this MessageQueue messageQueue)
{
    return Task.Factory.FromAsync(messageQueue.BeginReceive(), messageQueue.EndPeek);
}

...

Message message = await messageQueue.ReceiveAsync().ConfigureAwait(false);

如果您的 Web 服务代理有 BeginXXX/EndXXX 方法，这就是要走的路。

EAP

假设您有一个从 SoapHttpClientProtocol 派生的旧 Web 服务代理，只有基于事件的异步方法。您可以将它们转换为 TAP，如下所示：

public Task<long> GetPointAsyncTask(this PointWebService webService, int nationalCode)
{
    TaskCompletionSource<long> tcs = new TaskCompletionSource<long>();

    webService.GetPointAsyncCompleted += (s, e) =>
    {
        if (e.Cancelled)
        {
            tcs.SetCanceled();
        }
        else if (e.Error != null)
        {
            tcs.SetException(e.Error);
        }
        else
        {
            tcs.SetResult(e.Result);
        }
    };

    webService.GetPointAsync(nationalCode);

    return tcs.Task;
}

...

using (PointWebService service = new PointWebService())
{
    long point = await service.GetPointAsyncTask(123).ConfigureAwait(false);
}

在汇总结果时避免竞争

关于聚合并行结果，您的 TAP 循环代码几乎是正确的，但您需要避免在 Task 主体内改变共享状态，因为它们可能会并行执行。在您的情况下，共享状态为 Result - 这是某种集合。如果这个集合不是线程安全的（即如果它是一个简单的List<long>），那么你有一个竞争条件，你可能会在Add 上得到异常和/或丢弃的结果（我假设AddRange在您的代码中是一个错字，但如果不是 - 以上仍然适用）。

一个简单的异步友好的重写来修复你的种族应该是这样的：

List<Task<long>> tasks = new List<Task<long>>();

foreach (BaseClass item in Clients) {
    tasks.Add(item.GetPointAsync(MasterLogId, mobileNumber));                  
}

long[] results = await Task.WhenAll(tasks).ConfigureAwait(false);

如果您决定偷懒并暂时坚持使用Task.Run 解决方案，修正后的版本将如下所示：

List<Task<long>> tasks = new List<Task<long>>();

foreach (BaseClass item in Clients)
{
    Task<long> dodgyThreadPoolTask = Task.Run(
        () => item.GetPoint(MasterLogId, mobileNumber)
    );

    tasks.Add(dodgyThreadPoolTask);                  
}

long[] results = await Task.WhenAll(tasks).ConfigureAwait(false);

Answer 2

您可以创建 GetPoint 的异步版本：

public abstract class BaseClass
{ // all same attributes and methods
    public abstract long GetPoint(int nationalCode);

    public async Task<long> GetPointAsync(int nationalCode)
    {
         return await GetPoint(nationalCode);
    }
}

然后，为每个客户端调用收集任务。之后，使用Task.WhenAll 执行所有任务。这将并行执行它们。此外，正如 Kirill 所指出的，您可以等待每个任务的结果：

var tasks = Clients.Select(x => x.GetPointAsync(nationalCode));
long[] results = await Task.WhenAll(tasks);

如果您不想使聚合方法异步，可以通过调用 .Result 而不是等待来收集结果，如下所示：

long[] results = Task.WhenAll(tasks).Result;