通过不同的虚拟机发送 C# Worker

Question

我的问题很简单，但答案可能不是。

我有成千上万的工作人员执行相同的任务，我希望他们在许多远程虚拟机（云或网络）上以并行方式执行

这是一个想法：

class ThreadManager
{
    public void main()
    {
      for (int i = 0; i<300; i++)
      {
        myWorker wk;
        if (i < 100)
            wk = new myWorker(IP_Computer_1);
        else if (i < 200)
            wk = new myWorker(IP_Computer_2);
        else 
            wk = new myWorker(IP_Computer_3);

        wk.RunWorkerAsync();
      }
    }

    internal class myWorker :: BackgroundWorker
    {     
       public string IP_Computer;
       {...}//constructor

       protected override void OnDoWork(DoWorkEventArgs e)
       {              
          WriteToDatabaseTable("BAZINGA !  Greetings from computer " + Dns.GetHostName());
          //SQL server DB is hosted on a publicly accessible domain
          base.OnDoWork(e);
       }
    }
}

当然，这是伪代码，你明白了：通过网络将线程/工作者分配给不同的计算机/VM（不仅是多核）

我有哪些基本/最简单的选择？ 我愿意接受任何轻便有效的解决方案（我不想进行复杂的调度/应用程序工作流程再造等……请保持原样）

注意：这不是一个无辜的问题。我知道所有关于网格/云计算、HPC、亚马逊网络服务、Azure 等的大惊小怪......我花了很多时间阅读和尝试一些东西，我认为有很多（金钱）业务出去。有时回到基础并提出简单的问题是很好的，看看我们是否真的需要一个过于复杂/复杂/侵入性/昂贵的解决方案来解决基本问题（我们不是拥有庞大网络的财富 500 强，而只是一家小型研究公司具有特定/原子计算需求）

Answer 1

最简单的方法是将“DoWork”建模为 WCF 服务上的方法。 使用 NetTCP 绑定和load balance across multiple machines。如果机器是无状态克隆，这是合适的，并且所有状态都在数据库上维护。在这种情况下，您不应该关心哪台机器为您的请求提供服务，并且您不应该在应用程序级别使用 IP 地址。

这不提供通信保证，不提供可靠性或故障转移。例如，如果服务机器在请求期间“死亡”，则不会在另一台机器上重新启动请求。这可能正好满足您的需求。

如果您想要保证交付（即即发即弃）和事务持久性，请考虑将 MSMQ 传输用于您的 WCF 服务。在这种情况下，服务机器以事务方式出列，并且仅在已执行数据库更新时才提交事务。

Answer 2

NGrid 一个开源网格计算怎么样。如果您想自己完成所有工作，则需要大量编码才能将容错融入您的自定义解决方案。最困难的是将故障保持在本地而不影响整个系统。

Answer 3

您的……嗯……问题中有很多未回答的问题。从概念上讲，这是一项非常简单的任务，但是一旦您开始了解一些细节，它就会变得越来越具有挑战性。

正如您在问题中所述，我了解您想要触发并忘记分布式处理器的任务。这意味着每个任务都是原子的，不需要返回。一种方法是在分布式节点上创建一个侦听服务器，然后您的主节点将发送包含要执行的序列化工作对象的消息。然后，分布式节点将启动一个新线程（或工作进程）来执行处理。

然后根据涉及的更多功能，问题开始扩大。

Answer 4

首先要了解的是，您当然可以相当轻松地将数据发送到其他计算机（即 WCF）……但是，您不能轻松地发送代码/逻辑。因此，您可以通过以下两种方式之一解决该问题：

• 有一个“安装程序”，您可以手动将工作人员分配到将参与练习的每台计算机，然后通过 WCF、MSMQ 或任何其他数量的远程通信向他们发送要处理的数据片段技巧
• 让主进程能够序列化 .net 程序集，将其传输到每个从属/工作进程，并让该工作进程将程序集加载到应用程序域中，然后继续向它们发送要处理的位。李>

无论哪种方式，你都必须首先解决通信问题（你是通过 WCF 之类的东西推送，还是让从属从队列中拉出）等等。

Answer 5

.NET 没有简单的内置方法来做到这一点。您可能希望使您的工作人员可序列化并通过消息队列将它们发送到节点（可能使用System.Messaging 和 MSMQ）。