【问题标题】:Appropriate Multi-Threading Option适当的多线程选项
【发布时间】:2012-03-19 17:38:15
【问题描述】:

场景

我有一个非常繁重的数字运算过程,它汇集了来自 3 个不同数据库的大型数据集,然后对每个数据库进行一些处理以最终产生结果。 如果仅由单个资产使用,则此过程很好。但是我现在有 3500 个资产需要处理,在当前流程的状态下大约需要 1 小时 30 分钟。

问题

就多线程 c# 应用程序而言,加快此过程的最佳选择是什么?实际上,我不必在每个资产的处理之间共享任何内容,因此我相信能够一次运行多个资产的处理不会导致太多问题。

想法

我听说过关于线程池的好消息,但我想实际上我想要的东西不是太大而无法实现,易于理解并且一次可以运行相当数量的线程。

我们将不胜感激。

【问题讨论】:

    标签: c# multithreading


    【解决方案1】:

    在.net中你可以使用现有的线程池,不需要自己实现。这是相关的MSDN。

    您应该注意不要一次运行太多进程(3500 有点多),但是使用提供的队列机制应该可以让您朝着正确的方向开始。

    要尝试的另一件事是使用 PLINQ。

    【讨论】:

      【解决方案2】:

      如果您没有多核处理器、多台机器和/或线程进程不受 I/O 限制,那么多线程将无济于事。首先分析当前处理以查看时间的去向。

      线程池很好,您可以使用任务队列进行简单的负载平衡,但如果当前应用程序中没有空闲的 CPU 周期,这将是浪费时间。

      【讨论】:

        【解决方案3】:

        如果您可以使用 VS 2010 RC 执行此操作,最好的选择是使用 .NET 4 中的新任务并行库。这具有内置的负载平衡和工作窃取队列,因此它将使该任务易于线程化,并且非常可扩展。

        但是,如果您需要在 .NET 3.5 中执行此操作,我建议您使用 ThreadPool,并且只使用 ThreadPool.QueueUserWorkItem 来启动每个任务。

        如果您的任务在其整个生命周期内都是计算密集型的,您可能希望防止同时运行太多任务。在这种情况下,您从中提取工作并执行的某种形式的队列可能是有益的。只需将所有工作项放入队列中,让线程从队列中提取工作(使用适当的锁定)并进行处理。

        如果您有一个多核系统,并且 CPU 周期是您的瓶颈,那么这应该可以很好地扩展。

        【讨论】:

          【解决方案4】:

          ThreadPool 中内置的 .Net 将解决您运行大量线程以及易于使用的需求。我之前写过一篇关于这个主题的文章,你可以找到here。

          【讨论】:

            【解决方案5】:

            使用 SQL Server 2005 或更高版本,您可以在 C# 中创建用户定义的函数并在 T-SQL 过程中使用它们,这可以显着加快数字运算的速度。 SQL Server 是多线程的并且可以很好地处理它,因此请考虑尽可能多地将处理保留在数据库引擎中。

            【讨论】:

              猜你喜欢
              • 1970-01-01
              • 1970-01-01
              • 2010-09-23
              • 1970-01-01
              • 1970-01-01
              • 1970-01-01
              • 2023-04-05
              • 1970-01-01
              • 1970-01-01
              相关资源
              最近更新 更多