【问题标题】:processing large data that sequential with tbb处理与 tbb 顺序的大数据
【发布时间】:2011-05-23 23:23:44
【问题描述】:

我正在开发 c++ 应用程序来处理大量报价数据,例如。 (MSFT、AMZN 等)与 tbb。并且想知道我将如何构建它。我一直在研究parallel_for 和pipeline 以及concurrent_queue。

这个过程基本上会解析数据,处理它并输出到文件。解析和处理可以并行完成,但每个符号的输出应该是有序的。

例如。输入: - 消息 #1 - AMZN #1 - 消息 #2 - AMZN #2 - 消息 #3 - IBM #1 - 消息 #4 - AMZN #3 - 消息 #5 - CSCO #1 - 消息 $6 - IBM #2

我想使用无锁解决方案或最小锁定,但似乎我已经保留在 concurrent_queue 中以保持顺序。

任何想法都会有所帮助

谢谢, 大卫

【问题讨论】:

  • 一些额外的细节会有所帮助。多少数据(# of GB)?你能把它全部缓冲在RAM中吗?这可以批量完成,还是您希望它实时工作?你关心多少个符号?
  • 首先要检查的是一个 CPU 跟不上您的输入和输出速度。对于许多任务,您可以比将数据写入文件更快地处理数据。也就是说,不同引号之间的顺序重要吗?例如。在您的示例中可以在 AMZN#2 之前输出 IBM#1 吗?

标签: c++ multithreading multicore intel tbb


【解决方案1】:

如果您使用管道模式(tbb::pipeline 类或tbb::parallel_pipeline() 函数),您可以使用有序过滤器来确保输出的显示顺序与接收输入的顺序完全相同。而且您在订购时不需要任何密码锁。

【讨论】:

    【解决方案2】:

    您的报价数据是否有时间戳或序列号
    否则,从生产者线程添加一个序列号,并在解析后根据序列号对数据进行排序 - 然后可以在批处理中或在写入文件之前完成重新排序。

    【讨论】:

      【解决方案3】:

      您可以创建一个输出结构(散列或列表),其中键是显示元素的位置(第一个、第二个、...),值是要显示的数据。然后当所有元素都准备好后,就可以按照想要的顺序输出结构了。

      这样你就不用关心哪个线程先结束了。

      【讨论】:

        猜你喜欢
        • 2023-03-08
        • 2021-11-08
        • 1970-01-01
        • 2023-03-27
        • 1970-01-01
        • 2017-01-09
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多