【发布时间】:2011-05-23 23:23:44
【问题描述】:
我正在开发 c++ 应用程序来处理大量报价数据,例如。 (MSFT、AMZN 等)与 tbb。并且想知道我将如何构建它。我一直在研究parallel_for 和pipeline 以及concurrent_queue。
这个过程基本上会解析数据,处理它并输出到文件。解析和处理可以并行完成,但每个符号的输出应该是有序的。
例如。输入: - 消息 #1 - AMZN #1 - 消息 #2 - AMZN #2 - 消息 #3 - IBM #1 - 消息 #4 - AMZN #3 - 消息 #5 - CSCO #1 - 消息 $6 - IBM #2我想使用无锁解决方案或最小锁定,但似乎我已经保留在 concurrent_queue 中以保持顺序。
任何想法都会有所帮助
谢谢, 大卫
【问题讨论】:
-
一些额外的细节会有所帮助。多少数据(# of GB)?你能把它全部缓冲在RAM中吗?这可以批量完成,还是您希望它实时工作?你关心多少个符号?
-
首先要检查的是一个 CPU 跟不上您的输入和输出速度。对于许多任务,您可以比将数据写入文件更快地处理数据。也就是说,不同引号之间的顺序重要吗?例如。在您的示例中可以在 AMZN#2 之前输出 IBM#1 吗?
标签: c++ multithreading multicore intel tbb