【问题标题】:Python - Using parallel processes communicating with API to improve speedPython - 使用与 API 通信的并行进程来提高速度
【发布时间】:2015-05-17 13:26:48
【问题描述】:

我正在尝试编写一个程序,其中 1 个函数将信息添加到队列中,而另一个函数同时读取队列并使用它执行一些杂项任务。程序必须将信息放入队列并同时从中读取。

例子:

from multiprocessing import Process
from time import clock, sleep
import Queue

class HotMess(object):
    def __init__(self):
        self.market_id=['1','2','3']
        self.q2=Queue.Queue()
        self.session=True

    def run(self):
        if __name__=='__main__':
            t = Process(target=self.get_data)
            k = Process(target=self.main_code)
            t.run()
            k.run()

    def main_code(self):
       while self.session:
        result=self.q2.get()
        print(result)

    def get_data(self):
        #while self.session:
        for market in self.market_id:
            self.q2.put(market)

mess=HotMess()
mess.run()

现在这会产生 1 2 3 的输出。到目前为止一切顺利。但我实际上希望 get_data 是一个 while 循环,并且基本上可以无限期地运行。现在,如果您在 get_data 函数中取消注释 while self.session: 并进行缩进。现在它不会产生任何输出,我认为这是因为只要 self.session=True 进程 get_data 就没有完成。

我的问题是我如何 main_code() 不等待 get_data() 而只是开始工作队列,以便它们都与队列交互(q2)。我尝试查看进程/线程/POpen,但我离我的舒适区很远,有点茫然。

【问题讨论】:

    标签: python python-multiprocessing


    【解决方案1】:

    看here

    你应该使用multiprocessing.Queue。用于不同进程之间的通信。

    我还将run 更改为start 和join。

    from multiprocessing import Process, Queue
    from time import clock, sleep
    
    class HotMess(object):
        def __init__(self):
            self.market_id=['1','2','3']
            self.q2=Queue()
            self.session=True
    
        def run(self):
            if __name__=='__main__':
                t = Process(target=self.get_data)
                k = Process(target=self.main_code)
                t.start()
                k.start()
                t.join()
                k.join()
    
        def main_code(self):
            while self.session:
                result=self.q2.get()
                print(result)
    
        def get_data(self):
            while self.session:
                for market in self.market_id:
                    self.q2.put(market)
    
    mess=HotMess()
    mess.run()
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2015-02-17
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-04-25
      • 2021-09-18
      • 1970-01-01
      相关资源
      最近更新 更多