【发布时间】:2015-09-21 16:58:49
【问题描述】:
我正在发出一些限制为每秒 20 个的 API 请求。为了得到答案,等待时间大约是 0.5 秒,我想使用 multiprocessing.Pool.map 并使用这个装饰器 rate-limiting 所以我的代码看起来像
def fun(vec):
#do stuff
def RateLimited(maxPerSecond):
minInterval = 1.0 / float(maxPerSecond)
def decorate(func):
lastTimeCalled = [0.0]
def rateLimitedFunction(*args,**kargs):
elapsed = time.clock() - lastTimeCalled[0]
leftToWait = minInterval - elapsed
if leftToWait>0:
time.sleep(leftToWait)
ret = func(*args,**kargs)
lastTimeCalled[0] = time.clock()
return ret
return rateLimitedFunction
return decorate
@RateLimited(20)
def multi(vec):
p = Pool(5)
return p.map(f, vec)
我有 4 个内核,这个程序运行良好,与循环版本相比,时间有所改进。此外,当 Pool 参数为 4、5、6 时,它可以工作并且 Pool(6) 的时间更短,但是当我使用 7+ 时,我得到了错误(我猜每秒连接太多)。
然后,如果我的函数更复杂并且可以执行 1-5 个请求,则装饰器无法按预期工作。 在这种情况下我还能使用什么?
更新
对于任何想要使用 Pool 的人记得关闭它,否则你将使用所有 RAM
def multi(vec):
p = Pool(5)
res=p.map(f, vec)
p.close()
return res
更新 2
我发现像 WebRequestManager 这样的东西可以解决问题。问题是这不适用于多处理。包含 19-20 个进程的池,因为时间存储在您运行请求时需要调用的类中。
【问题讨论】:
标签: python multiprocessing pool