【问题标题】:multiprocessing.Pool and Rate limitmultiprocessing.Pool 和速率限制
【发布时间】:2015-09-21 16:58:49
【问题描述】:

我正在发出一些限制为每秒 20 个的 API 请求。为了得到答案,等待时间大约是 0.5 秒,我想使用 multiprocessing.Pool.map 并使用这个装饰器 rate-limiting 所以我的代码看起来像

def fun(vec):
        #do stuff

def RateLimited(maxPerSecond):
    minInterval = 1.0 / float(maxPerSecond)
    def decorate(func):
        lastTimeCalled = [0.0]
        def rateLimitedFunction(*args,**kargs):
            elapsed = time.clock() - lastTimeCalled[0]
            leftToWait = minInterval - elapsed
            if leftToWait>0:
                time.sleep(leftToWait)
            ret = func(*args,**kargs)
            lastTimeCalled[0] = time.clock()
            return ret
        return rateLimitedFunction
    return decorate

@RateLimited(20)
def multi(vec):
    p = Pool(5)   
    return p.map(f, vec)

我有 4 个内核,这个程序运行良好,与循环版本相比,时间有所改进。此外,当 Pool 参数为 4、5、6 时,它可以工作并且 Pool(6) 的时间更短,但是当我使用 7+ 时,我得到了错误(我猜每秒连接太多)。

然后,如果我的函数更复杂并且可以执行 1-5 个请求,则装饰器无法按预期工作。 在这种情况下我还能使用什么?

更新

对于任何想要使用 Pool 的人记得关闭它,否则你将使用所有 RAM

def multi(vec):
    p = Pool(5)   
    res=p.map(f, vec)
    p.close()
    return res

更新 2

我发现像 WebRequestManager 这样的东西可以解决问题。问题是这不适用于多处理。包含 19-20 个进程的池,因为时间存储在您运行请求时需要调用的类中。

【问题讨论】:

    标签: python multiprocessing pool


    【解决方案1】:

    您的缩进在上面不一致,这使得回答这个问题变得更加困难,但我会试一试。

    看来您的速率限制是错误的;如果应该限制f,则需要限制对f 的调用,而不是对multi 的调用。在被分派到Pool 的东西中这样做是行不通的,因为分叉的工作人员将各自独立地进行限制(分叉的进程将独立跟踪自上次调用以来的时间)。

    最简单的方法是限制Pool 从中提取的迭代器产生结果的速度。例如:

    import collections
    import time
    def rate_limited_iterator(iterable, limit_per_second):
        # Initially, we can run immediately limit times
        runats = collections.deque([time.time()] * limit_per_second)
        for x in iterable:
            runat, now = runats.popleft(), time.time()
            if now < runat:
                time.sleep(runat - now)
            runats.append(time.time() + 1)
            yield x
    
    def multi(vec):
        p = Pool(5)
        return p.map(f, rate_limited_iterator(vec, 20))
    

    【讨论】:

    • 注意:这将立即调度每秒限制,而不是均匀间隔;如果您需要均匀的间距,您只需将现有代码与单个存储时间调整到速率限制迭代器即可。
    • 感谢您的回答。你是对的,我的装饰器没有工作,甚至在你上面的注释中,随着池的增加,我达到了极限并出现错误。所以我应该按照你的建议去看看。出于同样的原因,使用您的示例,我使用的时间比没有装饰器的代码多 20%。
    • 感谢您的精彩回答。但实际上它对 multiprocessing.map 不起作用,因为它在耗尽其可迭代参数后运行函数,将可迭代参数转换为列表。所以你应该使用 multiprocessing.imap 函数作为你的速率限制器。
    猜你喜欢
    • 2017-03-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多