【发布时间】:2011-06-27 08:03:18
【问题描述】:
我有一个名为spider 的函数,它以seed 作为参数。 seed 是我发送给蜘蛛函数的 URL 的名称。现在我的问题是如何在 Python 中使用 beanstalkc 对 URL 进行排队并执行作业。
【问题讨论】:
标签: python beanstalkd beanstalkc
我有一个名为spider 的函数,它以seed 作为参数。 seed 是我发送给蜘蛛函数的 URL 的名称。现在我的问题是如何在 Python 中使用 beanstalkc 对 URL 进行排队并执行作业。
【问题讨论】:
标签: python beanstalkd beanstalkc
根据tutorial,您需要:
连接:
import beanstalkc
beanstalk = beanstalkc.Connection(host='localhost', port=14711)
使用以下方式添加工作:
beanstalk.put('seed url')
通过以下方式获得工作:
job = beanstalk.reserve()
spider(job.body)
将作业标记为已完成:
job.delete()
【讨论】: