【问题标题】:How to use beanstalkc in Python to queue URLs and perform jobs如何在 Python 中使用 beanstalkc 对 URL 进行排队并执行作业
【发布时间】:2011-06-27 08:03:18
【问题描述】:

我有一个名为spider 的函数,它以seed 作为参数。 seed 是我发送给蜘蛛函数的 URL 的名称。现在我的问题是如何在 Python 中使用 beanstalkc 对 URL 进行排队并执行作业。

【问题讨论】:

    标签: python beanstalkd beanstalkc


    【解决方案1】:

    根据tutorial,您需要:

    1. beanstalkd 服务器正在运行。
    2. 连接:

      import beanstalkc
      beanstalk = beanstalkc.Connection(host='localhost', port=14711)
      
    3. 使用以下方式添加工作:

      beanstalk.put('seed url')
      
    4. 通过以下方式获得工作:

      job = beanstalk.reserve()
      spider(job.body)
      
    5. 将作业标记为已完成:

      job.delete()
      

    【讨论】:

    • job = beanstalk.reserve() spider(job.body) 你能解释一下我在哪里将url(或种子)发送给spider,因为当我尝试打印job.body()时它会打印“真”不是网址
    • 这是一个属性,所以 job.body 不是 job.body()。请先按照教程一步一步来,这应该会给你一个很好的介绍。
    猜你喜欢
    • 2014-06-09
    • 1970-01-01
    • 1970-01-01
    • 2015-02-08
    • 2018-04-21
    • 1970-01-01
    • 2014-03-03
    • 2016-12-30
    • 2016-08-09
    相关资源
    最近更新 更多