【问题标题】:error in deploying a project using scrapyd使用 scrapyd 部署项目时出错
【发布时间】:2012-07-06 12:48:04
【问题描述】:

我的项目文件夹中有多个蜘蛛,并且想一次运行所有蜘蛛,所以我决定使用 scrapyd 服务运行它们。 我已经通过看到here 开始这样做了

首先我在当前项目文件夹中

  1. 我打开了scrapy.cfg 文件并在

    之后取消了对url 行的注释

    [部署]

  2. 我运行了scrapy server 命令,运行良好,scrapyd 服务器运行

  3. 我试过这个命令scrapy deploy -l

    结果:default http://localhost:6800/

  4. 当我尝试这个命令时scrapy deploy -L scrapyd 我得到了以下输出

结果:

Usage
=====
  scrapy deploy [options] [ [target] | -l | -L <target> ]

deploy: error: Unknown target: scrapyd

当我尝试使用此命令部署项目时 scrapy deploy scrapyd -p default 出现以下错误

Usage
=====
  scrapy deploy [options] [ [target] | -l | -L <target> ]

deploy: error: Unknown target: scrapyd

我真的无法确定scrapyd是否显示上述错误,可以引导我找到如何将项目部署到scrapyd的正确方法

在此先感谢.......

编辑代码

在看到 Peter Kirby 的回答后,我在 scrapy.cfg 中命名为 target,并在我的项目文件夹中尝试了以下命令,

命令

scrapy deploy ebsite -p ebsite

然后我得到以下错误

Building egg of ebsite-1341808241
'build/lib' does not exist -- can't clean it
'build/bdist.linux-x86_64' does not exist -- can't clean it
'build/scripts-2.7' does not exist -- can't clean it
zip_safe flag not set; analyzing archive contents...
Deploying ebsite-1341808241 to http://localhost:6800/addversion.json
Deploy failed: <urlopen error [Errno 111] Connection refused>

如何解决这个问题.....

【问题讨论】:

    标签: python scrapy scrapyd


    【解决方案1】:

    来自 scrapyd 服务文档:(http://scrapy.readthedocs.org/en/latest/topics/scrapyd.html?highlight=scrapyd)

    您可以通过将目标添加到项目的 scrapy.cfg 来定义目标 文件...这是一个定义新目标scrapyd2的示例 通过 HTTP 基本身份验证限制访问:

    [deploy:scrapyd2]
    url = http://scrapyd.mydomain.com/api/scrapyd/
    username = john
    password = secret
    

    基本上,您的错误意味着您的“目标”名称不正确。如果我没记错的话,scrapy.cfg 文件将初始目标名称设置为“默认”。您应该输入的内容类似于:

    scrapy deploy default -p project_name
    

    【讨论】:

    • 感谢您的回复,正如您所说,我按上述方式编辑了我的代码,但出现上述错误,您能告诉我如何解决
    • 尝试访问 Scrapyd 网页界面。转到localhost:6800 或输入 curl localhost:6800/listprojects.json 并告诉我会发生什么。可能是 Scrapyd 安装不正确。你在什么操作系统上?
    【解决方案2】:

    如果您没有命名目标并保留默认设置,只需输入scrapy deploy

    【讨论】:

      【解决方案3】:

      这是scrapyd proc没有权限! 你需要杀死proc,然后使用root用户,只需输入:

      scrapy server
      

      然后新的scrapyd会运行。然后你可以按照scrapyd documention说的做。

      【讨论】:

        【解决方案4】:

        当我尝试在没有运行scrapyd的情况下部署我的项目时遇到此错误,运行如此简单

        scrapyd
        

        在另一个终端上修复了错误

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 2021-08-30
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2021-04-21
          • 1970-01-01
          相关资源
          最近更新 更多