【问题标题】:scrapyd deploy shows 0 spidersscrapyd deploy 显示 0 个蜘蛛
【发布时间】:2017-06-04 14:52:17
【问题描述】:

我正在为一个项目使用scrapy。我运行了以下命令来部署项目:

$scrapy deploy -l

然后我得到以下o/p:

scrapysite http://localhost:6800/

$cat scrapy.cfg

[settings] 
default = scrapBib.settings

[deploy:scrapysite]  
url = http://localhost:6800/  
project = scrapBib

$scrapy deploy scrapysite -p scrapBib

'Building egg of scrapBib-1346242513
'build/lib.linux-x86_64-2.7' does not exist -- can't clean it

'build/bdist.linux-x86_64' does not exist -- can't clean it

'build/scripts-2.7' does not exist -- can't clean it

zip_safe flag not set; analyzing archive contents...

Deploying scrapBib-1346242513 to `http://localhost:6800/addversion.json`

2012-08-29 17:45:14+0530 [HTTPChannel,22,127.0.0.1] 127.0.0.1 - - [29/Aug/2012:12:15:13 

+0000] "POST /addversion.json HTTP/1.1" 200 79 "-" "Python-urllib/2.7"

Server response (200):

{"status": "ok", "project": "scrapBib", "version": "1346242513", "spiders": 0}

如您所见,虽然我在 project/spiders/ 文件夹中编写了 3 个蜘蛛,但将蜘蛛设为 0 。结果,我无法使用 curl 请求开始爬网。请帮忙

【问题讨论】:

  • 你使用的是什么版本的 Scrapy?您尝试从相对于 scrapy.cfg 文件的目录部署什么目录?您可以从您的 scrapy.cfg 文件中发布代码吗?您能否也发布您的 settings.py 文件?
  • 我在使用 Scrapy 0.14.4 时遇到了同样的问题,并收到了与上述类似的消息。我正在尝试从scrapy.cfg 所在的同一目录进行部署。该项目似乎已正确上传,但没有可用的蜘蛛。我只是使用与项目一起创建的scrapy.cfg 中的默认设置。你可以在my recently asked question的底部看到它们。

标签: python scrapy


【解决方案1】:

我也遇到过这个问题,做两件事

1) 从本地系统中删除 project.egg-infobuildsetup.py

2) 从您的服务器中删除所有已部署的版本。

然后尝试部署它会被修复...

【讨论】:

  • 我有两台服务器,我在其中部署了scrapy项目,但都突然停止工作......这些是我遇到的错误......我已经尝试删除你提到的所有文件......但是到目前为止什么都没有......这里看看我的问题......stackoverflow.com/questions/17340357/…
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多