无法部署到 Scrapinghub答案

【问题标题】：Can't deploy to Scrapinghub无法部署到 Scrapinghub
【发布时间】：2016-09-19 04:50:03
【问题描述】：

当我尝试使用shub deploy 进行部署时，我收到了这个错误：

删除中间容器 fccf1ec715e6 第 10 步：运行 sudo -u 没有人 -E PYTHONUSERBASE=$PYTHONUSERBASE pip install --user --no-cache-dir -r /app/requirements.txt ---> 在 729e0d414f46 中运行给定双重要求：attrs==16.1.0（来自 -r /app/requirements.txt （第 51 行））（已经在 attrs==16.0.0 中（来自 -r /app/requirements.txt （第 1 行）），name='attrs'）

{"message": "命令 '/bin/sh -c sudo -u nobody -E PYTHONUSERBASE=$PYTHONUSERBASE pip install --user --no-cache-dir -r /app/requirements.txt' 返回一个非零代码：1", "details": {"message": "The command '/bin/sh -c sudo -u nobody -E PYTHONUSERBASE=$PYTHONUSERBASE pip install --user --no-cache-dir -r /app/requirements.txt' 返回一个非零代码：1"}, "error": "build_error"}

{"message": "Internal build error", "status": "error"} 部署日志地点： c:\users\dr521f~1.pri\appdata\local\temp\shub_deploy_pvx7dk.log 错误：部署失败：{“消息”：“内部构建错误”，“状态”：“错误”}

这是我的requirements.txt：

attrs==16.1.0
beautifulsoup4==4.5.1
cffi==1.8.2
click==6.6
cryptography==1.5
cssselect==0.9.2
enum34==1.1.6
fake-useragent==0.1.2
hubstorage==0.23.1
idna==2.1
ipaddress==1.0.17
lxml==3.6.1
parsel==1.0.3
pyasn1==0.1.9
pyasn1-modules==0.0.8
pycparser==2.14
PyDispatcher==2.0.5
pyOpenSSL==16.1.0
pypiwin32==219
queuelib==1.4.2
requests==2.11.1
retrying==1.3.3
ruamel.ordereddict==0.4.9
ruamel.yaml==0.12.13
scrapinghub==1.8.0
Scrapy==1.1.2
scrapy-fake-useragent==0.0.1
service-identity==16.0.0
shub==2.4.0
six==1.10.0
Twisted==16.4.0
typing==3.5.2.2
w3lib==1.15.0
zope.interface==4.3.2

为什么我不能部署？

【问题讨论】：

标签： python deployment web-scraping scrapy scrapinghub

【解决方案1】：

来自文档here

请注意，此需求文件是 Scrapy Cloud 的扩展堆栈，因此不应包含已经是一部分的包堆栈的，例如scrapy。

正如您在错误中看到的那样：

在 729e0d414f46 中运行给定双重要求：attrs==16.1.0（来自 -r /app/requirements.txt（第 51 行））（已经在 attrs==16.0.0（来自 -r /app/requirements.txt（第 1 行）），name='attrs'）

上面写着Double requirement given。

为整个项目和 Scrapinghub 使用不同的requirements.txt。我最终创建了shub-requirements.txt，其中包含以下内容：

beautifulsoup4==4.5.1
fake-useragent==0.1.2

【讨论】：