【问题标题】:How to make portia spider run?如何让波西亚蜘蛛跑起来?
【发布时间】:2018-01-15 15:32:58
【问题描述】:

我无法发送我的蜘蛛。

我使用以下代码之一:

docker run -i -t --rm -v /home/raphael/Documents/entreprise/portia/portia-master/test:/app/data/projects:rw -v /home/raphael/Documents/entreprise/portia/res:/mnt:rw -p 9001:9001 scrapinghub/portia \
            portiacrawl /app/data/projects/Oscaro www.oscaro.com -o /mnt/Oscaro.jl
docker run -i -t --rm -v /home/raphael/Documents/entreprise/portia/portia-master/test:/app/data/projects:rw -v /home/raphael/Documents/entreprise/portia/res:/mnt:rw -p 9001:9001 scrapinghub/portia \
            portiacrawl /app/data/projects/Oscaro

控制台我返回:

+ action=portiacrawl
+ shift
+ '[' -z portiacrawl ']'
+ case $action in
+ exec portiacrawl /app/data/projects/Oscaro www.oscaro.com -o /mnt/Oscaro.jl
Usage: portiacrawl <project dir/project zip> [spider] [options]

Allow to easily run slybot spiders on console. If spider is not given, print a
list of available spiders inside the project

Options:
  -h, --help            show this help message and exit
  --settings=SETTINGS   Give specific settings module (must be on python path)
  --logfile=LOGFILE     Specify log file
  -a NAME=VALUE         Add spider arguments
  -s NAME=VALUE         Add extra scrapy settings
  -o FILE, --output=FILE
                        dump scraped items into FILE (use - for stdout)
  -t FORMAT, --output-format=FORMAT
                        format to use for dumping items with -o (default:
                        jsonlines)
  -v, --verbose         more verbose

不过,这似乎是对文档代码的一个很好的改编:

docker run -i -t --rm -v <PROJECTS_FOLDER>:/app/data/projects:rw -v <OUPUT_FOLDER>:/mnt:rw -p 9001:9001 scrapinghub/portia \
    portiacrawl /app/data/projects/PROJECT_NAME SPIDER_NAME -o /mnt/SPIDER_NAME.jl

我对 docker、portia 和 scrapy 完全陌生。

我无法确定问题的根源。

顺便说一句,我不明白这里提出的解决方案: https://emu.one/scrapy/823487/how-do-i-start-running-portia-spider-how-to-do-it.html

我不知道这个解决方案是否与我有关,因为它似乎没有用于 docker。

我还有一个关于代码第一部分的问题。我想知道我写的是什么:

-v /home/raphael/Documents/entreprise/portia/portia-master/test:/app/data/projects

提前谢谢你

【问题讨论】:

    标签: docker scrapy portia


    【解决方案1】:

    有必要放置一个相对路径。 :(

    docker run -i -t --rm -v ~/Documents/entreprise/portia/portia-master/test:/app/data/projects:rw -v ~/Documents/entreprise/portia/res:/mnt:rw -p 9001:9001 scrapinghub/portia \
                portiacrawl /app/data/projects/Oscaro www.oscaro.com -o /mnt/Oscaro.jl
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2011-05-18
      • 2017-07-09
      • 1970-01-01
      • 2017-09-11
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多