【问题标题】:Increment scraping using Scrapy on the URL在 URL 上使用 Scrapy 进行增量抓取
【发布时间】:2014-02-04 19:03:37
【问题描述】:

我正在为大学做一个项目,我想使用 scrappy 来获取我的测试数据。我希望能够获取一个基本 url - 例如 store.steampowered.com/app/1 并在记录中移动 app/2、app/500、app/50000 (我想使用正则表达式来定义一组规则)等 - 但我似乎不知道该怎么做。我不能谷歌它,因为我不知道它叫什么!

我只想拉回有限数量的数据,而且我知道如何使用路径为各个页面执行此操作。

【问题讨论】:

    标签: python html xpath scrapy


    【解决方案1】:
    ['%s%d' % (base_url, x) for x in number_list]
    

    number_list 可以是 [1,2,3] 或您需要的任何数量的数据/应用程序。 如果你想设置规则,你可能正在寻找一个生成器,它会产生一个遵循你的规则的数字。

    【讨论】:

      猜你喜欢
      • 2016-11-30
      • 1970-01-01
      • 1970-01-01
      • 2022-12-07
      • 1970-01-01
      • 1970-01-01
      • 2023-04-03
      • 2021-01-13
      • 1970-01-01
      相关资源
      最近更新 更多