【发布时间】:2014-02-04 19:03:37
【问题描述】:
我正在为大学做一个项目,我想使用 scrappy 来获取我的测试数据。我希望能够获取一个基本 url - 例如 store.steampowered.com/app/1 并在记录中移动 app/2、app/500、app/50000 (我想使用正则表达式来定义一组规则)等 - 但我似乎不知道该怎么做。我不能谷歌它,因为我不知道它叫什么!
我只想拉回有限数量的数据,而且我知道如何使用路径为各个页面执行此操作。
【问题讨论】:
我正在为大学做一个项目,我想使用 scrappy 来获取我的测试数据。我希望能够获取一个基本 url - 例如 store.steampowered.com/app/1 并在记录中移动 app/2、app/500、app/50000 (我想使用正则表达式来定义一组规则)等 - 但我似乎不知道该怎么做。我不能谷歌它,因为我不知道它叫什么!
我只想拉回有限数量的数据,而且我知道如何使用路径为各个页面执行此操作。
【问题讨论】:
['%s%d' % (base_url, x) for x in number_list]
number_list 可以是 [1,2,3] 或您需要的任何数量的数据/应用程序。 如果你想设置规则,你可能正在寻找一个生成器,它会产生一个遵循你的规则的数字。
【讨论】: