【发布时间】:2017-01-17 05:03:17
【问题描述】:
我正在使用 scrapy 来解析 html。
def get_scripts(self, response):
items = response.css('ul#top-menu').css('a::text').extract()
if items:
self.write_file(response.meta['item'],items)
else:
items = response.css('ul.menu').css('a::text').extract()
if items:
self.write_file(response.meta['item'],items)
else:
items = response.css('ul.nav').css('a::text').extract()
self.write_file(response.meta['item'],items)
现在我想将所有逻辑放在一个数组中。喜欢
logicArr=['response.css('ul#top-menu').css('a::text').extract()','response.css('ul.menu').css('a::text').extract()','response.css('ul.nav').css('a::text').extract()']
然后遍历这个数组并选择每个逻辑并执行它。基本上我有无限数量的逻辑,所以我不能在 if/else 块中写下所有这些。我想要的是这样的。
for logic in logicArr:
items=execute(logic)
if items:
self.write_items_to_file()
break
【问题讨论】:
标签: python scrapy rule-engine