【问题标题】:scrapy create simple rule enginescrapy 创建简单的规则引擎
【发布时间】:2017-01-17 05:03:17
【问题描述】:

我正在使用 scrapy 来解析 html。

def get_scripts(self, response):

    items = response.css('ul#top-menu').css('a::text').extract()
    if items:
        self.write_file(response.meta['item'],items)          
    else:
        items = response.css('ul.menu').css('a::text').extract()
        if items:
            self.write_file(response.meta['item'],items)

        else:
            items = response.css('ul.nav').css('a::text').extract()
            self.write_file(response.meta['item'],items)

现在我想将所有逻辑放在一个数组中。喜欢

logicArr=['response.css('ul#top-menu').css('a::text').extract()','response.css('ul.menu').css('a::text').extract()','response.css('ul.nav').css('a::text').extract()']

然后遍历这个数组并选择每个逻辑并执行它。基本上我有无限数量的逻辑,所以我不能在 if/else 块中写下所有这些。我想要的是这样的。

for logic in logicArr:  
            items=execute(logic)
            if items:
                self.write_items_to_file()
                break

【问题讨论】:

    标签: python scrapy rule-engine


    【解决方案1】:
    for logic in logicArr:
        items=exec logic
        if items:
            self.write_items_to_file()
            break
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2012-10-31
      • 1970-01-01
      • 2010-09-17
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-01-08
      • 2011-05-18
      相关资源
      最近更新 更多