如何将 Pyquery 与 scrapy 一起使用？答案

【问题标题】：How to use Pyquery with scrapy?如何将 Pyquery 与 scrapy 一起使用？
【发布时间】：2014-02-10 20:37:38
【问题描述】：

我的目标是将pyquery与scrapy一起使用，显然from scrapy.selector import PyQuerySelector在我抓取蜘蛛时返回ImportError: cannot import name PyQuerySelector。

我按照这个特定的要点 https://gist.github.com/joehillen/795180 来实现 pyquery。

有什么建议或教程可以帮助我完成这项工作吗？

【问题讨论】：

这个要点链接到这个（关闭的）拉取请求：github.com/scrapy/scrapy/pull/358/files。您必须应用此补丁或联系作者 (gist.github.com/joehillen)
为什么不只使用pq = PyQuery(response.body)？

标签： python-2.7 scrapy pyquery

【解决方案1】：

你声明一个类并制定你的规则，在规则提取器的回调属性中，默认情况下给 parse_item scrapy 去 parse() 函数

def parse_item(self, response):
    pyquery_obj = PyQuery(response.body)
    header = self.get_header(pyquery_obj)
    return {
        'header': header,
    }


def get_header(self, pyquery_obj):
    return pyquery_obj('#page_head').text()

【讨论】：