【问题标题】:extra data between html tags using scrapy (not xpath)使用scrapy(不是xpath)的html标签之间的额外数据
【发布时间】:2013-01-02 23:24:00
【问题描述】:

我正在编写一个scrapy spider,我希望用户能够提供像<span class="someclass"></span><a style="somestuff"></a> 这样的html 标签,然后使用这些标签提取中间的文本并将其放入我的结果中。 我真的不希望用户必须提供 Xpath。我知道使用 xpath 编写代码可能更容易,但我会让我的爬虫可供不那么精通技术的用户使用。

你会怎么做?

【问题讨论】:

  • 如果您想要一个用户友好的刮板,请查看Scrapely
  • 不适用于 Python,但我的 Xidel 也有类似的想法。你可以给它<span class="someclass">{.}</span>* 作为模板,它会打印出所有带有 someclass 的 span。

标签: python html scrapy


【解决方案1】:

看看这个

http://django-dynamic-scraper.readthedocs.org/en/latest/

我试过了,效果很好,你也可以链接 django 模型。

你可以从那里得到很多想法,如何接受用户输入

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-04-20
    • 2013-10-14
    • 2017-06-22
    • 2021-03-18
    • 2015-10-25
    • 2012-02-18
    相关资源
    最近更新 更多