郑昀@玩聚SR 20091127

描述如何从网页提取结构化数据的语言:ParsleyScrapy里面用到了Parsley
Parsley是一个挺有意思的小东西,它综合运用了CSS、XPath、正则表达式和JSON,是描述如何从网页里提取结构化数据的简单语言。估计做爬虫(Crawler/Spider)的人都会定义一套类似的模板。只不过Parsley还帮你把具体实现做了,用各种开发语言。

基本事实

Parselets就是用Parsley语言写成的片段(snippets)。

你可以近似认为一个Parselet定义了一套动作,描述如何从html代码中精确抽取数据,比如标题在哪儿,标题的链接怎么拿,评论数在哪儿如何提取。

Parsley有各种语言实现包,Ruby、Python、C/C++等。
pyparsley是对应的Python库。

 

Code和Result示例

具体例子参见:http://parselets.com/parselets/yc/15

描述如何从网页提取结构化数据的语言:Parsley

左侧的Code就是我们通常说的模板,右边的Result就是提取的结构化数据。

那么它是如何变为现实的呢?

 

实现

安装Parsley,再安装http://github.com/fizx/pyparsley,然后运行如下Python代码,就可以从给定网页链接,通过Parselet的描述,获得json格式的结构化数据。

描述如何从网页提取结构化数据的语言:Parsley

 

zhengyun 20091127 beijing

相关文章:

  • 2021-06-30
  • 2021-09-23
  • 2022-02-15
  • 2021-06-10
  • 2021-10-06
  • 2021-12-15
  • 2022-12-23
  • 2021-08-15
猜你喜欢
  • 2021-12-07
  • 2022-12-23
  • 2022-12-23
  • 2021-07-23
  • 2021-06-24
  • 2021-05-24
  • 2021-05-22
相关资源
相似解决方案