爬虫神器xpath的用法（一）

1、如果你没有安装lxml，请运行pip install lxml或者easy_install lxml安装，如果在安装过程中失败的话，

是因为lxml需要依赖某些库文件，具体可以问下度娘，这里不再赘述。

2、安装成功后，请看下面测试代码

//：定位根节点
/：往下层寻找
/text()：提取文本内容
/@xxx：提取属性内容

#encoding=utf-8
from lxml import etree
html = '''
<!DOCTYPE html>
<html>
<head lang="en">
    <meta charset="UTF-8">
    <title>测试-常规用法</title>
</head>
<body>
<div >
    <ul >
        <li>这是第一条信息</li>
        <li>这是第二条信息</li>
        <li>这是第三条信息</li>
    </ul>
    <ul >
        <li>不需要的信息1</li>
        <li>不需要的信息2</li>
        <li>不需要的信息3</li>
    </ul>
    <div >
        <a href="http://www.meilishuo.com">美丽说</a>
        <a href="http://www.meilishuo.com" title="美丽说流行款">美丽说只做正确流行款</a>
    </div>
</div>
</body>
</html>
'''
selector = etree.HTML(html)

#提取文本，获取根目录下div且id=content下面的ul且id=useful的文本内容
content = selector.xpath('//div[@>)
for each in content:
    print each

#提取属性 获取根目录下a标签且属性为href的内容，如果不指定则返回为list
link = selector.xpath('//a/@href')
print link

title = selector.xpath('//a/@title')
print title[0]

将打印出如下信息：

//提取文本属性的输出：

这是第一条信息
这是第二条信息
这是第三条信息

//提起属性的输出：
['http://www.meilishuo.com', 'http://www.meilishuo.com']
美丽说流行款