使用网址的爬虫[关闭]

Question

大家好，我需要使用 python（我的 python 版本是 2.6.6）仅使用 url 来爬取座位。

• 首先我需要打开此链接(http://www.google.com/) 并抓取，我应该收集此页面中存在的所有 http 链接；
• 其次，从收集的http链接中，我应该去每个链接，通过这个链接我需要打开并执行爬取过程，并且应该将爬取的链接保存在一个单独的文件夹中。 我只是在尝试这种方式，如果有人知道解决方案请回复我需要你的帮助..

Answer 1

Step1：使用urllib or urllib2python库，访问你的页面。

第 2 步：使用任何 xml/html 解析器（如 lxml 或 Beautiful Soup）从您的网页中获取所有链接。

步骤 3：现在再次将这些链接传递给 urllib 或 urllib2 并保存您的网页。

你也可以试试Scrapy或Mechanize。

这里是使用xpath expressions with lxml 的示例。您可以使用 firebug 获取任何元素的 xpath。

import lxml
from lxml import etree
import urllib2

response = urllib2.urlopen('your url')
html = response.read()
link = etree.HTML(html)
links = link.xpath('xpath expr')