如何使用 Python 从 url 获取 html？

Question

我正在尝试关注this tutorial 以了解网络抓取。因为我使用的是 Python3，所以我一直在使用 urllib 而不是 urllib2 来尝试正确请求 URL：

from urllib import request
# tried import urllib
# tried import urllib.request

url = "http://www.bloomberg.com/quote/SPX:IND"
raw_html = request.urlopen(url)

似乎没有正确打开 URL，我会收到此错误：

urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed. 

我找到了一个潜在的解决方案，但帖子中没有提到这样的错误。

最后，我真的很想用 Python requests library。

import requests

url = "http://www.bloomberg.com/quote/SPX:IND"
raw_html = requests.get(url)

# get in BeautifulSoup format
processed_html = BeautifulSoup(raw_html.content, "html.parser")
# print('processed_html = ', processed_html)
h1 = processed_html.findAll("h1")
print('h1 = ', h1)

问题是我只能取回“Bloomberg”h1 标签，但网页上还有其他 h1 标签。当我查看processed_html 时，有些标签和类不存在。

我真的很喜欢请求库问题的解决方案，但感谢任何帮助或指导。

Answer 1

关于教程，您应该已经阅读：

抓取规则

在抓取之前，您应该查看网站的条款和条件 它。请仔细阅读有关合法使用数据的声明。 通常，您抓取的数据不应用于商业用途 目的。

现在要么a）本教程是在网站更新其服务条款之前不久编写的，b）他们已经获得了抓取网站的书面同意，或者 c）教程公然忽略了它自己的建议。我将怀疑服务条款自两年前撰写或获得书面许可以来已更改，但如果您阅读该网站的服务条款，您将阅读：

...您不得使用或试图使用任何 “爬虫”、“机器人”、“机器人”、“蜘蛛”、“数据挖掘”、“计算机代码”、 或任何其他自动化设备、程序、工具、算法、过程或 访问、获取、复制或监控任何部分的方法 服务，在服务上发现或通过服务访问的任何数据或内容， 或任何其他服务信息未经事先明确书面 BLP 的同意。您不得伪造标题或以其他方式操纵 标识符以掩盖任何其他内容的来源。

所以我建议找一个不同的网站来练习，它遵循相同的过程。