使用正则表达式进行网页抓取

Question

我不知道为什么这段代码不起作用，甚至认为它与在线教程 Python Web Scraping Tutorial 5 (Network Requests) 上的代码相同。我也尝试通过在线 Python 解释器运行代码。

import urllib
import re

htmltext = urllib.urlopen("https://www.google.com/finance?q=AAPL")

regex = '<span id="ref_[^.]*_l">(.+?)</span>'
pattern = re.compile(regex)
results = re.findall(pattern,htmltext)
results

我明白了：

re.pyc in findall(pattern, string, flags)
175 
176     Empty matches are included in the result."""
--> 177     return _compile(pattern, flags).findall(string)
178 
179 if sys.hexversion >= 0x02020000:

TypeError: expected string or buffer 

预期结果：

112.71

帮助表示赞赏。我尝试在 url 上使用“read()”，但这没有用。根据文档，甚至应该包括空结果。谢谢

Answer 1

问题是您实际上并没有从请求中读取 HTML。

htmltext = urllib.urlopen("https://www.google.com/finance?q=AAPL").read()

Answer 2

如果你按照教程直到最后:)：

% python2                                                                                                     
>>> import urllib
>>> data = urllib.urlopen('https://www.google.com/finance/getprices?q=AAPL&x=NASD&i=10&p=25m&f=c&auto=1').read()
>>> print data.split()[-1]
112.71

切勿使用正则表达式进行网页抓取

我对获取最后一个数组元素进行了改进