谷歌应用引擎 lxml 生产错误

Question

我在 Google App Engine 上使用 lxml 来抓取一些基本数据。

它适用于 SDK。当我尝试在我得到的 appengine 服务器上使用它时。

IOError: Error reading file 'http://www.google.com': failed to load external entity "http://www.google.com"

我的代码是这样的；

import lxml.html
url = "http://www.google.com"
t = lxml.html.parse(url)
pagetitle = t.find.(".//title").text
self.response.out.write(pagetitle)

编辑： 我最终不得不做出一个小的改变来处理，如下面的答案所述。

from google.appengine.api import urlfetch
result = urlfetch.fetch(url)
t = lxml.html.fromstring(result.content)

Answer 1

GAE 不支持打开套接字，您应该使用urlfetch.fetch() 获取页面内容，然后将其提供给解析器。