Beautiful Soup 4 代码针对不同情况返回不同的答案

Question

我正在尝试使用以下 BS4 代码抓取网页：

url = "http://www.xyz.con/abc.html"
#url2 = "file:///C:/Users/abc.html"
response = urllib2.urlopen(url)
html = response.read()
soup = BeautifulSoup(html)
myuls = soup.findAll("ul",{ "class" : "ctlg-holder"})
mya = myuls[0].findAll("a")

问题是，以下代码在在线页面上返回253个链接，但是当我将页面保存在我的计算机中并使用本地url2时，它返回342个链接（正确）

为什么我的代码只适用于本地保存的页面 (url2)？为什么它没有在 http url 上返回正确的答案？

Answer 1

页面可以在浏览器中使用 javascipt 来生成额外的数据。

您无法使用 urllib2 或 requests 获取数据，因为此工具不运行 javascript。

您可以使用Selenium 之类的工具来模拟浏览器并可以运行javascipt。

或者您必须在浏览器中分析页面并了解 javascript 如何获取额外数据。
也许您可以使用urllib2 或requests 下载它。但是额外的数据可以发送为JSON，你必须使用模块json。