BeautifulSoup (bs4) 找不到所有标签

Question

我正在使用 Python 3.5 和 bs4

以下代码不会从指定网站检索所有表。该页面有 14 个表，但代码的返回值为 2。我不知道发生了什么。我手动检查了 HTML，但找不到它不起作用的原因。每张桌子似乎都没有什么特别之处。

import bs4
import requests

link = "http://www.pro-football-reference.com/players/B/BradTo00.htm"

htmlPage = requests.get(link)
soup = bs4.BeautifulSoup(htmlPage.content, 'html.parser')
all_tables = soup.findAll('table')
print(len(all_tables))

发生了什么事？

编辑：我应该澄清一下。如果我检查汤变量，它包含我希望看到的所有表。我怎么不能用 findAll 方法从汤中提取这些表？

Answer 1

这个页面是用javascript渲染的，如果你禁用浏览器中的javascrip，你会注意到这个页面只有两个表。 我建议在这种情况下使用硒。