当我查看同一网页的源代码时，我在 google chrome (Inspect) 中获得了某些元素，但在 Internet Explorer 中却没有。
我假设 Beautiful Soup 在内部使用 Internet Explorer？其结果与 IE 更接近。
但是，当我使用 chrome 的 Inspect 功能时，我看到了源代码中未列出的某些元素。
有没有办法可以在 Python 中或使用 Beautiful Soup 进行模拟？
【问题讨论】：
标签： python web-scraping beautifulsoup
您可以将您的用户代理更改为以下之一：
https://webscraping.com/blog/User-agents/
片段：更改用户代理会强制页面打开不同的内容（移动设备与 Chrome）
from bs4 import BeautifulSoup
import requests
#headers = {'User-Agent': 'Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.63 Safari/534.3'}
headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 5.1.1; SM-G928X Build/LMY47X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.83 Mobile Safari/537.36'}
result = requests.get("http://derstandard.at", headers=headers)
c = result.content
print result.request.headers
print len(c)
注意：一些网站为user-agent spoofing 保护他们的自拍。因此，并非所有网站都会响应这些频繁的跳转。
【讨论】：
pip install requests 如果您使用的是 linux 发行版。
requests 是 python 中最好的 http lib。让我们尽快使用它。