通过 requests 请求的 HTML 内容与浏览器不同

Question

我正在尝试使用 python beautifulsoup 库从网站 html 中提取一些元素。问题是响应中的 HTML 与我在浏览器上看到的不同。代码如下：

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = 'https://www.nutritionix.com/brands/restaurant'

resp = requests.get(url,verify=True)
soup = BeautifulSoup(resp.content)

我曾尝试使用 urllib 库并使用浏览器代理参数，但它不起作用。

关于如何解决此问题的任何建议？

Answer 1

页面由javascript生成。

尝试使用 firebug 或 google dev 工具。 enter image description here

你想要的数据实际上来自 https://d1gvlspmcma3iu.cloudfront.net/brands-restaurant.json.gz