使用 Beautiful Soup 抓取时节点丢失数据 [重复]

Question

我正在编写一个网络爬虫来提取财务数据和分析师建议。我有一个问题，当我从页面源代码中提取数据时，节点中的数据似乎丢失/不正确，我得到 0.00 美元，但正确的值为 884.23 美元

下面是示例代码：

import requests as rq
from bs4 import BeautifulSoup as bs

sym='cmg'
url='https://www.nasdaq.com/market-activity/stocks/{}/analyst-research'.format(sym)
page_response = rq.get(url, timeout=5)
page=bs(page_response.content, 'html.parser')
sr=page.find('div', attrs={'class':'analyst-target-price__price'})

print(sr.text)
Out[546]: '$0.00'

在撰写此问题时，从网站上的 html 代码来看，该值应为 884.23 美元。

就像我在上面所说的，我认为问题是当我获得页面响应/内容时网站没有完全呈现。有没有人可以解决这个问题？

Answer 1

您尝试抓取的值是由 Javascript 生成的，因此它不在页面的源代码中。 您可以通过发送 js 发出的相同请求来获得相同的值：

import requests as rq

sym            = 'cmg'
url            = 'https://api.nasdaq.com/api/analyst/{}/targetprice'.format(sym)
page_response  = rq.get(url).json()
priceTarget    = page_response['data']['consensusOverview']['priceTarget']
lowPriceTarget = page_response['data']['consensusOverview']['lowPriceTarget']
highPriceTarget = page_response['data']['consensusOverview']['highPriceTarget']

print('priceTarget',priceTarget)
print('lowPriceTarget ',lowPriceTarget )
print('highPriceTarget ',highPriceTarget )

输出：

priceTarget 884.23
lowPriceTarget  550.0
highPriceTarget  1050.0