BeautifulSoup find() 返回标签，但标签之间没有值。为什么是这样？ [复制]答案

【问题标题】：BeautifulSoup find() returns tags, but no value between the tags. Why is this? [duplicate]BeautifulSoup find() 返回标签，但标签之间没有值。为什么是这样？ [复制]
【发布时间】：2018-12-10 18:33:30
【问题描述】：

我使用的代码很简单：

import requests
from bs4 import BeautifulSoup

re = requests.get('https://bitcointicker.co/stamp/btc/usd/1hr/')
print(re.status_code)
soup = BeautifulSoup(re.content, 'lxml')
value = soup.find(id="lastTrade")
print(value)

但是，print(value) 行会产生以下内容：

<div id="lastTrade"> </div>

这很奇怪，因为网站上的元素检查器显示以下内容：

<div id="lastTrade">3420.140</div>

当脚本尝试访问包含在 div 中的值时，出了什么问题？我怀疑发生了与安全和数据隐私相关的事情，但我目前不知道与此相关的任何事情。

【问题讨论】：

见：https://stackoverflow.com/questions/47737796/beautifulsoup-div-class-returns-empty

标签： python python-3.x web-scraping beautifulsoup web-crawler

【解决方案1】：

如果你查看源代码，你会发现值不存在：

<div id="lastTrade">&nbsp;</div>

值是动态生成的。您应该使用selenium 或类似的网络驱动程序来获取它。

【讨论】：

【解决方案2】：

您可以使用不同的 url 并提取最后一个相同的值（尽管站点不断轮询更新）。如果您在运行请求的同时打开了原始网站并监控标题，您应该会短暂看到匹配项。

import requests
from bs4 import BeautifulSoup

re = requests.get('https://bitcointicker.co/getHistCur.php?mins=60&cur=USD&exch=stamp')
items = re.json()
print(items[-1]['price'])

【讨论】：

这会比打开浏览器更快。