Python漂亮的soup4-find_all返回“[]”

Question

我正在使用 python BS4 来抓取 https://skinup.gg 网站。我正在尝试从网站按顺序获取乘数类。

我试图通过从 div 历史类中获取所有数据来抓取信息。然而它只返回[]，我对如何获得乘数感到困惑。

不知道是不是因为div标签类的值是不断变化的。这引出了我的第二个问题：它们如何在 html 标签中具有动态值？是通过Javascript 完成的吗？

请原谅我的语法错误。

这是我的代码：

import urllib.request
import requests
from bs4 import BeautifulSoup
import urllib

page = requests.g et("https://skinup.gg/"
soup = BeautifulSoup(page.content, "html.parser")


print(soup.find_all('div', attrs={'class': 'win'}))

相关网站代码：

<div class="history"><div class="win" style="">
  <time class="date">23:05</time>
  <span class="multiplier">2.19</span>
</div><div class="win" style="">
  <time class="date">23:04</time>
  <span class="multiplier">2.62</span>
</div><div class="lose" style="">
  <time class="date">23:04</time>
  <span class="multiplier">1.75</span>
</div><div class="lose" style="">
  <time class="date">23:04</time>
  <span class="multiplier">1.00</span>
</div><div class="lose" style="">
  <time class="date">23:04</time>
  <span class="multiplier">1.21</span>
</div><div style="">
  <time class="date">23:03</time>
  <span class="multiplier">1.82</span>
</div><div class="lose" style="">
  <time class="date">23:03</time>
  <span class="multiplier">1.00</span>
</div><div class="win" style="">
  <time class="date">23:03</time>
  <span class="multiplier">2.91</span>
</div><div class="lose" style="">
  <time class="date">23:02</time>
  <span class="multiplier">1.01</span>
</div><div class="win" style="">
  <time class="date">23:02</time>
  <span class="multiplier">1184.44</span>
</div><div class="win" style="">
  <time class="date">23:01</time>
  <span class="multiplier">36.81</span>
</div><div class="lose" style="">
  <time class="date">22:59</time>
  <span class="multiplier">1.38</span>
</div><div class="win" style="">
  <time class="date">22:59</time>
  <span class="multiplier">2.42</span>
</div><div class="win" style="">
  <time class="date">22:59</time>
  <span class="multiplier">8.00</span>
</div><div class="win" style="">
  <time class="date">22:58</time>
  <span class="multiplier">3.42</span>
</div><div class="win" style="">
  <time class="date">22:57</time>
  <span class="multiplier">2.04</span>
</div><div class="lose" style="">
  <time class="date">22:57</time>
  <span class="multiplier">1.17</span>
</div><div class="lose" style="">
  <time class="date">22:57</time>
  <span class="multiplier">1.24</span>
</div><div class="lose" style="">
  <time class="date">22:57</time>
  <span class="multiplier">1.11</span>
</div><div class="lose" style="">
  <time class="date">22:56</time>
  <span class="multiplier">1.53</span>
</div>

                </div>

Answer 1

首先，这应该会引发语法错误：

page = requests.g et("https://skinup.gg/"

改成：

page = requests.get("https://skinup.gg/")

我建议使用lxml而不是html.parser，它更快更轻。

现在，回答你的问题，

win为class属性的div段在history类属性的div段下。所以首先你搜索历史，然后在获得的列表中搜索win。

但是，当我运行您的脚本并交叉检查您链接的站点的页面源时，没有具有 win 类属性的 div 段。

您能否提及，您从哪里获得相关网站代码？

Answer 2

对于有问题的网站，您需要使用selenium 来获取您想要的数据。

Answer 3

正如 t.m.adam 提到的，urllib 或 requests 无法获取动态页面源。
但是当你看到你用chrome开发者工具链接的页面时，可以看到round.multiplier >2时生成了div win类。
这些是由使用 wss 协议的 'socketcluster/' 接收的。
所以你应该使用 python wss 模块来实现你的目标。