使用 BeautifulSoup 从网页中抓取数据返回 None答案

【问题标题】：Scraping Data from Webpage using BeautifulSoup returns None使用 BeautifulSoup 从网页中抓取数据返回 None
【发布时间】：2016-11-27 16:03:20
【问题描述】：

我是新手.. 例如，我正在尝试抓取类似这样的内容（编号 24）

<td class="score part"> <span class="p1_home>24</span></td>

但我的代码：

from bs4 import BeautifulSoup
import requests

html = requests.get("http://www.rezultati.com/utakmica/jLRSI3m9/#detalji")

soup = BeautifulSoup(html.text,'html.parser')

data2 = soup.find('td',{'class':'score part'})

print(data2)

什么都不给我

我哪里错了？

【问题讨论】：

问题是网页只将数据加载到Ajax Table中。一个问题的例子是：stackoverflow.com/questions/5913280/…
我建议将此标记为重复到stackoverflow.com/questions/27678485/…

标签： python beautifulsoup

【解决方案1】：

你的想法是对的，但我认为这个网站实现了某种 javascript 来隐藏值，以阻止像你这样的人抓取他们的网站。尝试使用 selenium，因为它可以像人们看到的那样抓取网站。如果您需要更多信息，请告诉我。

【讨论】：

你可以看到我在说什么。如果您右键单击并选择“查看源代码”，则找不到您所指的值。你可以在检查元素时看到它。

【解决方案2】：

我已经解决了，谢谢你的帮助

from selenium import webdriver
driver = webdriver.Chrome()

driver.get("http://www.rezultati.com/utakmica/jLRSI3m9/#detalji")

posts = driver.find_elements_by_class_name("p1_home")
for post in posts:
    print(post.text)

【讨论】：