BeautifulSoup Scraping：加载 div 而不是内容

Question

这里是菜鸟。 我正在尝试从该网站抓取搜索结果：http://www.mastersportal.eu/search/?q=di-4|lv-master&order=relevance

我正在使用 python 的 BeautifulSoup

import csv
import requests
from BeautifulSoup import BeautifulSoup

for numb in ('0', '69'):
        url = ('http://www.mastersportal.eu/search/?q=ci-30,11,10,3,4,8,9,14,15,16,17,34,1,19|di-4|lv-master|rv-1&start=' + numb + '0&order=tuition_eea&direction=asc')
        response = requests.get(url)
        html = response.content

        soup = BeautifulSoup(html)
        table = soup.find('div', attrs={'id': 'StudySearchResults'})

        lista = []
        for i in table.findAll('h3'):
            lista.append(h3.string)
print(table.prettify())

我想获取包含 Master 基本信息的干净数据（现在只是名称）。 我在这里使用的 URL 用于对网站进行过滤研究，并且继续处理页面的循环应该没问题。

但是，结果是：

<div id="StudySearchResults">
  <div style="display:none" id="TrackingSearchValue" class="TrackingSearchValue" data-search=""></div>
  <div style="display:none" id="SearchViewEvent" class="TrackingEvent TrackingNoLocation" data-type="srch" data-action="view" data-id=""></div>
  <div id="StudySearchResultsStudies" class="TrackingLinkedList" data-start="" data-list-type="study" data-type="rslts">
    <!-- Wait pane, just here to make sure there is no white page -->
    <div id="WaitPane" class="WaitPane">
      <img src="http://www.mastersportal.eu/Modules/Results/Resources/Throbber.gif" />
      <span>Loading search results...</span>
    </div>
  </div>
</div>

为什么不显示内容而只显示加载 div？环顾四周，我觉得这与网站使用 JavaScript 处理数据的方式有关，Python 是否存在诸如 AJAX 请求之类的东西？ （或任何其他方式告诉爬虫等待页面加载？）

Answer 1

如果你只想要文本，你应该这样做

lista.append(h3.get_text())

关于你的第二个问题，jsfan 的回答是对的。您应该尝试 Selenium 并使用其 wait 功能来等待您的搜索结果，该结果出现在 divs 中，类名为 Result master premium

element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.XPATH, "div[@class*='Result master premium']))
)

Answer 2

您基本上已经回答了自己的问题。 Beautiful Soup 是一个纯粹的网络爬虫，它只会下载服务器为特定 URL 返回的任何内容。

如果您想呈现在浏览器中显示的页面，您需要使用Selenium Webdriver 之类的东西，它会启动一个实际的浏览器并对其进行远程控制。

虽然使用 Webdriver 非常强大，但它的学习曲线也比纯网络抓取要陡峭得多。

如果您想开始在 Python 中使用 Webdriver，official documentation 是一个不错的起点。