BeautifulSoup：从网站获取信息（父/子问题？）

Question

我是网络爬虫新手，但遇到了问题。

我想从这个页面获取 2 个信息： https://boardgamegeek.com/boardgame/197070/massive-darkness

我想要的信息是：

• 最少玩家人数
• 最大玩家人数

我已经对“1-6名玩家”进行了严格的点击，转到“检查”，我得到：

<div class="gameplay-item-primary">                     <!----><span ng-if="::geekitemctrl.geekitem.data.item.minplayers > 0 || geekitemctrl.geekitem.data.item.maxplayers > 0" min="::geekitemctrl.geekitem.data.item.minplayers" max="::geekitemctrl.geekitem.data.item.maxplayers">     <!----><span ng-if="min > 0">1</span><!----><!----><span ng-if="max>0 &amp;&amp; min != max"><!----><span ng-if="min>0">–</span><!---->6</span><!----> </span><!---->                    Players                 </div>

我试过了：

url=requests.get('https://boardgamegeek.com/boardgame/197070/massive-darkness')
website=url.content
soup = BeautifulSoup(website, "html.parser")
tmp=soup.find("div",{"class":"gameplay-item-primary"})

但是 tmp 的类型是 None（而不是 class 'bs4.element.Tag'） --> 里面没有信息，我也不知道为什么......

问题 1：如何获得我想要的 2 条信息？

问题2：“！----”是什么意思？

问题 3：当我只做 soup.find("div") 时，我得到一个类 'bs4.element.Tag' 对象，但我仍然不知道从哪里获取我的信息...

Answer 1

所以，既然我们已经弄清楚所需的页面使用动态js生成的内容，解决方案会比较困难，但我们不需要做太多的改变。
现在我们需要在您的计算机上安装 selenium webdriver 和 selenium 服务器。使用此link 和this（以防您想在服务器上进行程序）。
但现在只需在控制台中输入：
pip3 install selenium chromedriver
现在我们必须在控制台中运行 chromedriver。
只需输入chromedriver

你的整个脚本应该是这样的：

from selenium import webdriver
import urllib3
import certifi
from bs4 import BeautifulSoup as bs


class Scrapper:
    def __init__(self):
      self.http = urllib3.PoolManager(cert_reqs='CERT_REQUIRED', ca_certs=certifi.where())
      #below we define our chrome driver.
      self.options = webdriver.ChromeOptions()
      self.options.add_argument('headless')
      self.options.add_argument('window-size=1200x600')
      self.driver = webdriver.Chrome(chrome_options=self.options)

    def page_process(self, url):
      self.driver.get(url)
      self.driver.implicitly_wait(2)
      return self.driver.page_source

    def parse_element(self, element):
      return bs(element, 'html.parser')

class Job(Scrapper):
  def __init__(self):
     super().__init__()

  def parse_process(self, url):
      source_page = super().page_process(url)
      parsed_page = super().parse_element(source_page)

      divs_on_page = parsed_page.find_all("div",{"class":"gameplay-item-primary"})
      your_div = divs_on_page[0]
      your_text = your_div.get_text()
      players_arr = your_text.split('-')
      min_players = players_arr[0]
      max_players = players_arr[1]



 url = "https://boardgamegeek.com/boardgame/197070/massive-darkness"
 b = Job()
 b.parse_process(url)