如何使用 bs4 和请求在 ::beofre 选择器中抓取元素？

Question

当我使用 bs4 抓取前面的 div 标签时，带有 ::before 和 ::after 标签的内容不可见。 我怎样才能刮掉它们？ 我需要网站浏览量的价值。 i need to scrape data from this website

解析器-'lxml'

import requests
from bs4 import BeautifulSoup
import csv
import lxml
import re

website_base="https://pageviews.toolforge.org  /?project=de.wikipedia.org&platform=all-access&agent=user&redirects=0& range=all-time&pages="
name="Michael_ten_Hompel"
main_url=website_base+name

page=requests.get(main_url).text
soup=BeautifulSoup(page,'lxml')



req=soup.find('div',{'class':"chart-legend col-lg-12 clearfix"})

print(req)

Answer 1

您可以使用端点获取所有数据，将其转储到数据框，然后绘制它。

方法如下：

import matplotlib.pyplot as plt
import pandas as pd
import requests

endpoint = "https://wikimedia.org/api/rest_v1/metrics/pageviews/per-article/" \
           "de.wikipedia/all-access/user/Michael_ten_Hompel/daily/2015070100/2021052100"
headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) "
                  "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.86 "
                  "YaBrowser/21.3.0.740 Yowser/2.5 Safari/537.36"
}
response = requests.get(endpoint, headers=headers).json()
df = pd.DataFrame(
    [[item["timestamp"], item["views"]] for item in response["items"]],
    columns=["Timestamp", "Value"],
)

plt.plot(df["Timestamp"], df["Value"])
plt.show()

这应该会产生一个如下所示的图：