Soup.find_all 返回一个空列表

Question

我正在尝试使用 requests 和 BeautifulSoup 为 NBA 统计数据抓取球员统计数据表，但我得到的响应与我使用“检查元素”看到的不同

包含此表的div 具有类属性：class="nba-stat-table__overflow。但是，每当我运行以下代码时，我都会得到一个空列表：

table = soup.find_all('div',attrs={'class="nba-stat-table__overflow'})

这是我的完整代码：

import os
import pandas as pd
import numpy as np
from bs4 import BeautifulSoup
import requests

url = 'https://stats.nba.com/players/boxscores/?Season=2018-19&SeasonType=Regular%20Season'
response = requests.get(url)
soup = BeautifulSoup(response.content,'html.parser')
table = soup.find_all('div',attrs={'class="nba-stat-table__overflow'})

Answer 1

页面基本上是通过JavaScript 加载的，所以bs4 或requests 模块将无法即时渲染JavaScript。

你应该使用selenium或requests_html模块来渲染JS，但是我注意到网站使用API，可以用来获取数据，所以我调用它并提取数据。

查看我以前的Answer，它为您解释了如何获取API。

import requests
import pandas as pd

params = {
    "Counter": "1000",
    "DateFrom": "",
    "DateTo": "",
    "Direction": "DESC",
    "LeagueID": "00",
    "PlayerOrTeam": "P",
    "Season": "2018-19",
    "SeasonType": "Regular Season",
    "Sorter": "DATE"
}


headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/20100101 Firefox/75.0',
    "x-nba-stats-origin": "stats",
    "x-nba-stats-token": "true",
    "Referer": "https://stats.nba.com/players/boxscores/?Season=2018-19&SeasonType=Regular%20Season"
}


def main(url):
    r = requests.get(url, params=params, headers=headers).json()
    goal = []
    for item in r['resultSets']:
        df = pd.DataFrame(item['rowSet'], columns=item['headers'])
        goal.append(df)

    new = pd.concat(goal)
    print(new)
    new.to_csv("data.csv", index=False)


main("https://stats.nba.com/stats/leaguegamelog")

输出：View-Online