不返回所有表格

Question

我想尝试从this website 中抓取所有表格。该网站包含多个10 表格。当我使用pd.read_html() 时，它只返回3 个表格，但我希望我的脚本返回所有表格。 我的脚本：

import pandas as pd
url = "https://aws.pro-football-reference.com/teams/mia/2000.htm"
df = pd.read_html(url)
len(df)

输出：

3

特别想要这张桌子：

如何使用pd.read_html() 获取所有表格？

Answer 1

pd.read_html 在后台使用 BeautifulSoup 从网页中抓取 <table> 元素。使用requests抓取网页的HTML并手动解析，我发现你链接的页面确实只包含三个<table>元素。但是，可以在 HTML cmets 中找到几个附加表（包括您想要的“踢”表）的数据。

解决方案

解析注释掉的表格。

import requests
import bs4
import pandas as pd

url = "https://aws.pro-football-reference.com/teams/mia/2000.htm"
scraped_html = requests.get(url)
soup = bs4.BeautifulSoup(scraped_html.content)

# Get all html comments, then filter out everything that isn't a table
comments = soup.find_all(text=lambda text:isinstance(text, bs4.Comment))
commented_out_tables = [bs4.BeautifulSoup(cmt).find_all('table') for cmt in comments]
# Some of the entries in `commented_out_tables` are empty lists. Remove them.
commented_out_tables = [tab[0] for tab in commented_out_tables if len(tab) == 1]

print(len(commented_out_tables))

给8。

其中只有一个是“踢”桌。我们可以通过查找id 属性设置为kicking 的table 来找到它。

for table in commented_out_tables:
    if table.get('id') == 'kicking':
        kicking_table = table
        break

把它变成pd.DataFrame 和pd.read_html。

pd.read_html(str(kicking_table))

产生以下结果：

[  Unnamed: 0_level_0 Unnamed: 1_level_0 Unnamed: 2_level_0 Unnamed: 3_level_0 Games       ... Kickoffs Punting
                  No.             Player                Age                Pos     G   GS  ...    KOAvg     Pnt     Yds   Lng Blck   Y/P
 0                1.0          Matt Turk               32.0                  p    16  0.0  ...      NaN    92.0  3870.0  70.0  0.0  42.1
 1               10.0        Olindo Mare               27.0                  k    16  0.0  ...     60.3     NaN     NaN   NaN  NaN   NaN
 2                NaN         Team Total               27.3                NaN    16  NaN  ...     60.3    92.0  3870.0  70.0  0.0  42.1
 3                NaN          Opp Total                NaN                NaN    16  NaN  ...      NaN    87.0  3532.0   NaN  NaN  40.6

 [4 rows x 32 columns]]