为初学者使用 Python 抓取 PFR 足球数据

Question

背景：我正试图从这个pro-football-reference page. 中抓取一些表格我是 Python 的完全新手，所以很多技术术语最终都迷失在我身上，但在试图了解如何解决这个问题时，我想不通。

具体问题：因为页面上有多个表格，我不知道如何让 python 定位到我想要的那个。我正在尝试获取 Defense & Fumbles 表。下面的代码是我到目前为止所得到的，它是 from this tutorial 使用来自同一站点的页面 - 但只有一个表。

示例代码：

#url we are scraping
url = "https://www.pro-football-reference.com/teams/nwe/2017.htm"

#html from the given url
html=urlopen(url)

# make soup object of html
soup = BeautifulSoup(html)

# we see that soup is a beautifulsoup object
type(soup) 

#
column_headers = [th.getText() for th in 
                  soup.findAll('table', {"id": "defense").findAll('th')]

column_headers #our column headers

尝试：我意识到本教程的方法对我不起作用，因此我尝试更改 soup.findAll 部分以针对特定表。但我反复收到错误消息：

AttributeError：ResultSet 对象没有属性“findAll”。您可能将项目列表视为单个项目。当你打算调用 find() 时，你调用了 find_all() 吗？

改成find的时候，报错变成：

AttributeError: 'NoneType' 对象没有属性 'find'

老实说，我不知道自己在做什么，也不知道这些是什么意思。在确定如何定位该数据然后抓取它方面提供任何帮助，我将不胜感激。

谢谢，

Answer 1

首先，你想使用soup.find('table', {"id": "defense"}).findAll('th') - 找到一个表，然后找到所有的'th'标签。

另一个问题是id为“防御”的表在该页面的html中被注释掉了：

<div class="placeholder"></div>
<!--
   <div class="table_outer_container">
      <div class="overthrow table_container" id="div_defense">
  <table class="sortable stats_table" id="defense" data-cols-to-freeze=2><caption>Defense &amp; Fumbles Table</caption>
   <colgroup><col><col><col><col><col><col><col><col><col><col><col><col><col><col><col><col><col><col><col><col></colgroup>
   <thead>

等等。我假设 javascript 没有隐藏它。 BeautifulSoup 不解析 cmets 的文本，因此您需要找到页面上所有 cmets 的文本，如 this answer，查找其中包含 id="defense" 的文本，然后输入该评论的文本进入 BeautifulSoup。

像这样：

from bs4 import Comment
comments = comments = soup.findAll(text=lambda text:isinstance(text, Comment))
defenseComment = next(c for c in comments if 'id="defense"' in c)
defenseSoup = BeautifulSoup(str(defenseComment))

Answer 2

您在“防御”一词之后的字典中缺少“}”。试试下面，看看它是否有效。

column_headers = [th.getText() for th in soup.findAll('table', {"id": "defense"}).findAll('th')]