仅从 BeautifulSoup，python 中的表（td）中提取特定的行和列答案

【问题标题】：Extract only specific rows and columns from a table (td) in BeautifulSoup, python仅从 BeautifulSoup，python 中的表（td）中提取特定的行和列
【发布时间】：2016-06-15 18:34:48
【问题描述】：

我想从网站上抓取数据并将其写入 CSV。示例代码包含“列名”和“值”。

<div class="table-responsive">
  <table class="table table-bordered table-hover">
    <tbody>
    <!-- required First 3 column names-->
      <tr>
        <td></td>   
        <td align="center" style="vertical-align:middle;" title=" Number">Number</td>
        <td align="center" style="vertical-align:middle;" colspan="2" title=" Code ">CODE</td>
        <td align="center" style="vertical-align:middle;">Name</td>
        <td align="center" style="vertical-align:middle;" title="Category ">Category</td>
        <td align="center" style="vertical-align:middle;" title="Variation ">Variation</td>
      </tr>
      <!-- required -->
      <tr class="success">
        <td align="center" style="vertical-align:middle;"></td>
        <td align="center" style="vertical-align:middle;"><a href="/Number/3259">3259</a>
        </td>
        <td style="width:125px;height:60px;vertical-align:middle;" <a href="/CODE/ABC123">ABC123</a>
        </td>
        <td align="center" style="vertical-align:middle;"><a title="CODE ABC123" href="/CODE/ABC123">LAND </a>
        </td>
        <td align="center" style="vertical-align:middle;" class="success">3 - Design Reference</td>
        <td align="center" style="vertical-align:middle;" class="success">2 - Production Item</td>
      </tr>
      <!-- not-required -->
      <tr>
        <td colspan="7">
          <div id="BMCRL_36" class="collapse">
            <div class="list-group">
              <a class="list-group-item">
                <h4 class="list-group-item-heading"> Number 3259 - Reference Number ABC123</h4>
                <p class="list-group-item-text"></p>
              </a>
              <a class="list-group-item">
                <h4 class="list-group-item-heading">CODE ABC123 </h4>
                <p class="list-group-item-text"></p>
              </a>
            </div>
          </div>
        </td>
      </tr>
      <!-- required -->
      <tr class="">
        <td align="center" style="vertical-align:middle;"></td>
        <td align="center" style="vertical-align:middle;"><a href="/Number/3260">3260</a>
        </td>
        <td style="width:125px;height:60px;vertical-align:middle;" <a href="/CODE/XYZ453">XYZ453</a>
        </td>
        <td align="center" style="vertical-align:middle;"><a title="CODE XYZ453" href="/CODE/XYZ453">WATER </a>
        </td>
        <td align="center" style="vertical-align:middle;" class="success">3 Control Reference</td>
        <td align="center" style="vertical-align:middle;" class="success">2 Item</td>
      </tr>

    </tbody>
  </table>
</div>

输出应该是这样的

当我使用这个时，来自第一个 'td' 标记的列名

from bs4 import BeautifulSoup
soup = BeautifulSoup(open('code.html'),'lxml')
col = soup.find('tr').find_all('td')
for c in col:
    print(c.get_text())

打印所有列。相反，我只需要，

['Number', 'Code', 'Name']

我不需要包含“colspan”的'tr' (3rd tr)

同时删除最后两列值，

 tr = soup.findChildren('tr')  
 for t in tr:  
     td = t.findChildren('td')   
     for child in td:   
        print(child.text)

我再次获得了包括列和值在内的全部数据，我期望的是

 ['3259', 'ABC123', 'LAND']
           and
 ['3260', 'XYZ453','WATER']

通过删除
['3 - Design Reference','2 - Production Item']

【问题讨论】：

标签： python regex web-scraping beautifulsoup html-table

【解决方案1】：

继 Alecxe 的有用答案之后，为了获得更易读和 Pythonic 的方法，可以使用列表推导来排除特定的 BS4 结果（包括那些不符合设定标准的结果）。这是一个例子：

rows = [ row for row in soup.findAll('tr') if 'adsbygoogle' not in row.text ]

这会创建一个新的行列表，其中仅包含所需的元素。

【讨论】：

【解决方案2】：

对find_all() 的结果进行切片以仅获取相关的列和单元格。为了仅获取相关行，请检查 class 属性是否存在。

工作样本：

import requests
from bs4 import BeautifulSoup

data = """
your HTML here
"""

soup = BeautifulSoup(data, "lxml")

headers = [c.get_text() for c in soup.find('tr').find_all('td')[1:4]]

data = [[cell.get_text(strip=True) for cell in row.find_all('td')[1:4]]
        for row in soup.find_all("tr", class_=True)]

print(headers)
print(data)

打印：

['Number', 'CODE', 'Name']
[['3259', 'ABC123', 'LAND'], ['3260', 'XYZ453', 'WATER']]

【讨论】：