BeautifulSoup with Pandas - csv 中的问题答案

【问题标题】：BeautifulSoup with Pandas - Problem in csvBeautifulSoup with Pandas - csv 中的问题
【发布时间】：2022-11-12 11:26:02
【问题描述】：

我是 python 和网络抓取的新手，但我无法将文件保存在 csv 中。如果我打印（单元格），我可以看到所有这些，但是当我放文件没有保存所有数据，只保存了几行，如下图所示

page = self.driver.page_source
soup = BeautifulSoup(page, 'html.parser')
data:[]
table = soup.find('table' , attrs={'class':'el-table__body'})
table_body = table.find('tbody')

# Loop para puxar os dados da tabela
for row in table_body.find_all('tr'):
    cells = row.find_all('td')
    cells = [ele.text.strip() for ele in cells]
    #data.append([ele for ele in cells if ele])
    print(cells)

[

如果我打印（单元格），我可以看到所有这些，但是当我放该文件未保存所有数据，仅保存几行，如下所示：

【问题讨论】：

您的问题缺少一个要点，即您如何将lists 的list 转换为dataframe 各自的CSV 并且需要一些改进。

标签： python pandas web-scraping beautifulsoup

【解决方案1】：

你可以试试下一个例子

import pandas as pd

page = self.driver.page_source
soup = BeautifulSoup(page, 'html.parser')
data = []
table = soup.find('table' , attrs={'class':'el-table__body'})
table_body = table.find('tbody')

# Loop para puxar os dados da tabela
for row in table_body.find_all('tr'):
    cells = row.find_all('td')
    cells = [ele.text.strip() if ele else None for ele in cells]
    data.append({'cells': cells})

df = pd.DataFrame(data).to_csv('out.csv', index=False)

【讨论】：