Python 3.x - iloc 抛出错误 - “单个位置索引器超出范围”

Question

我正在从网站上抓取选举数据并尝试将其存储在数据框中

import pandas as pd
import bs4
import requests

columns = ['Candidate','Party','Criminal Cases','Education','Age','Total Assets','Liabilities']

df = pd.DataFrame(columns = columns)

ind=1

url = requests.get("http://myneta.info/up2007/index.php?action=show_candidates&constituency_id=341")
soup = bs4.BeautifulSoup(url.content)

for content in soup.findAll("td")[16:]:
    df.iloc[ind//7,ind%7-1] = content.text
    ind=ind+1
print(df)

基本上，content.text 的每次迭代都会为我提供一个值，我将在表格中填充该值。循环将按以下顺序将值填充到 df -

df[0,0]
df[0,1]
df[0,2]
.
.
.
df[1,0]
df[1,1]
.
.

等等。不幸的是，iloc 抛出了一个错误——“单个位置索引器越界”。有趣的是，当我在 for 循环之外尝试 df.iloc[0,0] = content.text 时（在一个单独的单元格中用于测试目的），代码可以正常工作，但在 for 循环中它会产生错误。我相信这可能是微不足道的，但我无法理解。请帮助

Answer 1

DataFrame.iloc 无法放大其目标对象。这曾经是错误消息，但自 0.15 版以来已更改。

一般而言，DataFrame 并不意味着一次构建一行。这是非常低效的。相反，您应该创建一个更传统的数据结构并从中填充 DataFrame：

table = soup.find(id='table1')
rows = table.find_all('tr')[1:]
data = [[cell.text for cell in row.find_all('td')] for row in rows]
df = pd.DataFrame(data=data, columns=columns)

通过检查您请求中的页面，您似乎在使用 id 为“table1”的表之后，该表的第一行是标题（该页面作者的一个糟糕的选择，应该在 @987654325 @，不是正文）。所以跳过第一行 ([1:])，然后从行的单元格构建一个列表列表。

当然，你也可以让 pandas 自己操心解析等等：

url = "http://myneta.info/up2007/index.php?action=show_candidates&constituency_id=341"
df = pd.read_html(url, header=0)[2]  # Pick the 3rd table in the page

Answer 2

这是一种解决方法。我的 pandas 版本出现相同的 iloc 错误。修改后的代码通过在每次迭代之前创建一个空白记录（通过创建一个 1 行数据框并附加到现有的数据框）来克服它，然后再为它们分配值。

import pandas as pd
import bs4
import requests

columns = ['Candidate','Party','Criminal Cases','Education','Age','Total Assets','Liabilities']

df = pd.DataFrame(columns = columns)

ind=1
url = requests.get("http://myneta.info/up2007/index.php?action=show_candidates&constituency_id=341")
soup = bs4.BeautifulSoup(url.content)

for content in soup.findAll("td")[16:]:
    data = pd.DataFrame({columns[0]:"",
                     columns[1]:"",
                     columns[2]:"",
                     columns[3]:"",
                     columns[4]:"",
                     columns[5]:"",
                     columns[6]:"",
                    },index=[0])
    df=df.append(data,,ignore_index=True)
    df.iloc[ind//7,ind%7-1] = content.text
    ind=ind+1