从 webscrape 将 1D 数组文本转换为 2D pandas DF

Question

您好，我已经使用以下代码对数据表进行了网页抓取：

import requests
from bs4 import BeautifulSoup
import pandas as pd
import numpy as np

df = pd.DataFrame()


for row in links2get:
    url = row
    response = requests.get(url)
    html_page = response.content
    soup = BeautifulSoup(html_page, 'html.parser')
    text = soup.find_all(text=True)
    for a in soup.select('.trackM'):
        b = a.get_text()
        array = np.array(b)
        print(array)
        #reshape = ????
        #df = df.append(reshape)

我拥有的数组的输出是：

print(array):

Table Title


Heading 1
Heading 2
Heading 3
Heading 4
Heading 5


1084
316
No
72
Yes

编辑有时表格中缺少值，因此可能存在奇数个元素（例如，5 个标题列但只有 4 个值）。

我希望重塑成一个 DataFrame，所以它看起来像：

print(df):

Heading 1   Heading 2   Heading 3   Heading 4   Heading 5
1084           316         No          72           Yes   

我在重塑时遇到了麻烦，所以如果有人有任何建议，那就太好了！谢谢！

Answer 1

如果您知道表格的 url 和标题，您可以简单地执行此操作。

import pandas as pd
df = pd.read_html(url, match='Table Title')[0]

如果您将表格作为文本，从美丽的汤中提取。你可以简单地做到这一点。

import pandas as pd
table_string = '''<table>
  <tr>
    <th>heading 1</th>
    <th>heading 2</th>
    <th>heading 3</th>
    <th>heading 4</th>
  </tr>
  <tr>
    <td>1084</td>
    <td>316</td>
    <td>No</td>
    <td>72</td>
    <td>Yes</td>
  </tr>
</table>'''

df = pd.read_html(table_string)[0]

输出：

   heading 1  heading 2 heading 3  heading 4 Unnamed: 4
0       1084        316        No         72        Yes

Answer 2

你在正确的轨道上。不过，从一系列干净的令牌开始。这将使下游更简单。

[e for e in b.splitlines()[1:] if len(e)]

# b.splitlines()     -> Split the text output into a list at the linebreaks.
# b.splitlines()[1:] -> Drop the first element of the list ("Table Title")
# ... if len(e)      -> Only keep the token if it has length greater than zero (i.e. not the empty string.) 

在这一部分中，您始终要创建具有偶数个元素的系列，这一点至关重要：

...
b = a.get_text()
s = pd.Series([e for e in b.splitlines()[1:] if len(e)])

Out[54]: 
0    Heading 1
1    Heading 2
2    Heading 3
3    Heading 4
4    Heading 5
5         1084
6          316
7           No
8           72
9          Yes

现在直接重塑为 DataFrame。因为我们知道Series的元素个数是偶数，所以可以reshape成两行长度int(len(s) / 2)：

df = pd.DataFrame(s.values.reshape((2, int(len(s) / 2))))

           0          1          2          3          4
0  Heading 1  Heading 2  Heading 3  Heading 4  Heading 5
1       1084        316         No         72        Yes

现在，我们从第一行开始分配列：

df.columns = df.iloc[0]

0  Heading 1  Heading 2  Heading 3  Heading 4  Heading 5
0  Heading 1  Heading 2  Heading 3  Heading 4  Heading 5
1       1084        316         No         72        Yes

最后，删除我们用于列的行：

df.drop(df.index[0])

0 Heading 1 Heading 2 Heading 3 Heading 4 Heading 5
1      1084       316        No        72       Yes