通过搜索从多个页面中抓取表格并创建熊猫数据框

Question

我让这个代码在第一页上工作，并且需要用户代理，否则它不起作用。

我遇到的问题是搜索带来了第一页，但在第二个页面上你有“page=2”并继续，所以需要从搜索中抓取全部或尽可能多的内容

“https://www.vesselfinder.com/vessels?page=2&minDW=20000&maxDW=300000&type=4”

from bs4 import BeautifulSoup
from urllib.request import Request, urlopen

site= "https://www.vesselfinder.com/vessels?type=4&minDW=20000&maxDW=300000"
hdr = {'User-Agent': 'Chrome/70.0.3538.110'}
req = Request(site,headers=hdr)
page = urlopen(req) 

import pandas as pd
import numpy as np


soup = BeautifulSoup(page, 'lxml')
type(soup)

rows = soup.find_all('tr')
print(rows[:10])

for row in rows:
   row_td = row.find_all('td')
print(row_td)
type(row_td)

str_cells = str(row_td)
cleantext = BeautifulSoup(str_cells, "lxml").get_text()
print(cleantext)

import re

 list_rows = []
      for row in rows:
         cells = row.find_all('td')
         str_cells = str(cells)
         clean = re.compile('<.*?>')
         clean2 = (re.sub(clean, '',str_cells))
         list_rows.append(clean2)
   print(clean2)
   type(clean2)

df = pd.DataFrame(list_rows)
df.head(10)

df1 = df[0].str.split(',', expand=True)
df1.head(10)

输出是 Pandas DataFrame

需要抓取所有页面以输出大数据框

Answer 1

好的，所以这个问题最终卡在我的脑海里，所以我解决了。

import pandas as pd
import requests

hdr={'User-Agent':'Chrome/70.0.3538.110'}

table_dfs={}

for page_number in range(951):
    http= "https://www.vesselfinder.com/vessels?page={}&minDW=20000&maxDW=300000&type=4".format(page_number+1)

    url= requests.get(http,headers=hdr)
    table_dfs[page_number]= pd.read_html(url.text)

它将第一列（容器）作为 nan 值返回。那是图像的列，如果你不需要它，请忽略它。 下一列将称为“已建造”，其中包含船舶名称和船舶类型。您需要 .split() 将它们分开，然后您可以将 column(vessel) 替换为船舶名称。

如果它对你有用，我很乐意用漂亮的绿色复选标记来提升我的声誉。

Answer 2

rows = soup.find_all('tr')
print(rows[:10])

for row in rows:
    row_td = row.find_all('td')
print(row_td)
type(row_td)

^上面这段代码和

是一样的

urls=['some list of urls you want to scrape']
table_dfs= [pd.read_html(url) for url in urls]

您可以浏览您正在寻找的网址并应用它，然后如果您想对表格做一些事情，您可以去：

for table in table_dfs:
    table + 'the thing you want to do'

请注意，table_dfs 的内联 for 循环位于列表中。这意味着如果刮得足够大，您可能无法辨别它来自哪个 url。 Pieca 似乎有一个可用于迭代网站 url 并创建字典键的解决方案。请注意，此解决方案可能不适用于所有网站。

url_list = {page_number:"https://www.vesselfinder.com/vessels?page= 
{}&minDW=20000&maxDW=300000&type=4".format(page_number) for page_number 
in list(range(1, 953))}

table_dfs={}
for url in range(1,len(url_list)):
    table_dfs[url]= pd.read_html(url_list[url],header=hdr)