如何在 python 中使用抓取的数据创建 DataFrame？

Question

我正在尝试制作一个网络抓取工具，用于提取数据并将其分类到 pandas 数据框中。

我的所有代码：

import requests
from bs4 import BeautifulSoup as soup
from urllib.request import urlopen as uReq
import numpy as np
import pandas as pd

class CaseCrawler:
    def __init__(self, starting_url, depth):
        self.starting_url = starting_url
        self.depth = depth
        self.cases = []

    def crawl(self):
        self.get_case_info(self.starting_url)
        return 

    def get_case_info(self, link):
        # opening up connection
        uClient = uReq(link)
        page_html = uClient.read()
        uClient.close()

        # html parsing
        page_soup = soup(page_html, "html.parser")

        case = page_soup.findAll("div", {"class":"bbWrapper"})


        for point in case:
            name = point.b.text
            body = point.text
            tag_block = page_soup.findAll("div", {"class":"blockStatus-message"})

            for tagger in tag_block:
                 tag_title = tagger.findAll("dl", {"class":"pairs pairs--columns pairs--spaced pairs--fixedSmall"})


        #pandas dataframe
        ##tag_df = pd.DataFrame(tag_title, index=tag_title.dt)
        print(tag_title[0])



        tag_df.to_csv("temp.csv")

crawler = CaseCrawler('https://www.yargikararlari.net/konu/iikya-gore-ortakligin-giderilmesi-davasi-acilabilmesi-icin-usulune-gore-borclu-ortagin-alacaklisi-iik-m-121.350/', 0)
crawler.crawl()

在代码的最后，我想用 pandas 抓取数据框中的一块信息

这是本网站的问题部分： 2rows 2columns

当我运行代码时，它会创建缩进且不必要的间隔 csv 文件：csv file

提前谢谢...

Answer 1

问题在于数据框的构建。 tag_title 是一个结果集，没有属性 dt。此外，您尝试抓取的页面中的代码也有很多无关的空白。正如我上面建议的那样，使用“lxml”作为您的传球手并更改线路：

tag_df = pd.DataFrame(tag_title, index=tag_title.dt)

到

    idx=[]
    dta=[]
    for title in tag_title:
        idx.append(title.find("dt").text)
        dta.append(title.find("dd").text.strip())
    tag_df = pd.DataFrame(dta, index=idx)

我认为你会更接近你想要的。