Python Webscraping - AttributeError：'NoneType'对象没有属性'text'答案

【问题标题】：Python Webscraping - AttributeError: 'NoneType' object has no attribute 'text'Python Webscraping - AttributeError：'NoneType'对象没有属性'text'
【发布时间】：2021-08-27 14:13:40
【问题描述】：

在尝试使用 BeautifulSoup、Selenium 和 Pandas 将笔记本电脑的价格、评级和产品从 Flipkart 抓取到 CSV 文件时，我需要一些帮助。问题是当我尝试将抓取的项目附加到空列表中时，出现错误 AttributeError: 'NoneType' object has no attribute 'text'。

from selenium import webdriver
import pandas as pd
from bs4 import BeautifulSoup


chrome_option = webdriver.ChromeOptions()
driver = webdriver.Chrome(executable_path = "C:/Users/folder/PycharmProjects/chromedriver.exe")
#flipkart website
driver.get("https://www.flipkart.com/laptops/~cs-g5q3mw47a4/pr?sid=6bo%2Cb5g&collection-tab-name=Browsing&wid=13.productCard.PMU_V2_7")


products = []
prices = []
ratings = []


content = driver.page_source
soup = BeautifulSoup(content, 'lxml')
for item in soup.findAll('a', href = True, attrs={'class' : '_1fQZEK'}):
    name = item.find('div', attrs={'class' : '_4rR01T'})
    price = item.find('div', attrs={'class' : '_30jeq3 _1_WHN1'})
    rating = item.find('div', attrs={'class' : '_3LWZlK'})
    
    products.append(name.text)
    prices.append(price.text)
    ratings.append(rating.text)
    

    df = pd.DataFrame({'Product Name': products,
                        'Price': prices,
                        'Rating': ratings})

    df.to_csv(r"C:\Users\folder\Desktop\webscrape.csv", index=True, encoding= 'utf-8')

【问题讨论】：

标签： python selenium web-scraping text attributeerror

【解决方案1】：

您应该使用@ 987654321或@ 487654322 @而不是.text。此外，尝试关心非型：

products.append(name.get_text()) if name else ''
prices.append(price.get_text()) if price else ''
ratings.append(rating.get_text()) if ratings else ''

【讨论】：

【解决方案2】：

找到了解决办法！将 .text 替换为 .get_text() 后，错误得到解决。另外，避免另一个错误 ValueError: arrays must be all be same length 的方法是 print(len()) 以确认要传递的附加数据的长度是否熊猫数据框。

在这种情况下，在 for 循环的所有迭代中发现 rating 变量的 len() 为 0，因此它们不包含在数据帧 df 中。下面是修改后的代码：

#--snip--
    
#empty list to be appended later with webscraped items
products = []
prices = []
ratings = []

for item in soup.findAll('a', href = True, attrs={'class' : '_1fQZEK'}):
    name = item.find('div', attrs={'class' : '_4rR01T'})
    price = item.find('div', attrs={'class' : '_30jeq3 _1_WHN1'})
    rating = item.find('div', attrs={'class' : '_3LWZlK'})
    #append the info to the empty lists

    products.append(name.get_text()) if name else ''
    prices.append(price.get_text()) if price else ''

    #creating pandas DataFrame
    print(f"Products: {len(products)}")
    print(f"Prices: {len(prices)}")
    print(f"Ratings: {len(ratings)}")

    df = pd.DataFrame({'Product Name': products,
                        'Price': prices})
     #sending the dataframe to csv
    df.to_csv(r"C:\Users\folder\Desktop\samplescrape.csv", index=True, encoding= 'utf-8')

【讨论】：