将单个 web 元素保存到 csv 文件或将显示数据抓取到 csv答案

【问题标题】：Save single webelement to csv file or scrape display data to csv将单个 web 元素保存到 csv 文件或将显示数据抓取到 csv
【发布时间】：2021-03-25 14:38:41
【问题描述】：

***嘿，我想将抓取数据保存到 CSV 文件中，问题是代码在 selenium 中，并且这些数据没有从列表中抓取，它被点击页面抓取，然后下一页抓取我如何保存这个数据转换成 CSV 或者我一个一个地保存 ***

  for i in range(0,2):
    name=[]
    time.sleep(15)
    im = driver.find_elements_by_xpath("//a[@data-automation='CollectionGrid_item_link']")
    im[i].click()
    l = WebDriverWait(driver, 70).until(EC.presence_of_element_located((By.XPATH, "//a[@data-track-label='contributorLink']")))
    print(l.text)
    n={'n':l.text}
    name.append(n)

    d=pd.DataFrame(name)
    d.to_csv(r'C:\Users\Fast Computer\Desktop\New folder\0.csv')
    driver.back()

【问题讨论】：

标签： python-3.x excel selenium beautifulsoup export-to-csv

【解决方案1】：

简化你的代码，你就会发现问题：

for i in range(0,2):
    name = []
    l = 'a'
    n= {'n': l}
    name.append(n)
    print(i, name)
print(name)

你会看到name在循环中每次都被创建并且你只附加一个项目。

相反，将name 移到循环之外，以便在循环期间将其附加到：

import pandas as pd

name = []

for i in range(0,2):
    l = 'a'
    n = {'n': l}
    name.append(n)
    print(i, name)
print(name)
d = pd.DataFrame(name)
print(d)

【讨论】：