【发布时间】:2020-10-14 02:48:14
【问题描述】:
enter image description here这里是初学者。我根据在网上找到的几个不同示例构建了这个刮板。它正在连接和创建没有明显问题的 csv 文件,但文件比预期的要短得多。 eBay 显示 2k+ 个结果,其中 200 个出现在首页上,但 csv 文件输出只有 55 行。这 55 行似乎与 eBay 项目列表的开头或结尾不对应。我用不同的 url 尝试了相同的代码,其中 ebay 列出了 >55 个项目,而 csv 到目前为止都出现了 55 个。 代码见附图。任何帮助将不胜感激
导入 csv 从 bs4 导入 BeautifulSoup 导入请求
对于 soup.find_all('li', class_= 's-item') 中的项目:
try:
item_title = items.find('h3', class_='s-item__title').text
except Exception as e:
item_title = 'None'
print(item_title)
try:
item_price = items.find('span', class_='s-item__price').text
except Exception as e:
item_price = 'None'
print(item_price)
#establishes list for writing to csv
var_list=[item_title,item_price +'\n']
#opens csv and writes list of product details
with open('history_phone_test.csv', 'a+', newline='') as products_file:
products_writer = csv.writer(products_file, delimiter=',', quotechar='"', quoting=csv.QUOTE_MINIMAL)
products_writer.writerow(var_list)
【问题讨论】:
标签: python web-scraping export-to-csv