【发布时间】:2018-07-17 02:20:57
【问题描述】:
我在几个文件夹中有数千个 html 文件,我想从 cmets 中提取数据并放入 csv 文件中。这将允许我为项目格式化和清理它。比如我这个文件夹里有640个html文件:
D:\我的网站\baseball 2\www.baseball-reference.com\boxes\ANA
这是我从单个文件中提取 cmets 并放入 CSV 的代码:
# import libraries and files
from bs4 import BeautifulSoup, Comment
import re
import csv
# Get Page, Make Soup
soup = BeautifulSoup(open("D:/My Web Sites/baseball 2/www.baseball-reference.com/boxes/ANA/ANA201806180.html"), 'lxml')
# Get Description
game_description = soup.findAll("div", {"scorebox_meta"})
print (game_description)
# Get Comment Data
Player_Data = soup.find_all(string=lambda text:isinstance(text,Comment))
for c in Player_Data:
print c
print "==========="
# Results to CSV
csvfile = "C:/Users/Benny/Desktop/anatest.csv"
with open(csvfile, "w") as output:
writer = csv.writer(output, lineterminator='\n')
writer.writerows(Player_Data)
我需要从每个 html 文件中提取游戏数据(所有这些都嵌套在 html 代码中的 cmets 中),将每个游戏文件的单独抓取结果放入单个 CSV。非常感谢您对代码的任何帮助。
谢谢, 本尼
【问题讨论】:
标签: python loops web-scraping export-to-csv