【问题标题】:Repeat BeautifulSoup scrape for all files in a local folder对本地文件夹中的所有文件重复 BeautifulSoup 抓取
【发布时间】:2018-07-17 02:20:57
【问题描述】:

我在几个文件夹中有数千个 html 文件,我想从 cmets 中提取数据并放入 csv 文件中。这将允许我为项目格式化和清理它。比如我这个文件夹里有640个html文件:

D:\我的网站\baseball 2\www.baseball-reference.com\boxes\ANA

这是我从单个文件中提取 cmets 并放入 CSV 的代码:

# import libraries and files
from bs4 import BeautifulSoup, Comment
import re
import csv

# Get Page, Make Soup
soup = BeautifulSoup(open("D:/My Web Sites/baseball 2/www.baseball-reference.com/boxes/ANA/ANA201806180.html"), 'lxml')

# Get Description
game_description = soup.findAll("div", {"scorebox_meta"})
print (game_description)

# Get Comment Data
Player_Data = soup.find_all(string=lambda text:isinstance(text,Comment))
for c in Player_Data:
    print c
    print "==========="

# Results to CSV
csvfile = "C:/Users/Benny/Desktop/anatest.csv"

with open(csvfile, "w") as output:
    writer = csv.writer(output, lineterminator='\n')
    writer.writerows(Player_Data)

我需要从每个 html 文件中提取游戏数据(所有这些都嵌套在 html 代码中的 cmets 中),将每个游戏文件的单独抓取结果放入单个 CSV。非常感谢您对代码的任何帮助。

谢谢, 本尼

【问题讨论】:

    标签: python loops web-scraping export-to-csv


    【解决方案1】:

    您可以使用os.listdir 模块来遍历您目录中的所有文件。或者,您也可以使用glob 模块。

    例如:(os.listdir)

    import os
    path = r"D:\My Web Sites\baseball 2\www.baseball-reference.com\boxes\ANA"
    
    for filename in os.listdir(path):
        if filename.endswith(".html"):
            fullpath = os.path.join(path, filename)
    
            # Get Page, Make Soup
            soup = BeautifulSoup(open(fullpath), 'lxml')
            .....
    

    【讨论】:

    • 谢谢你,Rakesh,我会试一试的。
    猜你喜欢
    • 2017-08-26
    • 2011-08-07
    • 1970-01-01
    • 1970-01-01
    • 2016-11-11
    • 2019-02-26
    • 2015-08-30
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多