如何递归读取目录中的所有 html 文件？

Question

我正在尝试将所有 html 文件 Doctype 打印到 txt 文件中。我没有使用 Python 的经验，所以请多多包涵。 :)

最终脚本应该根据 html 文件中设置的 Doctype 中给出的 html 版本从 html 文件中删除元素。我也尝试在 PHP 中列出文件，并且它在某种程度上有效。我认为 Python 是完成这项任务的更好选择。

下面的脚本是我现在得到的，但我不知道如何编写一个“for each”来递归地获取 arkivet 文件夹中每个 html 文件的 Doctype。我目前只打印文件名和扩展名，我不知道如何获取它的路径，也不知道如何利用 BeautifulSoup 从文件中编辑和获取信息。

import fnmatch
from urllib.request import urlopen as uReq
import os
from bs4 import BeautifulSoup as soup
from bs4 import Doctype

files = ['*.html']
matches = []

for root, dirnames, filenames in os.walk("arkivet"):
    for extensions in files:
        for filename in fnmatch.filter(filenames, extensions):
            matches.append(os.path.join(root, filename))
            print(filename)

matches 是一个数组，但我不确定如何在 Python 中正确处理它。我想将文件夹名、带扩展名的文件名和它的文档类型打印到根目录下的文本文件中。

脚本在带有 Python 3.5（也存在 Python 2.x）的本地 Vagrant Debian 服务器上的 CLI 中运行。所有文件和文件夹都存在于服务器公共根目录下名为 arkivet（存档）的文件夹中。

任何帮助表示赞赏！我被困在这里:)

Answer 1

如果你想读取特定目录中的所有 html 文件，你可以试试这个：

import os
from bs4 import BeautifulSoup

directory ='/Users/xxxxx/Documents/sample/'
for filename in os.listdir(directory):
     if filename.endswith('.html'):
         fname = os.path.join(directory,filename)
         with open(fname, 'r') as f:
             soup = BeautifulSoup(f.read(),'html.parser')
             # parse the html as you wish

Answer 2

Vikas 的答案可能正是您所要求的，但如果他对问题的解释有误，值得知道您在循环时可以访问所有这三个变量：root、dirnames 和 filenames .您当前只打印基本文件名：

print(filename)

也可以打印完整路径：

print(os.path.join(root, filename))

Vikas 通过使用不同的函数（os.listdir）解决了缺少目录名的问题，但我认为这将失去递归的能力。

您发布的 os.walk 的组合，以及 Vikas 发布的使用 open 读取文件的内部可能是您想要的？

Answer 3

由于您没有标记任何答案解决方案，我猜您从未完全得到答案。这是一段递归搜索文件、打印完整文件路径并在 html 文件中显示 Doctype 字符串（如果存在）的代码。

import os
from bs4 import BeautifulSoup, Doctype

directory = '/home/brian/Code/sof'
for root, dirnames, filenames in os.walk(directory):
    for filename in filenames:
        if filename.endswith('.html'):
            fname = os.path.join(root, filename)
            print('Filename: {}'.format(fname))
            with open(fname) as handle:
                soup = BeautifulSoup(handle.read(), 'html.parser')
                for item in soup.contents:
                    if isinstance(item, Doctype):
                        print('Doctype: {}'.format(item))
                        break