Python - HTML 解析器 - 缩小范围答案

【问题标题】：Python - HTML Parser - Narrow Down ScrapePython - HTML 解析器 - 缩小范围
【发布时间】：2022-11-20 07:47:12
【问题描述】：

我是 HTML 解析器的新手。我用 Python 编写了一个 Spider，旨在抓取网站。我在下面包含了我的代码。此代码专门查找所有以“a”开始标记和 href 属性标识的 URL。但是，我想通过只抓取包含特定单词的 URL 来进一步过滤它。我目前正在通过将我的“抓取”URL 输出到 txt 文件来解决这个问题。从那里我读取了这个文件的内容，用我的关键字过滤它，然后将结果写入一个新的 txt 文件。但是，我觉得如果我能将爬虫的关注范围缩小到只查看“a”标签、href 属性和“where word XXX”，效率会更高。

有没有一种方法可以扩展 def handle_starttag 函数中的“if”语句以仅抓取包含特定单词的 url？该词通常也包含在 html 的 href 链接中。

''''

从 html.parser 导入 HTMLParser 从 urllib 导入解析

链接查找器类（HTMLParser）：

def __init__(self, base_url, page_url):
    super().__init__()
    self.base_url = base_url
    self.page_url = page_url
    self.links = set()

# When we call HTMLParser feed() this function is called when it encounters an opening tag <a>
def handle_starttag(self, tag, attrs):
    if tag == 'a':
        for (attribute, value) in attrs:
            if attribute == 'href':
                url = parse.urljoin(self.base_url, value)
                self.links.add(url)

def page_links(self):
    return self.links

def error(self, message):
    pass

''''

提前致谢

【问题讨论】：

标签： python web-crawler html-parser

【解决方案1】：

使用 BeautifulSoup 可能比使用较低级别的 HTMLParser 更容易。

要将额外的过滤器添加到您当前的实现中，您可以向您的 LinkFinder 类添加一个额外的参数，存储该值，并在条件中使用它：

class LinkFinder(HTMLParser):
    def __init__(self, base_url, page_url, url_filter):
        super().__init__()
        self.base_url = base_url
        self.page_url = page_url
        self.links = set()
        self.url_filter = url_filter

    def handle_starttag(self, tag, attrs):
        if tag == 'a':
            for (attribute, value) in attrs:
                if attribute == 'href' and self.url_filter in value:
                    url = parse.urljoin(self.base_url, value)
                    self.links.add(url)

【讨论】：