如何使用 html5ever 解析页面并找到所有链接？答案

【问题标题】：How do I parse a page with html5ever and find all the links?如何使用 html5ever 解析页面并找到所有链接？
【发布时间】：2019-12-24 08:43:41
【问题描述】：

我想用 html5ever 解析字符串格式的 HTML 并找到这个 HTML 中的所有链接。我知道How do I parse a page with html5ever, modify the DOM, and serialize it?，但是RcDom 已经不存在了。

【问题讨论】：

这个问题很可能会被关闭，因为您没有表现出任何试图解决它的努力。基本上，回答这个问题：你尝试过什么？

标签： web-scraping rust html5ever

【解决方案1】：

您必须创建一个实现TokenSink 的结构，然后创建一个新的Tokenizer，其中您的结构是sink。使用Tokenizer::feed() 解析时，它将通过您的TokenSink 传递所有令牌。

此代码改编自 html5ever examples，因此它是 Apache/MIT 许可的。 html5ever 是一个为浏览器构建的复杂库，它表明 - API 似乎旨在适应 UTF-8 以外的编码。

此代码仅从标准输入解析。如果您想按原样使用它，请像 curl https://stackoverflow.com/questions/59461279/how-do-i-parse-a-page-with-html5ever-and-find-all-the-links | cargo run 一样使用管道 curl。当我这样做时，我会得到类似的输出

link to: #
link to: https://stackoverflow.com
link to: #
link to: /teams/customers
...

extern crate html5ever;

use std::default::Default;
use std::io;

use html5ever::tendril::*;
use html5ever::tokenizer::BufferQueue;
use html5ever::tokenizer::{StartTag, TagToken};
use html5ever::tokenizer::{Token, TokenSink, TokenSinkResult, Tokenizer, TokenizerOpts,};
use html5ever::interface::QualName;
use html5ever::{ns, namespace_url, LocalName};

#[derive(Copy, Clone)]
struct TokenPrinter {}

impl TokenSink for TokenPrinter {
    type Handle = ();

    fn process_token(&mut self, token: Token, _line_number: u64) -> TokenSinkResult<()> {
        let link_name = QualName::new(
            None,
            ns!(),
            LocalName::from("href"),
        );
        match token {
            TagToken(tag) => {
                if tag.kind == StartTag && tag.name.to_string()=="a" {
                    let attrs = tag.attrs;
                    for attr in attrs {
                        if attr.name == link_name {
                            println!("link to: {}", attr.value);
                        }
                    }
                }
            },
            _ => {
            },
        }
        TokenSinkResult::Continue
    }
}

fn main() {
    let sink = TokenPrinter {};
    let mut chunk = ByteTendril::new();
    io::stdin().read_to_tendril(&mut chunk).unwrap();
    let mut input = BufferQueue::new();
    input.push_back(chunk.try_reinterpret::<fmt::UTF8>().unwrap());

    let mut tok = Tokenizer::new(
        sink,
        TokenizerOpts::default(),
    );
    let _ = tok.feed(&mut input);
    assert!(input.is_empty());
    tok.end();
}

【讨论】：