忽略 Go Web 爬虫中的外部链接答案

【问题标题】：Ignore external links in go web crawler忽略 Go Web 爬虫中的外部链接
【发布时间】：2021-06-08 07:50:17
【问题描述】：

我真的是新手，我现在正在通过按照本教程构建一个简单的网络爬虫来玩它：https://jdanger.com/build-a-web-crawler-in-go.html

它的分解非常好，但我想放置一些东西，以便排队的唯一链接是主域的一部分，而不是外部的。

假设我正在抓取https://www.mywebsite.com，我只想包含https://www.mywebsite.com/about-us 或https://www.mywebsite.com/contact 之类的内容 - 我不希望包含https://subdomain.mywebsite.com 之类的子域或https://www.facebook.com 之类的外部链接我不想让爬虫掉进黑洞。

查看代码，我认为我需要对这个修复相关链接的函数进行更改：

func fixUrl(href, base string) (string) {  // given a relative link and the page on
  uri, err := url.Parse(href)              // which it's found we can parse them
  if err != nil {                          // both and use the url package's
    return ""                              // ResolveReference function to figure
  }                                        // out where the link really points.
  baseUrl, err := url.Parse(base)          // If it's not a relative link this
  if err != nil {                          // is a no-op.
    return ""
  }
  uri = baseUrl.ResolveReference(uri)
  return uri.String()                      // We work with parsed url objects in this
}                                          // func but we return a plain string.

但我不能 100% 确定如何做到这一点，我假设需要某种 if/else 或进一步解析。

任何提示都将非常感谢我的学习

【问题讨论】：

标签： go web-crawler url-parsing

【解决方案1】：

我快速阅读了 jdanger 教程并运行了完整的示例。毫无疑问，有几种方法可以完成您想做的事情，但这是我的看法。

您基本上希望不将其域与某个指定域不匹配的任何 URL 排入队列，大概是作为命令行参数提供的。该示例使用fixUrl() 函数来构造完整的绝对URL，并指示无效URL（通过返回""）。在这个函数中，它依赖net/url 包进行解析等，特别是URL data type。 URL 是一个 struct，具有以下定义：

type URL struct {
    Scheme      string
    Opaque      string    // encoded opaque data
    User        *Userinfo // username and password information
    Host        string    // host or host:port
    Path        string    // path (relative paths may omit leading slash)
    RawPath     string    // encoded path hint (see EscapedPath method); added in Go 1.5
    ForceQuery  bool      // append a query ('?') even if RawQuery is empty; added in Go 1.7
    RawQuery    string    // encoded query values, without '?'
    Fragment    string    // fragment for references, without '#'
    RawFragment string    // encoded fragment hint (see EscapedFragment method); added in Go 1.15
}

要注意的是Host。 Host 是 URL 的“whatever.com”部分，包括子域和端口（参见 this wikipedia article for more info）。进一步阅读文档，有一个方法Hostname() 将剥离端口（如果存在）。

因此，尽管您可以将域过滤添加到fixUrl()，但我认为更好的设计是先“修复”URL，然后对结果进行附加检查看到它的Host 匹配所需的域。如果它不匹配，则不要将 URL 排入队列并继续到队列中的下一个项目。

所以，基本上我认为你是在正确的轨道上。我没有包含代码示例来鼓励您自己解决，尽管我确实将您的功能添加到了本教程程序的本地副本中。

【讨论】：