如何检查页面是否没有索引？

Question

我的意图是使用 PHP 获取链接，也许使用 Simple PHP DOM parser（或类似的东西）解析内容并查找 H1-H6 标签。但在此之前，我需要确定该页面是否已被编入索引。

除了解析内容并搜索<meta name="robots" content="noindex"> 或类似内容之外，有没有办法可以检查robots.txt 中的页面是否也设置为noindex？

Answer 1

页面有两种方式指定 noindex：通过部分中的元 HTML 标记（如您所述），或通过响应中的 HTTP 标头。

除此之外，还有两种指定noindex的方法：一种是“noindex”，另一种是“none”（相当于“noindex, nofollow”）。

HTML 标签可以针对多个爬虫，可能如下所示：

<meta name="robots" content="noindex" />

或

<meta name="googlebot" content="noindex" />

或

<meta name="AdsBot-Google" content="noindex" />

或其他人。

Google 有一个pretty good writeup here

所以检查 noindex 的方法是两者都做：

1. 检查 HTTP 响应中是否包含“noindex”或“none”的 X-Robots-Tag（尝试 curl -I https://www.example.com 以查看它们的外观）
2. 获取 HTML 并扫描元标记以查找内容属性中的“noindex”或“none”