PHPBB Robots.txt 规则？

Question

我目前正在编辑我的 Robots.txt，如下所示：

User-agent: *
Disallow: /adm/*
Disallow: /download/*
Disallow: /cache
Disallow: /files
Disallow: /viewforum.php?f=146
Disallow: /ucp.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /faq.php
Disallow: /report.php
Sitemap: http://www.website.com/app.php/sitemap.xml

我想知道如何正确地做一些事情。

1) 这会正确阻止搜索引擎访问论坛区域吗？

Disallow: /viewforum.php?f=146

我想要一个对搜索引擎隐藏的区域，但论坛的其他区域完全可以正常阅读。

2) 您如何阻止对内部 PHPBB 文件夹的访问，并将搜索引擎排除在管理员之外？这些规则正确吗？

Disallow: /adm/*
Disallow: /download/*

3) php 文件的规则是否正常工作？

Disallow: /ucp.php

还有什么我应该知道或做的吗？

Answer 1

线

Disallow: /viewforum.php?f=146

不允许抓取路径以/viewforum.php?f=146开头的网址。

因此，不允许抓取此类 URL：

• http://example.com/viewforum.php?f=146
• http://example.com/viewforum.php?f=1461
• http://example.com/viewforum.php?f=146a
• http://example.com/viewforum.php?f=146/foo
• http://example.com/viewforum.php?f=146&bar
• …

（当然，/ucp.php、/adm/ 和 /download/ 的工作方式相同。请注意，这意味着不需要附加的 *，除非它实际上是 URL 的一部分。）

所以如果论坛概述在http://example.com/viewforum.php?f=146，它将被阻止。但是，请注意，可能会另外从不同的 URL 访问同一页面，例如类似：http://example.com/viewforum.php?someOtherParameter&f=146

另请注意，这不一定会阻止在该论坛区域中抓取论坛主题（因为它们通常不以该路径开头）。虽然符合标准的机器人不会抓取此论坛区域页面，但它们可能会从其他地方找到指向主题的链接。

Answer 2

您只能通过 robots.txt 禁止目录，而不是文件。 首先，从目录中删除星号。

Disallow: /adm/
Disallow: /download/

至于文件，您可以将其添加到 部分。它不会阻止机器人获取，但好的机器人应该忽略它并继续前进。

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">