如何禁止所有文件和文件夹并允许 robots.txt 中的一些文件和文件夹？

Question

我需要robots.txt 推荐下一个：

1. 禁止所有文件和文件夹
2. 只允许index.php & msub.php

我已经编辑了msub.php 的链接，我从.htaccess 做了RewriteReuls，如下所示：

domain.com/p/subject122

domain.com/p/subject104

所以我想让链接显示在搜索引擎中，就像：domain.com/p/subject122。

我该怎么做？

我已经尝试过这个命令，但效果不佳。链接：domain.com/p/subject104 没有出现在搜索引擎中

User-agent: *
Disallow: /
Allow: /index.php
Allow: /msub.php

.htaccess

Options -Indexes

RewriteEngine On
RewriteBase /

RewriteCond %{SERVER_PORT} 80 
RewriteRule ^(.*)$ https://www.example.com/$1 [R,L]

RewriteCond %{REQUEST_URI} ^/404/$
RewriteRule ^(.*)$ /error.html [L]

RewriteRule home /index.php 
RewriteRule p/(.*)$ msub.php?page=$1

Answer 1

robots.txt 应该包含爬虫可以看到的 URI，无论您在内部如何处理它们。所以你的robots.txt 应该有：

User-agent: *
Disallow: /
Allow: /p/subject122
Allow: /p/subject104

您的 .htaccess 也可以重构：

Options -Indexes

RewriteEngine On
RewriteBase /

RewriteCond %{SERVER_PORT} 80 
RewriteRule ^ https://%{HTTP_HOST}%{REQUEST_URI} [R=301,NE,L]

RewriteRule ^404/?$$ error.html [L,NC]

RewriteRule ^home/?$ index.php [L,NC]

RewriteRule p/(.*)$ msub.php?page=$1 [L,NC,QSA]