【发布时间】：2010-09-06 03:13:47
【问题描述】：
当搜索引擎爬取网站时，这行会屏蔽什么？
不允许：/?s
【问题讨论】：
标签： search-engine web-crawler robots.txt
【发布时间】：2010-09-06 03:13:47
【问题描述】：
它将阻止机器人抓取它们偶然发现的在其查询字符串中包含 s 的任何 URL（在根 (?) 中）。
【讨论】：
【发布时间】：2010-09-06 03:13:47
【问题描述】：
当搜索引擎爬取网站时，这行会屏蔽什么？
不允许：/?s
【问题讨论】：
标签： search-engine web-crawler robots.txt
它将阻止机器人抓取它们偶然发现的在其查询字符串中包含 s 的任何 URL（在根 (?) 中）。
【讨论】：