【发布时间】：2011-09-15 06:08:00
【问题描述】：
我想添加一个robot.txt，以便可以找到我的网页...
所以我听说在我网站的 root 中放置带有元标记的 robot.txt 可以做到这一点。
- 这是真的吗？如果是的话，
- 添加或生成此 robots.txt 的步骤是什么？
我找到了this
【问题讨论】：
【发布时间】：2011-09-15 06:08:00
【问题描述】：
Robots.txt 更多地用于告诉抓取工具一旦他们已经到达您的网站后该去哪里以及不去哪里。
让爬虫进入您的网站的更好方法是为您的网站构建一个sitemap，然后使用Google Webmaster 将此站点地图提交给谷歌。您还需要在您网站的根 url 中包含站点地图，并告诉谷歌它在哪里（所有这些都可以在上面链接的谷歌网站管理员工具中完成）。
【讨论】：
不，它不会让您的网页突然可见。它只是指导网络爬虫如何为您的网站编制索引。
【讨论】：