【发布时间】:2016-02-06 23:05:21
【问题描述】:
我的网站上有如下页面:
/sign-in
/about
/user/1203
/1203/post/19298
登录和关于页面已通过 Google 编制索引并显示,但最后 2 个页面不显示。用户和帖子页面是动态创建的,因此根据输入的数量,显示不同的用户/帖子。当搜索引擎抓取页面时,这会有所不同吗?
我的 robots.txt 允许将这些 URL 编入索引,但我的 sitemap.xml 不能包含用户和发布页面,因为 url 中的值不是恒定的,例如用户页面 url 可以是 /user/324 或 /user/948。
这些页面没有被编入索引有什么原因吗?谢谢。
【问题讨论】:
标签: search seo web-crawler google-search