谷歌如何抓取动态页面？ [关闭]

Question

我即将为我的一位客户创建一个在线购物网站。我必须使这个网站对 SEO 友好，因此在开始制作基于 CMS 的自定义网站之前，我必须了解一些事情。

正如我所说，我将制作一个基于 CMS 的自定义网站，以便我的客户能够通过 CMS 添加新内容，但我不明白一些事情。

例如： 我有一个index.php 页面，其中有许多指向不同产品的链接，所有这些链接都是通过数据库使用PHP 创建的。网站链接喜欢

http://www.def.com/shoes/Men-Shoes

我的问题：

1) 我想知道当GoogleBot 抓取我的网站时，它是否也会打开我动态创建的链接并将它们编入索引？ GoogleBot 也会索引我的动态链接的内容吗？

2) 我是否必须为现场的所有产品创建单独的页面并将它们存储在我的服务器上？或者只是一个页面，根据用户对每个产品的查询动态提供服务？

我读过这个

“它的功能很像您的网络浏览器，向网络服务器发送网页请求，下载整个页面，然后将其交给 Google 的索引器。”

对吗？

我上面的查询实际上是这样的，我使用 .htaccess 文件使它更漂亮

http://www.def.com/shoes.php?type=Men-Shoes

这样对吗，谷歌会将其抓取到索引？

Answer 1

SEO 本身就是一门复杂的科学，Google 一直在更改目标帖子并修改其算法。

虽然您不需要为每个产品创建单独的页面，但使用 .htaccess 文件创建友好的 URL 可以使它们看起来更好并且更易于导航。此外，创建站点地图并通过他们的网站管理员工具将其提交给 Google 将帮助他们了解要索引哪些页面。

GoogleBot 将跟踪您网站中的链接，包括动态创建的链接，但如果您的目标是长期成功，请不要尝试使用 Blackhat 方法与系统博弈。

此外，使用社交媒体（Twitter、Facebook、Google+）来帮助宣传您的品牌，并确保您遵循 Google 关于 SEO 和页面优化的指南。

互联网上有大量关于此主题的信息，但请注意您遵循的建议。

Answer 2

Google 和其他搜索引擎也会索引动态链接。因此避免重复内容的一种方法是使用 Google Webmasters 中的“抓取”->“URL 参数”工具。你可以在这里https://support.google.com/webmasters/answer/6080548?rd=1阅读更多关于它是如何工作的。将“抓取”字段设置为“无 URL”。通过这种方式，您可以隐藏搜索动态链接，但您必须拥有您网站/CMS 的所有动态链接的列表，以免意外隐藏重要内容。 “URL 参数”功能在 Bing 网站管理员工具中也可用 http://searchenginewatch.com/sew/how-to/2195777/bing-webmaster-tools-an-overview#。