我正在寻找一些关于 Google 如何抓取和索引内容的文档。我阅读了许多关于如何提高排名并确保您的内容被正确编入索引的“轻量级”论文和文章，但我正在寻找一些关于 Google 如何抓取和索引内容的更高级技术文档。
我想进一步了解的事情：
基本上，我试图理解为什么有些页面被编入索引，而其他页面却没有被编入索引，即使格式相似。为什么当我在整个域上进行搜索时，我的网站页面只有 10% 出现，即使我可以在服务器日志中看到 Google 抓取了每个链接。
【问题讨论】：
标签： algorithm seo indexing web-crawler
这两件事的答案都是严密保护的商业机密，表面上是为了防止游戏系统。
还请记住，Google 制作了over 400 algorithmic changes per year，因此外人几乎不可能准确和最新。如果不为 Google 工作，您可能无法找到深入而准确的答案。
但是，网络垃圾邮件小组负责人 Matt Cutts 经常在 his blog 和 GoogleWebmasterHelp YouTube channel 上提供有关 Google 如何处理内容的最准确的见解。值得阅读他的内容以更好地了解 Google 的方法。
【讨论】：
为了提供有关网络爬虫如何工作的技术方法，我建议您深入了解 nutch.apache.org 解决方案。
典型的网络爬虫显示以下区域：提取器、解析器、索引器和搜索器。简而言之，网络爬虫会获取网站上所有可用的 url，并创建分段，每页最多可存储 101kb。这些页面会被解析，但不会存储诸如 and-or-the 之类的典型词，而是使用贝叶斯计算分析其他词以进行排名。
搜索引擎索引收集、解析和存储数据以促进快速准确的信息检索。这些任务主要通过存储每个搜索条件的出现列表来执行，通常以哈希表或使用倒排索引的二叉树的形式。
正如马克所说，谷歌的计算主要是商业机密，但谷歌发布的专利可能是一个好的开始。 Pagerank http://en.wikipedia.org/wiki/PageRank 主要分析反向链接以及指向您网站的网站对人们偏好的重要性。根据我的经验，提供一个 xml 站点地图来说明您网站上的所有网页非常重要。在该站点地图上，您可以定义每个页面的抓取频率。 gsitecrawler.com/ 是一个有趣的可能性。
Google 网站优化器将让您有机会查看 google 在您的网站上发现了什么，日志还可以，但机器人可能会发现问题，最好的方法是使用 google 的网站优化器来显示错误。
最后，您最关心的是 SEO 专家为之而生的事情，我建议您查看 seomoz.com 等网站及其工具...您将学习如何在搜索引擎的自然结果中更好地定位您的网站。
希望它有所帮助！，塞巴斯蒂安。
【讨论】：
“是的”Google 喜欢新鲜和独特的内容。 在 HTML 编程的 head 标签下使用 Google webmaster guideline "try this instead" H1 或 H2 元标签 ....
也用于此标记中的 Rich sn-ps..!
【讨论】：
它非常精确和灵敏地扫描您的网页。诸如您嵌入了 javascript 或在其他文件中的因素，无论您是在设计中使用框架还是使用繁重的图形，都会降低页面的排名。关键字显然是影响排名的实体。损坏的链接也会降低您的网站排名。 基本上你可以参考http://www.tutorialspoint.com/seo/去了解google爬虫的所有要点。这最多需要 40 分钟。
【讨论】：
【讨论】：
我分析了最新的算法，发现现在
Google 更加重视内容，而不是链接。
因此，如果您的内容足够好并带有适当的可用标签，Google 会自动为您生成索引。我建议H1 - H6都以良好的方式使用。
【讨论】：