爬虫在隐藏内容的同时索引私人页面吗？

Question

我有一整本包含关键词丰富的原创材料的电子书，我想将其添加到我的网站以帮助提高搜索引擎排名。问题是我不希望任何人能够查看这些页面，但我仍然希望搜索引擎抓取它们。这是必要的，因为电子书内容是专有的。

如果有人应该在搜索引擎中输入在我的一个页面上找到的特定文本字符串，我不希望 Google 将该页面显示为搜索结果，但可能会提供指向只能解锁的页面的链接通过登录并购买电子书页面。

我一直在查看 Prerender.io，看看是否可以在爬虫请求时呈现乱码版本。在路由到实际的电子书内容页面之前，我不确定这将如何与 Express.js 中间件中的身份验证过程一起使用。我认为服务器可以根据用户或爬虫是否请求电子书页面来提供不同版本的页面。 但这甚至可能吗？或者对我想要实现的目标有什么建议或不同的设计？

谢谢。

Answer 1

恐怕答案是：不要这样做，甚至不要尝试。

Google 已经花费了 20 年的大部分时间来确保人们无法欺骗他们的爬虫，您将无法通过某些服务器设置来欺骗他们。尝试向爬虫提供与普通用户不同的内容充其量是行不通的，更糟糕​​的是，将您的网站标记为可疑并直接损害您的 SEO。

如果您想利用自己的内容，请确保提供公开的摘录、摘要和评论。如果用户打算购买这些产品，他们无论如何都希望看到这些东西，它们非常适合 SEO，但不要试图让 Google 索引通常在付费墙后面的东西。