google 和 bing 在 magento 网站上爬网时如何降低 CPU 使用率？答案

【问题标题】：How to reduce the CPU utilization when google and bing crawls on magento site?google 和 bing 在 magento 网站上爬网时如何降低 CPU 使用率？
【发布时间】：2017-01-04 01:41:51
【问题描述】：

一段时间以来，我一直面临着一种奇怪的情况，需要有关此方面的指导。

问题： 与我们启动服务器时相比，从前两天开始，我们的网站速度非常慢。我们认为这是脾气问题。但现在，它变得非常缓慢，一个页面至少需要 3 分钟才能加载。我还检查了 CPU 利用率以某种方式达到了 100%，并相信爬虫可能会这样做。

我们正在使用一些第三方来对我们的 magento 网站进行 SEO 和谷歌动态再营销和广告。我坚信这些东西需要抓取我的网站以通过搜索引擎编入索引。

我看到 google 和 bing 会定期抓取我们的网站。你可以称它为 google bot 和 bing bot，突然间它出现了最大的峰值。

看一下截图： https://www.dropbox.com/s/2c4u04rhtbi99j0/Screenshot%202015-11-14%2014.16.41.png?dl=0

最大的峰值是由 bing 和 google 同时引起的，而较小的峰值似乎只是 google bot。

所以我只是有一个关于这个的简单问题？

你们是否认为如果一个机器人 IP 被列入白名单，我们的 SEO 和谷歌广告和动态再营销是否会出现问题，因为那样它就不会允许该 IP 在我们的网站上抓取？？？

这是垃圾邮件还是爬取我们商店的爬虫程序导致商店响应时间缩短，从而影响搜索引擎排名和我们商店的转化？

AWS 的大型实例类型能否帮助我们解决 CPU 使用问题？？ 注意：我们已经在使用 m3.large 实例类型。

【问题讨论】：

搜索引擎的问题在于它们会抓取所有内容，这实质上意味着对您的网站的拒绝服务攻击。您可以实现像 CloudFlare（更便宜）或 Akamai（昂贵）这样的 CDN，这可以减轻一些负担。如果您已经在 AWS 上，那么 CloudFront 也可能是一个不错的选择...
好的，将使用 cloudfront 然后看看，但是如果我们在上面加载 css、js n 媒体、skin 文件夹，你能告诉我 Cloudfront 如何提供帮助吗？我知道一些基础知识，虽然我不是 AWS 的 SysOps 方面的专家，但在系统管理方面不太擅长..
从另一边确保服务器配置良好（缓存层、php、Nginx、数据库、文件系统）。因此，请在此处帮助您发布带有日志的配置文件。 Nginx 中的缓存层可以显着降低数据库和文件系统的负载。

标签： php magento amazon-web-services nginx magento-1.9.1

【解决方案1】：

这是垃圾邮件还是爬取我们商店的爬虫程序导致商店响应时间缩短，从而影响搜索引擎排名和我们商店的转化？

机器人和爬虫可能会导致单个 magento 服务器出现持续的流量和资源峰值。不管有什么可以加快 magento 的性能，例如：magento 的默认缓存、nginx 或 apache 设置、已安装的扩展等......

AWS 的大型实例类型能否帮助我们解决 CPU 使用问题？注意：我们已经在使用 m3.large 实例类型。

绝对 - Burstable t2.large 实例可以更具成本效益，并且可以更好地处理由机器人引起的流量高峰。只要您有一个半可预测的流量模式。就像白天流量较高而夜间流量较低一样，该实例将获得积分，可用于突破正常 CPU 容量，请参阅以下内容以获得详细说明：

https://aws.amazon.com/blogs/aws/low-cost-burstable-ec2-instances/

我看到的最大帮助是为 magento 正确配置了 robots.txt 它确保爬虫被定向到正确的位置，确保您的服务器只需要提供它需要的页面。这篇文章是一个很好的起点：

https://magento.stackexchange.com/questions/14891/how-do-i-configure-robots-txt-in-magento

在 Google 和 Bing 的网站管理员工具中，验证您的域后，您可以在必要时更改抓取速度。

您还可以使用 Nginx 实现推荐垃圾邮件拦截，请参阅：

https://github.com/Stevie-Ray/referrer-spam-blocker

【讨论】：