【问题标题】:Lightening web page load for crawlers减轻爬虫的网页负载
【发布时间】:2011-03-09 12:06:28
【问题描述】:

在共享主机上,我遇到了较高的 CPU/页面加载时间。 Wincachegrind 和 Firebug 表明瓶颈是:

- db queries (time)
- images loading (time)
- Wordpress plugins / filters (CPU)

我已经安装了 WP Supecache,但是我注意到问题已经转移到其他地方:由于该站点有大量帖子(> 50,000),时间和 CPU 消耗任务已转移到 WP Supercache 生成静态文件,关于爬虫访问。

具有讽刺意味的是,该网站每天的用户访问量很少(大约 1,000 人),而每天的爬虫访问量却很大(Google 网站管理员显示 MAX:23,669/Average:11,712/MIN:4,069 个页面统计数据)。

我正在考虑帮助抓取页面阶段,避免在被抓取时加载页面的某些元素/部分。例如,图像和“相关帖子”,而不是索引过程的“战略”……这些部分的“延迟加载”会有所帮助吗?

还是?假设:

- the users traffic to the site is very small, 
  not justifying stepping to costly dedicated/CDN solutions
- Efforts have been taken to minimize plugin impact
- Page design has been improved using CSS sprites, source minifying, 
  using consistent host names, etc, etc pushing page score 
  to higher limits (Yslow, pagespeed)

我相信下一步将使用 Wordpress 作为后端,创建一个较低级别的编码前端 (PHP + MYSQL)....

评论赞赏

【问题讨论】:

    标签: wordpress load performance webpage


    【解决方案1】:

    我已经切换到一个动态页面,它的内容是用 jQuery 加载的。 这将页面加载时间降低到了 1/3 !!! 太好了!

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2011-01-11
      • 1970-01-01
      • 2013-08-21
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-01-04
      相关资源
      最近更新 更多