【发布时间】：2011-08-20 07:09:56
【问题描述】：
我的一台服务器上超过一半的点击来自 Google Bot，它不断地爬取我们数百万的网页。
我们有这么多页面的原因是该公司是一家汽车零部件商店，对于制造商零件编号及其适合的车辆的每种组合都有唯一的 URL。这不是我们可以摆脱的；人们一直在搜索这些字词，我们需要为每个字词提供唯一的着陆页（因为我们所有的竞争对手都有，当然！）。
因此，我们有数百万个网页需要 Google 了解。这意味着我们每秒从他们的爬虫中获得数次点击，全天候，这是与任何最终用户流量一样重要和必要的流量。
由于我们不断向目录中添加新产品，每周大约有数十万个，我们的唯一 URL 列表越来越长，流量也在稳步增长。
Google bot 不会关注 cookie，这意味着它每次都会获得一个新会话，因此这会将我们的内存使用量增加到分配的最大值。
其他使用 Tomcat7 和 Struts 的人如何处理如此巨大的自动化流量？
我计划尝试的方法是在每个请求结束时在页脚 JSP 磁贴中使会话无效（当且仅当用户代理字符串是 Google 爬虫时）。这是节省内存的有效技术吗？
还有哪些其他策略可以帮助我们更有效地处理机器人流量？
【问题讨论】：
标签： tomcat struts scalability google-crawlers