我计划部署 Google Search Appliance 来远程索引 Intranet 站点（跨大陆）。所以我将使用公司的网络，可能会消耗太多的带宽。 关于我可以用来减轻初始爬网影响的配置（这是唯一被认为对网络有危险的配置），我们有：
我是否在正确的轨道上，是否可以配置其他设置以避免在 GSA 和 Web 服务器之间产生过多的网络流量？
【问题讨论】：
标签： networking network-traffic google-search-appliance
尽量减少对远程站点的抓取的最佳方法是不抓取它。如果做不到这一点，有几个设置会帮助它，如上所述：
1) 主机负载调度
这将设置当前设置为主机的爬虫的线程数。 请注意，这可以是小于 1 的数字。（即 2.5）（BigMikeW 也指出）
2) 新鲜度调整
不经常抓取实际上意味着“不再抓取”。这与元 URL 提要结合使用效果很好，它将告诉 GSA 重新抓取页面或来自管理控制台的重新抓取请求。经常抓取实际上意味着：“每天抓取一次”。由于爬虫已重新调整并且硬件速度更快，因此此设置实际上并没有太大意义。 GSA 将在每日内部向其找到的页面提交请求。
3) 抓取时间表
我发现关闭爬虫并不是更好，而是将其保持在连续模式并将阈值设置为零。这允许自然 GSA 算法发挥作用。您希望通过调度实现的任何目标都可以通过在您希望爬虫安静的时间段内将其调整为零来实现。
我对减少 WAN 流量的建议： 1) 检查 DNS 并在必要时添加覆盖以确保您路由到最近的内容源 2) 将内容源模式设置为不经常抓取 3) 创建一个元 URL 提要来推送内容更新。
最后一个需要一些编码。这里有一个示例站点地图馈送器： https://code.google.com/p/gsafeedmanager/
使用此配置，GSA 将永远不会重新抓取内容，而是依靠提要来通知它更新。
替代： 1) 确保内容源使用 LAST Modified Dates 响应 HEAD 请求。不要不频繁地配置爬网。 GSA 将检测增量并随着时间的推移减慢爬取速度。
【讨论】：
是的，我也会看看Freshness Tuning 和Duplicate Hosts。
主机负载计划
抓取时间表
新鲜度调整
【讨论】：
正如 Tan Hong Tat 所说，看看 Freshness Tuning 和 Duplicate Hosts。 我会将其设置为不经常抓取，至少在初始抓取完成之前。
也做一些内容分析。使用爬网模式，您可以指示 GSA 忽略某些内容类型（基于文件扩展名）或不包含对搜索体验有价值的内容的 Intranet 区域。
当您设置主机负载时，请记住您可以使用 0-1 之间的十进制值，例如：0.1。
如果他们有合适的 WAN 优化器，您可能会发现这不是您想象的问题。
【讨论】：