【问题标题】:Do bots open files and use bandwidth机器人是否打开文件并使用带宽
【发布时间】:2015-03-25 17:23:59
【问题描述】:

我们正在尝试降低带宽使用率,在分解哪些文件使用的带宽最多之后,我们有点困惑。虽然我们还没有正式推广我们的播客网站,但仅本月到目前为止,MP3 文件(每个约 10MB)就使用了 1-2 GB 的带宽。我使用 Google Analytics 进行了一些测试,会使用一些带宽,但我认为它不会使用那么多。

漫游器是否会抓取 MP3/MP4 文件并增加其带宽使用量?大多数文件都是206状态码。

【问题讨论】:

  • 您有权访问您的服务器日志吗?如果是这样,您应该能够分辨出谁在访问这些文件。许多主机为此提供了统计数据包。
  • 主要的日志记录程序是AWStats,我告诉我机器人正在爬行并使用带宽,但它没有按文件分解。不过,这确实有助于查看机器人的带宽使用情况,非常感谢!

标签: html server bots robots.txt


【解决方案1】:

这当然是可能的。您可以将 robots.txt 文件添加到您的网站并添加类似内容以防止他们扫描(如果他们这样做了)。

User-agent: * Disallow: /folder/*.mp4

【讨论】:

  • 非常感谢,我会尝试将其添加到机器人文件中,看看情况是否会好转
猜你喜欢
  • 2017-01-18
  • 2021-03-02
  • 2017-03-26
  • 2011-10-23
  • 1970-01-01
  • 1970-01-01
  • 2020-05-18
  • 2019-12-27
  • 1970-01-01
相关资源
最近更新 更多