谷歌抓取导致 API 速率限制

Question

目前，谷歌抓取我的网站每秒抓取大约 10 次，这导致我正在使用的一些 instagram API 很快达到其每小时速率限制。

他们有办法阻止谷歌抓取运行一段 php 代码吗？我仍然希望他们抓取页面但不触发 api 请求。

Answer 1

既然你希望页面仍然被抓取，robots.txt 可能不是你的选择。

一般来说，您应该问，您的 API 实现是否正确？您应该使用 API 来获取一些数据或执行一些操作。

你不应该做的是向 API 询问每个 PageView 相同的信息。而是缓存它。

有时可以，将简单的结果缓存在txt文件中，有时您想将数据爬取到自己的数据库中。

如果这不适合你，你可以detect the google bot这种方式：

if(strstr(strtolower($_SERVER['HTTP_USER_AGENT']), "googlebot"))
{
    // what to do
}

至少给 Googlebot 一个缓存版本。

---

另外请注意，这不仅仅是 Googlebot 的问题。那里有很多机器人。还有一些不良机器人，它们伪装成普通用户。此外，如果您的负载很重，这也可能是个问题。