如何检查请求是否来自 google、facebook、twitter 和 bing 爬虫？ [复制]答案

【问题标题】：How to check if the request is from google, facebook, twitter and bing crawlers? [duplicate]如何检查请求是否来自 google、facebook、twitter 和 bing 爬虫？ [复制]
【发布时间】：2016-01-03 09:59:32
【问题描述】：

我想为 Web 应用程序提供服务，并使用双向数据绑定在 JavaScript 中编译模板。另一方面，我想为网络爬虫生成现成的 HTML 内容。

如何知道请求是否来自流行的网络爬虫/机器人，例如 Google、bing、facebook、twitter？？

【问题讨论】：

他们通常会通过用户代理告诉您。它会说“google bot”或“Yahoo”或“bing”或类似的东西。
我怎么没想到
你应该回答我会接受的
stackoverflow.com/questions/677419/… - 这回答了您的问题并包括所有搜索引擎等的列表。

标签： php laravel web handlebars.js template-engine

【解决方案1】：

他们通常通过用户代理发送此类信息，例如

Google 抓取工具
雅虎
必应

或类似的东西，在php中你可以找到用户代理

$_SERVER['HTTP_USER_AGENT'];

但是，您应该知道用户代理可能会被欺骗。

【讨论】：