使用 URL Shortener 跟踪 curl 请求

【问题标题】：Track curl requests with URL Shortener使用 URL Shortener 跟踪 curl 请求
【发布时间】：2014-02-25 17:40:58
【问题描述】：

如何构建 curl 命令以使其被 URL 缩短器识别？当我使用从 bit.ly 或 goo.gl 缩短的 url 运行以下命令时，这两个服务都无法识别该请求。

curl -L "http://bit.ly/1efYimy"

【问题讨论】：

我正在尝试获取在 URL 缩短服务中注册为“点击”的请求。
您的网址被重定向到https 链接。也使用-k 参数。要调试这个东西，请使用-v。
无论有没有 -k，我都会得到正确的响应。但是，请求未在 URL 缩短器中注册。
我不知道缩短站点如何检测到呼叫。最后的请求。添加-A "Mozilla/5.0 (Windows NT 5.1)" 以便网站得到提示，表明您已从浏览器请求它！
那个好像也没有注册...

【解决方案1】：

大多数 URL 缩短器会执行各种形式的过滤和规范化，以从他们报告的静态数据中排除“机器人”流量。

如果您发出少量请求，您可能可以通过更改 curl 报告的用户代理来计算您的请求。

curl -LA "MyApp 1.0" "http://bit.ly/1efYimy"

或

curl -L --user-agent "MyApp 1.0" "http://bit.ly/1efYimy"

请成为一名优秀的网络公民，并选择一个描述您正在做什么的用户代理，并提供一些关于如何找到/联系您的参考信息（例如“MyCo Bot”，在其中通过 Google 搜索 MyCo 会将某人带到您的公司）。

另请注意，虽然基于用户代理的过滤是已完成的机器人检测的一种形式，但各种服务将使用更复杂的措施来检测类似机器人的行为。因此，如果您最终发出大量请求，您的指标可能会停止增加，甚至可能会被阻止/速率受限。

【讨论】：