【发布时间】：2021-10-09 20:42:15
【问题描述】：
我正在从 Facebook 抓取事件数据。
为此，我没有使用 API，而只是从事件的公共页面获取源代码并从中删除 JSON+LD。
它运行良好，但现在 Facebook 开始屏蔽我们：
我们在法兰克福的 Digitalocean 上有一台服务器。我已经更改了服务器的 IPv4 和 IPv6，但结果是一样的。我已经通过多个 TOR 出口节点和多个 VPN 尝试了同样的事情，并且大约 80% 的请求以相同的方式被阻止（根据最后一个代理服务器的位置使用不同的翻译）。
Facebook 是否有某种算法来检测来自服务器的请求并允许来自最终用户的请求？
有什么好方法可以绕过这个禁令吗？例如，一些非阻塞的服务器/VPN 提供商？从服务器到我的家庭计算机的 SSH 隧道并从我的家庭 IP 传输？或者在 HTTP 请求中添加一些标头/像木偶一样通过无头浏览器？
你有解决这个问题的经验吗？
【问题讨论】：
-
Facebook 不允许您在未经书面许可的情况下抓取它们。如果您有书面许可，请与给您的人交谈。否则停止刮他们。是的，Facebook 有很多方法可以检测抓取。
标签： facebook web-scraping vpn spam-prevention