【问题标题】:Scrape posts and comments from a public facebook page从公开的 Facebook 页面中删除帖子和评论
【发布时间】:2019-09-01 19:32:16
【问题描述】:

看起来去年某个时候,Facebook 开始严格限制其 Graph API。我尝试了不同的方法来抓取公共 Facebook 页面,但总是得到错误:HTTP Error 400: Bad Request

自更改以来,最近几个月有没有人成功抓取 Facebook 页面? 澄清一下:网页所有者同意我抓取信息。

我尝试过的一些事情:

https://github.com/LorenzoMonti/facebook_page_group_comments

https://nocodewebscraping.com/facebook-scraper/

https://www.sourcecon.com/how-to-scrape-data-from-facebook-pages/

https://onlinezhuanjia.com/python-facebook-page-scraper-tool/

我在网上看到了一些建议,说您可以创建一个 facebook 应用程序,然后在一周内获得 fb 的批准。这对于从公共 Facebook 页面上抓取帖子和 cmets 之类的东西是否可行?我继续在 fb 上创建了一个“应用程序”,但并不真正了解如何添加代码来抓取页面以及审批流程是如何工作的。

任何帮助或解决方法将不胜感激!谢谢你。 :)

【问题讨论】:

  • 一开始就不允许抓取,如果您想从 Facebook 获取任何此类数据,您必须使用 API。 “不太了解如何添加代码来抓取页面” - 请对此进行更多研究 - 您不是第一个尝试通过以下方式从页面获取帖子和 cmets 的人API。如果 python 中确实存在某些东西,那么框架可以帮助解决这种问题。 “以及审批流程的工作原理” - 在 developers.facebook.com/docs/apps/review 下有相当广泛的记录
  • 您好 04FS,感谢您的回复。 facebook 页面的所有者希望我抓取信息以进行一些分析,所以我希望 fb 允许解决方法。是的,我想使用 Graph API。我发现很多代码使用 Graph API 之前 限制(现在都不起作用)。最近几个月,我没有找到一个详细说明该过程的示例。
  • 那么,public 访问一开始就是错误的方法。您有一个具有该页面的管理员访问权限的用户,因此让他们登录您的应用并授予其访问其页面的权限。在这种情况下,关于“公共访问”的一切甚至都没有发挥作用。
  • 这是个好建议。我将尝试向管理员请求访问权限。我之前没有这样做的原因是管理员对我来说并不容易,因此可能需要几周时间才能获得批准。但如果这是唯一的方法,那就是它的样子。

标签: python facebook facebook-graph-api web-scraping


【解决方案1】:

是的,使用 API 密钥....如果你想偷偷摸摸,你必须想办法模仿你的浏览器所做的事情,那就是用户代理、标题、cookie、引用者,也许是 JS 查看请求或 selenium chromedriver 人们说不允许抓取,但如果您在查询之间保持最短等待时间,那么您只是在做公众使用浏览器时所做的事情......这是允许的......

附:如果您已经向 Facebook 发送垃圾邮件,他们可能会暂时禁止您的 IP

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2012-04-12
    • 2022-11-10
    • 1970-01-01
    • 2015-04-13
    • 1970-01-01
    • 1970-01-01
    • 2014-05-24
    • 1970-01-01
    相关资源
    最近更新 更多