【问题标题】:scrape facebook likes with python用python刮脸书喜欢
【发布时间】:2018-02-02 07:19:40
【问题描述】:

我正在尝试使用 Python 抓取 Facebook 公共页面的点赞数据。我的刮刀使用帖子编号来刮取点赞数据。但是,有些帖子有超过6000个赞,而我只能抓取6000个赞,而且我被告知这是由于Facebook的限制,不允许每天抓取超过6000个。我怎样才能从刮板停止刮的点继续为帖子刮点赞。

【问题讨论】:

  • 不允许抓取 Facebook,他们会在发现时阻止您。 // 当你说超过 6,000 个赞时,你的意思是你需要获得个人的赞,即哪些用户赞了一个帖子?干什么用的?
  • 为学术研究分析用户行为

标签: python facebook-graph-api scrape


【解决方案1】:

我在想也许 facebook 已经限制了从同一个地址抓取超过 6000 次。您可以尝试使用scrapy,这是一个用于废弃网页的包,它有一个类似ip pool的组件可以用于此。

【讨论】:

  • 我每天都在为同一个地址抓取 6000 个赞,但是对于超过 6000 个的帖子,我失去了一些赞,因为在抓取器停止工作后,我第二天开始抓取另一个帖子:(
【解决方案2】:

在标签中,我看到了 facebook-graph-api,它有局限性。为什么不使用requrests + lxml?这会更容易,而且当你想抓取公共页面时,你甚至不必登录,所以很容易解决。

【讨论】:

    猜你喜欢
    • 2018-08-10
    • 2012-10-09
    • 1970-01-01
    • 1970-01-01
    • 2016-06-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-06-28
    相关资源
    最近更新 更多