【问题标题】:Crawling Twitter using multiple keywords使用多个关键字抓取 Twitter
【发布时间】:2013-07-16 21:36:39
【问题描述】:

我们有一些关于组建网络爬虫以从 Twitter 收集一些数据的问题。

例如,如果我们想使用几百个user IDs 作为关键字来收集一些必要的推文。但是,我们似乎只能使用有限数量的关键字(12 个?),我们可以一次启动一个爬虫。

有什么建议吗?

【问题讨论】:

  • 为什么不能一次启动多个爬虫?关键字限制在哪里?
  • 到目前为止你做了什么,你能分享你当前的代码吗?如果用户看到您的代码,您将更容易理解您在此处尝试实现的目标。您还可以添加指向您引用的 API 文档的链接吗?

标签: twitter web-crawler


【解决方案1】:

由于Twitter API restrictions (rate limiting),无法想象爬取整个网站,除非你有很多时间或者除非你付费才能获得对twitterhose的特殊访问权,这应该是解决问题的唯一方法你提到了

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-01-16
    • 2019-11-16
    • 1970-01-01
    • 2021-03-23
    • 1970-01-01
    • 2016-04-28
    相关资源
    最近更新 更多