【发布时间】:2013-07-16 21:36:39
【问题描述】:
我们有一些关于组建网络爬虫以从 Twitter 收集一些数据的问题。
例如,如果我们想使用几百个user IDs 作为关键字来收集一些必要的推文。但是,我们似乎只能使用有限数量的关键字(12 个?),我们可以一次启动一个爬虫。
有什么建议吗?
【问题讨论】:
-
为什么不能一次启动多个爬虫?关键字限制在哪里?
-
到目前为止你做了什么,你能分享你当前的代码吗?如果用户看到您的代码,您将更容易理解您在此处尝试实现的目标。您还可以添加指向您引用的 API 文档的链接吗?
标签: twitter web-crawler