【发布时间】:2018-06-01 10:40:20
【问题描述】:
我需要使用 twitter4j 库抓取过去 1 周与特定查询相关的推文。我编写了一个批量收集批处理可重新启动的程序,我在一夜之间运行该程序以收集大约 5 GB 的推文。我相信这些是由 Twitter API 以 1% 的采样率进行的。 我需要跨越一周的推文,但这对我来说是大量的数据。我只需要代表上周的推文。我想知道是否有任何方法可以通过 twitter4j 配置控制采样率。
【问题讨论】:
-
非常感谢您发表评论,解释否决该问题的原因。问题有什么不正确或不清楚的地方吗?
-
你不能降低采样率,你应该采取一种让你满意的方法,比如在一个小时内抽取 10% 的随机推文,或者使用一些过滤器......随你喜欢!
-
是的。这就是我实现它的方式。感谢您的答复。您可以添加它来回答。