【问题标题】:twitter4j - controlling sampling ratetwitter4j - 控制采样率
【发布时间】:2018-06-01 10:40:20
【问题描述】:

我需要使用 twitter4j 库抓取过去 1 周与特定查询相关的推文。我编写了一个批量收集批处理可重新启动的程序,我在一夜之间运行该程序以收集大约 5 GB 的推文。我相信这些是由 Twitter API 以 1% 的采样率进行的。 我需要跨越一周的推文,但这对我来说是大量的数据。我只需要代表上周的推文。我想知道是否有任何方法可以通过 twitter4j 配置控制采样率。

【问题讨论】:

  • 非常感谢您发表评论,解释否决该问题的原因。问题有什么不正确或不清楚的地方吗?
  • 你不能降低采样率,你应该采取一种让你满意的方法,比如在一个小时内抽取 10% 的随机推文,或者使用一些过滤器......随你喜欢!
  • 是的。这就是我实现它的方式。感谢您的答复。您可以添加它来回答。

标签: twitter twitter4j


【解决方案1】:

你不能降低采样率,你应该采取一种让你满意的方法,比如在一个小时内抽取 10% 的随机推文,或者使用一些 filters... 随便你!

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2019-02-06
    • 1970-01-01
    • 2021-12-25
    • 2017-02-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多