【问题标题】:Filter data in Twitter Streaming API在 Twitter Streaming API 中过滤数据
【发布时间】:2016-01-17 05:14:19
【问题描述】:

我目前正在试验 Twitter Streaming API。一切正常,但 API 向我发送了大量数据,而我并不需要这些数据。是否可以过滤 API 发送给我的数据?

我正在使用以下流:https://stream.twitter.com/1.1/statuses/filter.json

【问题讨论】:

    标签: api twitter filter


    【解决方案1】:

    看一下api的过滤流:

    https://dev.twitter.com/docs/api/1.1/post/statuses/filter

    您可以输入一组关键字作为过滤器来跟踪 twitter,根据目前的限制,您最多可以跟踪 400 个关键字。

    检索推文后,您必须再次进行手动过滤以去除噪声数据。

    因此,如果您可以通过一组关键字指定您正在查找的内容,您将实现您想要的;但是您的数据中总会有噪音,因为几乎不可能通过简单的关键字过滤来精确定义 smtg。

    例如,假设您想要跟踪与名为 XYZ 的品牌相关的所有推文。为了获得关于品牌XYZ 的推文,您可能有一个仅包含“XYZ”的单词关键字集。 API 会将所有包含XYZ 的推文提供给您,但假设“XYZ”在某种语言中具有含义,并且说该语言的人会发布关于该词的推文,您也会收到。还假设有一个名为 XYZ 的城市,人们会发送登记信息。因此,此时您需要通过语言检测或上下文信息检索过滤掉与您的主题无关的推文。但关键是要指定您要涵盖的主题的关键字集。

    干杯。

    【讨论】:

    • 嗨,谢谢,但问题是我什至不想接收“嘈杂”数据,因为我想在更短的时间内处理大量推文 :) 也许不是甚至可以从 api 获取“短”版本的推文。
    • @LucèBrùlè 我编辑了我的答案以澄清噪音数据。
    • @cubbuk :假设我在过滤器中指定了 3 个关键字。现在,当我从流 API 获取数据时,有没有办法(除了我自己手动搜索)来检测推文对应于我在过滤器中指定的三个关键字中的哪个?
    • @user1599964 据我所知,twitter 没有提供任何相关信息,您必须自己手动弄清楚。
    • @cubbuk :是的,我想通了。你能看看这个问题,让我知道你的看法吗:stackoverflow.com/questions/16602483/…
    【解决方案2】:

    对于问题“有没有办法(除了我自己手动搜索)来检测推文对应于我在过滤器中指定的三个关键字中的哪个?”我们必须手动完成..

    【讨论】:

      【解决方案3】:

      看看backtype storm project。有使用 twitter4j 过滤 api 的示例。

      【讨论】:

      • 来自过期域的无效链接
      猜你喜欢
      • 1970-01-01
      • 2015-09-12
      • 1970-01-01
      • 2012-02-06
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-12-13
      相关资源
      最近更新 更多