【问题标题】:Spark Streaming for Fitbit data适用于 Fitbit 数据的 Spark Streaming
【发布时间】:2016-04-12 20:55:20
【问题描述】:

我正在使用 Fitbit Oauth 2.0 来访问 fitbit 数据。我将这些数据存储在 SQL db 中,之后,我使用 Spark SQL 来分析数据。 如果我必须使用 Spark Streaming,在进行 OAuth 之后如何将数据摄取到 Spark?

【问题讨论】:

    标签: apache-spark oauth-2.0 apache-spark-sql spark-streaming fitbit


    【解决方案1】:

    有多种方法可以做到这一点

    1. 您可以将 fitbit 数据格式化为结构化数据,然后将其转储到 HDFS/Kafka/Socket 并启动相应的 HDFS/Kafka/Socket 接收器。

    2. 您可以编写自己的自定义接收器,直接使用 OAuth 或从 SQL db 接收数据。

    【讨论】:

      猜你喜欢
      • 2014-07-19
      • 1970-01-01
      • 2013-06-26
      • 2015-08-07
      • 2016-12-13
      • 2017-05-20
      • 1970-01-01
      • 1970-01-01
      • 2021-12-05
      相关资源
      最近更新 更多