【发布时间】:2016-04-12 20:55:20
【问题描述】:
我正在使用 Fitbit Oauth 2.0 来访问 fitbit 数据。我将这些数据存储在 SQL db 中,之后,我使用 Spark SQL 来分析数据。 如果我必须使用 Spark Streaming,在进行 OAuth 之后如何将数据摄取到 Spark?
【问题讨论】:
标签: apache-spark oauth-2.0 apache-spark-sql spark-streaming fitbit
我正在使用 Fitbit Oauth 2.0 来访问 fitbit 数据。我将这些数据存储在 SQL db 中,之后,我使用 Spark SQL 来分析数据。 如果我必须使用 Spark Streaming,在进行 OAuth 之后如何将数据摄取到 Spark?
【问题讨论】:
标签: apache-spark oauth-2.0 apache-spark-sql spark-streaming fitbit
有多种方法可以做到这一点
您可以将 fitbit 数据格式化为结构化数据,然后将其转储到 HDFS/Kafka/Socket 并启动相应的 HDFS/Kafka/Socket 接收器。
您可以编写自己的自定义接收器,直接使用 OAuth 或从 SQL db 接收数据。
【讨论】: