使用 Flume 的大数据实时数据流答案

【问题标题】：Bigdata Live data streaming using flume使用 Flume 的大数据实时数据流
【发布时间】：2017-03-31 07:20:02
【问题描述】：

我正在尝试使用 Flume 分析 Twitter 数据我使用 BigInsights 中的水槽从 twitter 获取文件但我收到的数据是压缩的 Avro 架构，不可读谁能告诉我一种可以将该文件转换为 JSON 的方法（可读）以便对其进行一些分析。

或者有什么方法可以让我收到的数据已经是 JSON（可读）格式。
提前致谢。

这是我收到的数据

【问题讨论】：

嗨，欢迎来到堆栈溢出！到目前为止，您尝试过什么来读取/解析 JSON？请考虑添加代码示例，突出显示出错的部分。
此数据仅为可读格式。它具有除英语以外的其他语言，并且在此类数据中，您通常会得到垃圾字符，您需要在使用数据进行处理之前对其进行处理或替换。

标签： hadoop cloudera flume biginsights bigdata

【解决方案1】：

Avro 格式不是为人类可读而设计的，它旨在供程序使用。但是您有几个选项可以查看这些数据，甚至可以更好地分析这些数据。

创建 Hive 表：此选项将允许您使用 SQL 查询、Spark SQL、Spark 笔记本、Tableau 和 Excel 等可视化工具分析数据。您的表创建脚本将如下所示：

CREATE TABLE twitter_data
ROW FORMAT
SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
STORED AS
INPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
TBLPROPERTIES ('avro.schema.literal'='{...

在架构字面量中，您也可以定义自己的架构。

编写程序：如果您是开发人员并且想要/喜欢使用编程来处理数据，那么您可以选择多种语言来从 Avro 文件读取、解析、转换和写入 JSON。

【讨论】：

我是 hadoop 的新手，谁能告诉我应该怎么做才能在 hive 中分析这种数据
您如何与 Hadoop 交互？您使用 Hue 还是其他 UI？你用shell吗？
这个建议有用吗？
我按照tutorialspoint.com/apache_flume/fetching_twitter_data.htm中提到的流程进行