首先有如下的文本,总共10万条数据。

HIVE 如何玩文本分析

HIVE 如何玩文本分析

现在需要按照周一周二周三的格式分组统计数据。

第一步新建数据表并且load数据

HIVE 如何玩文本分析

 

第二步,写一个python处理脚本,能将unixtime转为weekday。

HIVE 如何玩文本分析

第三步,新建数据表,执行迁移sql。

HIVE 如何玩文本分析

HIVE 如何玩文本分析

第四步,执行统计语句

HIVE 如何玩文本分析

整个流程很顺畅,用户只需要关注处理脚本部分,就可以轻轻松松处理1TB文本甚至是1PB文本,这难道不是一件很好玩的事情么?大道至简,几乎不需要复杂的编程就能处理数据。

 

 

 

 

 

 

 

 

 

 

 

转载于:https://my.oschina.net/qidis/blog/1543031

相关文章:

  • 2022-12-23
  • 2021-09-02
  • 2022-01-30
  • 2021-04-17
  • 2021-11-04
  • 2022-01-03
  • 2021-10-12
  • 2021-12-10
猜你喜欢
  • 2021-11-02
  • 2021-09-01
  • 2021-09-03
  • 2021-08-27
  • 2021-11-29
  • 2022-12-23
相关资源
相似解决方案