首先有如下的文本,总共10万条数据。
现在需要按照周一周二周三的格式分组统计数据。
第一步新建数据表并且load数据
第二步,写一个python处理脚本,能将unixtime转为weekday。
第三步,新建数据表,执行迁移sql。
第四步,执行统计语句
整个流程很顺畅,用户只需要关注处理脚本部分,就可以轻轻松松处理1TB文本甚至是1PB文本,这难道不是一件很好玩的事情么?大道至简,几乎不需要复杂的编程就能处理数据。
转载于:https://my.oschina.net/qidis/blog/1543031