mfrbuaa

Flare-Spark 介绍

我在自己的github上建了个flare-spark项目,本身是Apache Spark项目Master分支的镜像。在Spark的基础上,添加了flare子项目。

估计大多数修改都会增量加入到flare子项目里,尽量不改变Spark本身的代码。

新增的代码都会在线下机器上编译、执行成功之后再提交上来。

对于flare-spark项目的维护和新增逻辑例如以下图:

新的代码在线下编译測试通过之后,提向develop分支,再以PR的形式merge到master主干。
同一时候不定时从Apache Spark 的Master分支merge新的PR,pull的目标是暂时分支,待合进master后再删除branch。


New Feature

眼下的flare项目里添加了ORCFile的读取,代码方面添加了OrcfileRDD和一个FlareContext。ORCFile能够提供列裁剪和适当的过滤谓词下推。

眼下对于flare-spark项目的畅想,主要在Pig on Spark这个思路上。

有什么问题和建议能够直接与我联系,欢迎交流、沟通  :)


全文完  :)

分类:

技术点:

相关文章:

  • 2021-04-06
  • 2021-08-03
  • 2021-09-09
  • 2022-12-23
  • 2022-01-23
  • 2022-01-20
猜你喜欢
  • 2021-09-05
  • 2021-04-27
  • 2022-01-01
  • 2021-12-30
  • 2021-09-23
  • 2021-05-23
相关资源
相似解决方案