pig 源码分析

 

先贴几张pig的部分类图：

 

pig 源码分析

 

 pig logicalPlan转换为physicalPlan的类图

 

 

 pig 源码分析

logicalPlan生成mapreducePlan类图

 

pig的主要流程 使用antlr生成语法树，

对照规则rule生成logicalPlan，每个logicalPlan聚合多个operator，operator就是pig的一个原子操作

再转化为physicalPlan，每个physicalPlan都对应hadoop job的输入输出流

最后转化为mrPlan，每个mrPlan都是包含一个load到store的过程，聚合physicalPlan，可转化为hadoop job

 

 

 

 

 

 

 

 

 

相关文章：

  • 2021-09-10
  • 2021-10-27
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-12-31
  • 2021-05-17
  • 2021-07-26
猜你喜欢
  • 2021-10-09
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-04-12
  • 2021-05-20
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode