【问题标题】:spark constructs 1-1, 1-M relationships?spark 构建 1-1、1-M 关系?
【发布时间】:2020-08-17 05:41:49
【问题描述】:

spark 有很多结构:

  • 应用
  • 司机
  • 执行者
  • 工作节点
  • 分区
  • 数据帧/rdd
  • 随机播放
  • 工作
  • 舞台
  • 任务
  • 输入文件
  • 输出文件
  • 核心

有没有图表显示它们之间的关系?

即

每个工作节点可以有 0 多个执行者。至少 1 名工人应该至少有 1 名执行者。但是有些工人可能没有执行者

任务分区是一对多

执行者到核心是一对多 ..等

【问题讨论】:

    标签: apache-spark


    【解决方案1】:

    这将详细解释 Spark 执行模型。 https://mapr.com/blog/how-spark-runs-your-applications/

    执行模型

    随机播放的工作原理

    https://0x0fff.com/spark-architecture-shuffle/

    【讨论】:

      猜你喜欢
      • 2018-08-02
      • 1970-01-01
      • 2015-05-12
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-08-18
      • 1970-01-01
      相关资源
      最近更新 更多