【发布时间】:2021-10-31 18:03:58
【问题描述】:
在 spark 文档中,提到了一行
在 Spark shell 中,已经在名为 sc 的变量中为您创建了一个特殊的解释器感知 SparkContext。
参考:https://spark.apache.org/docs/latest/rdd-programming-guide.html
interpreter-aware SparkContext 在这里是什么意思?
【问题讨论】:
标签: apache-spark
在 spark 文档中,提到了一行
在 Spark shell 中,已经在名为 sc 的变量中为您创建了一个特殊的解释器感知 SparkContext。
参考:https://spark.apache.org/docs/latest/rdd-programming-guide.html
interpreter-aware SparkContext 在这里是什么意思?
【问题讨论】:
标签: apache-spark
您可以使用 python 或 scala 运行 spark-shell。 spark上下文知道是哪一个。因为它是交互式的,所以有一个口译员。这是一个常见的计算概念,仅此而已。
【讨论】: