【问题标题】:How pyspark integrates with java? [duplicate]pyspark如何与java集成? [复制]
【发布时间】:2020-03-18 04:38:08
【问题描述】:

免责声明

我对python不太了解,所以问题描述了“它的样子”,答案应该是“它实际上是如何工作的”。

问题

Pyspark 允许在spark 中运行 python 代码。但是python 是解释性语言,它的功能取决于环境(例如,您运行 python 代码的 32 位或 64 位平台)。而spark 在 jvm 上运行,其运行代码独立于环境。

那么python代码是如何“转换”成jvm字节码的呢?或者它不在jvm上运行?使用什么技术? (CORBA?)我听说过Jython,但它看起来像是pysaprk 中没有使用的独立技术是吗?

【问题讨论】:

    标签: python scala apache-spark pyspark jvm


    【解决方案1】:

    Spark 专门使用 Py4J 传递 python 应用程序代码以在 JVM 上运行。你可以在这里找到更多信息https://www.py4j.org/

    你可以在这里找到内部架构https://cwiki.apache.org/confluence/display/SPARK/PySpark+Internals

    【讨论】:

      猜你喜欢
      • 2020-11-12
      • 1970-01-01
      • 1970-01-01
      • 2022-09-29
      • 2011-02-12
      • 2021-04-04
      • 2020-01-07
      • 2023-03-09
      • 1970-01-01
      相关资源
      最近更新 更多