如何在 Eclipse IDE 中修复“异常：Java 网关进程在发送其端口号之前退出”

Question

我正在尝试在 Eclipse IDE 的 pydev 环境中使用 pyspark 连接 MySQL。 出现以下错误：

异常：Java 网关进程在发送其端口号之前退出

我已检查 Java 是否已正确安装，并且还在 windows-> 首选项->Pydev->Python Interpreter->Environment 中将 PYSPARK_SUBMIT_ARGS 设置为值 --master local[*] --jars path\mysql-connector-java-5.1.44-bin.jar pyspark-shell。

Java 路径也已设置。也尝试通过代码设置它，但没有运气。

#import os
from pyspark import SparkContext
from pyspark import SparkConf

from pyspark.sql.context import SQLContext

#os.environ['JAVA_HOME']= 'C:/Program Files/Java/jdk1.8.0_141/'

#os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars D:/Softwares/mysql-connector-java-5.1.44.tar/mysql-connector-java-5.1.44/mysql-connector-java-5.1.44-bin.jar pyspark-shell'

conf = SparkConf().setMaster('local').setAppName('MySQLdataread')

sc = SparkContext(conf=conf)

sqlContext = SQLContext(sc)

dataframe_mysql = sqlContext.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/").option("driver", "com.mysql.jdbc.Driver").option("dbtable", "XXXXX").option("user", "root").option("password", "XXXX").load()

dataframe_mysql.show()

Answer 1

我的问题略有不同，我在带有 windows 的 spyder 中运行 spark。 当我使用

from pyspark.sql import SQLContext, SparkSession

我遇到了问题，并按照谷歌搜索链接并无法解决问题。

然后我将导入改为：

from pyspark.sql import SparkSession
from pyspark import  SQLContext

并且错误消息消失了。

我在Windows上运行，anaconda3，python3.7，spyder 希望对某人有所帮助。

编辑：
后来，我发现真正的问题来自以下。当任何配置无法正常工作时，会出现相同的异常。以前，我使用 28gb 和 4gb 而不是 28g 和 4g，这导致了我遇到的所有问题。

from pyspark.sql import SparkSession
from pyspark import  SQLContext
spark = SparkSession.builder \
    .master('local') \
    .appName('muthootSample1') \
    .config('spark.executor.memory', '28g') \
    .config('spark.driver.memory','4g')\
    .config("spark.cores.max", "6") \
    .getOrCreate()