PySpark 超时异常答案

【问题标题】：PySpark time out exceptionPySpark 超时异常
【发布时间】：2019-10-07 14:38:00
【问题描述】：

我在 Google Dataproc 上运行 pySpark，并尝试使用网络图进行大规模工作。

这是我的配置

import pyspark
from pyspark.sql import SparkSession

conf = pyspark.SparkConf().setAll([('spark.jars', 'gs://spark-lib/bigquery/spark-bigquery-latest.jar'),
                                   ('spark.jars.packages', 'graphframes:graphframes:0.7.0-spark2.3-s_2.11')])

spark = SparkSession.builder \
  .appName('testing bq')\
  .config(conf=conf) \
  .getOrCreate()

但是，当我从网络图上的图框运行“标签传播”算法时，由于超时，它总是返回 Py4JJavaError

result = g_df.labelPropagation(maxIter=5)

错误：

Py4JJavaError: An error occurred while calling o287.run.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 197.0 failed 4 times, most recent failure: Lost task 0.3 in stage 197.0 (TID 7247, cluster-network-graph-w-7.c.geotab-bi.internal, executor 50): ExecutorLostFailure (executor 50 exited caused by one of the running tasks) Reason: Executor heartbeat timed out after 127971 ms

如何从 PySpark 更改此超时参数？会有什么影响？

【问题讨论】：

标签： pyspark google-cloud-dataproc

【解决方案1】：

我认为它与spark.network.timeout有关，默认为120s。

所有网络交互的默认超时。如果未配置，此配置将用于代替 spark.core.connection.ack.wait.timeout、spark.storage.blockManagerSlaveTimeoutMs、spark.shuffle.io.connectionTimeout、spark.rpc.askTimeout 或 spark.rpc.lookupTimeout .

见Spark Configuration。

【讨论】：