【发布时间】：2015-12-13 17:03:39
【问题描述】：
我在 hive 表上运行 spark-sql。
使用以下参数启动spark-shell时运行成功，
"--driver-memory 8G --executor-memory 10G --executor-cores 1 --num-executors 30"
但是当 spark-shell 启动时作业会挂起
"--driver-memory 8G --executor-memory 10G --executor-cores 1 --num-executors 40"
区别仅在于执行者的数量（30 vs 40）。
在第二种情况下，我看到每个执行程序上有 1 个任务处于活动状态，但它没有运行。我在 spark-shell 上没有看到任何“任务完成”消息。
作业成功运行，执行者数量低于 30。
我的yarn集群有42个节点，每个节点有30个核心，每个节点大约有50G内存。
任何指向我必须看的地方的指针吗？
我比较了两次运行的调试级别日志，似乎挂起的运行没有任何此类日志行。好的运行有一堆这样的台词。
"org.apache.spark.storage.BlockManager logDebug - 块广播_0_piece0 的级别是 StorageLevel(true, true, false, false, 1)" "org.apache.spark.storage.BlockManager logDebug - 块广播_1 的级别是 StorageLevel(true, true, false, true, 1)"
【问题讨论】：
标签： apache-spark apache-spark-sql