Spark Thriftserver 由于画面查询而停止或冻结答案

【问题标题】：Spark Thriftserver stops or freezes due to tableau queriesSpark Thriftserver 由于画面查询而停止或冻结
【发布时间】：2017-10-27 16:42:26
【问题描述】：

大约 30 人通过 spark-shell 和 tableau (10.4) 使用 spark 集群 (spark 2.2)。每天一次，thriftserver 被杀死或冻结，因为 jvm 需要收集很多垃圾。这些是我可以在 thriftserver 日志文件中找到的错误消息：

ERROR SparkExecuteStatementOperation: Error executing query, currentState RUNNING, java.lang.OutOfMemoryError: GC overhead limit exceeded

ERROR TaskSchedulerImpl: Lost executor 2 on XXX.XXX.XXX.XXX: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages. Exception in thread "HiveServer2-Handler-Pool: Thread-152" java.lang.OutOfMemoryError: Java heap space

一般信息：

Thriftserver 使用以下选项启动（复制自 master 的 web-ui -> sun.java.command）：

org.apache.spark.deploy.SparkSubmit --master spark://bd-master:7077 --conf spark.driver.memory=6G --conf spark.driver.extraClassPath=--hiveconf --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --executor-memory 12G --total-executor-cores 12 --supervise --driver-cores 2 spark-internal hive.server2.thrift.bind.host bd-master --hiveconf hive.server2.thrift.port 10001

spark 独立集群在 6 台机器上有 48 个内核和 240 GB 内存。每台机器都有 8 个内核和 64 GB 内存。其中两个是虚拟机。

用户正在查询一个 hive 表，该表是一个在所有机器上复制的 1.6 GB csv 文件。

我做错了什么，为什么 tableau 能够杀死 thriftserver？是否有任何其他信息可以帮助您帮助我？

【问题讨论】：

标签： apache-spark garbage-collection apache-spark-sql tableau-api spark-thriftserver

【解决方案1】：

我们可以通过设置绕过这个问题：

spark.sql.thriftServer.incrementalCollect=true

将此参数设置为 true 时，thriftserver 将向每个分区的请求者发送结果。这会减少 thriftserver 发送结果时所需的内存峰值。

【讨论】：