Presto 作业在集群模式下不工作，仅使用一个节点性能答案

【问题标题】：Presto job is not working in cluster mode, Only use one node performancePresto 作业在集群模式下不工作，仅使用一个节点性能
【发布时间】：2019-12-03 10:41:04
【问题描述】：

我有 2 个节点的 presto 集群，当我运行查询时，它只在一个节点上运行，

----------Presto worker--------------

config.properties

coordinator=false
node-scheduler.include-coordinator=false
http-server.http.port=8181
query.max-memory=5GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery.uri=http://10.0.0.30:8181

jvm.config

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

node.properties

node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffa
node.data-dir=/var/presto/data

-----------presto coordinator------------
config.properties

coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8181
query.max-memory=5GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://10.0.0.30:8181

jvm.config

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

node.properties

node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/var/presto/data

当我运行以下查询时，它只使用一个节点，从 smsc_cdr_2019_07_12 中选择 cdr_timestamp，其中 origination = '0705529921';

此表有 40M 条记录和 35 列。

当我使用 1 台服务器运行查询时，它将拆分为 17 和 3.30 分钟，对于两台服务器，它也将分为 17 和 3 分钟 + 服用

当使用 2 个节点运行时，第二个节点的内存消耗对于 presto 几乎是 0。请帮我解决这个问题。

【问题讨论】：

暴露cdr_timestamp 表的连接器是什么？顺便说一句，Presto Community slack (prestosql.io/community.html) 上的 #troubleshooting 频道可能是解决此类问题的更好地方。
我正在使用 mysql 连接器

标签： presto

【解决方案1】：

Presto JDBC 连接器通常是单线程的。用 Presto 的说法，例如MySQL 连接器为查询中访问的每个表创建一个拆分。因此，读取发生在单个节点上，在单个线程中。

有一个提议将基于 JDBC 的连接器扩展为并行：https://github.com/prestosql/presto/issues/389

注意：上述限制通常不是 JDBC 连接器所固有的，这只是当前的状态。例如Starburst Teradata connector supports parallel reads。

【讨论】：