【发布时间】：2018-07-15 20:11:42
【问题描述】：
我在 Amazon Web Services 上使用 EMR（发布标签：emr-5.8.0）时遇到了间歇性问题。我运行以下服务：
- Hadoop
- 纱线
- 蜂巢
- Sqoop
- 火花
- Hive on Spark
错误如下
Connection refused: ip-10-128-196-59/10.128.196.59:42560
完整的堆栈跟踪是：
18:28:59.495 [驱动程序] 错误 org.apache.spark.deploy.yarn.ApplicationMaster - 用户类抛出 异常：java.util.concurrent.ExecutionException： io.netty.channel.AbstractChannel$AnnotatedConnectException：连接 拒绝：ip-10-128-196-59/10.128.196.59:42560 java.util.concurrent.ExecutionException： io.netty.channel.AbstractChannel$AnnotatedConnectException：连接 拒绝：ip-10-128-196-59/10.128.196.59:42560 at io.netty.util.concurrent.AbstractFuture.get(AbstractFuture.java:41) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 org.apache.hive.spark.client.RemoteDriver.(RemoteDriver.java:145) ~[hive-exec-2.3.0-amzn-0.jar:2.3.0-amzn-0] 在 org.apache.hive.spark.client.RemoteDriver.main(RemoteDriver.java:516) ~[hive-exec-2.3.0-amzn-0.jar:2.3.0-amzn-0] 在 sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法） ~[?:1.8.0_141] 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[?:1.8.0_141] 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[?:1.8.0_141] 在 java.lang.reflect.Method.invoke(Method.java:498) ~[?:1.8.0_141] 在 org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:635) [spark-yarn_2.11-2.2.0.jar:2.2.0] 原因： io.netty.channel.AbstractChannel$AnnotatedConnectException：连接 拒绝：ip-10-128-196-59/10.128.196.59:42560 at sun.nio.ch.SocketChannelImpl.checkConnect（本机方法） ~[?:1.8.0_141] 在 sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717) ~[?:1.8.0_141] 在 io.netty.channel.socket.nio.NioSocketChannel.doFinishConnect(NioSocketChannel.java:257) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 io.netty.channel.nio.AbstractNioChannel$AbstractNioUnsafe.finishConnect(AbstractNioChannel.java:291) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:631) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:566) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:480) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:442) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:131) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 java.lang.Thread.run(Thread.java:748) ~[?:1.8.0_141] 18:28:59.511 [主] 错误 org.apache.spark.deploy.yarn.ApplicationMaster - 未捕获 异常：org.apache.spark.SparkException：抛出异常 等待结果：在 org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:205) ~[spark-core_2.11-2.2.0.jar:2.2.0] 在 org.apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMaster.scala:401) [spark-yarn_2.11-2.2.0.jar:2.2.0] 在 org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:254) [spark-yarn_2.11-2.2.0.jar:2.2.0] 在 org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$main$1.apply$mcV$sp(ApplicationMaster.scala:764) [spark-yarn_2.11-2.2.0.jar:2.2.0] 在 org.apache.spark.deploy.SparkHadoopUtil$$anon$2.run(SparkHadoopUtil.scala:67) [spark-core_2.11-2.2.0.jar:2.2.0] 在 org.apache.spark.deploy.SparkHadoopUtil$$anon$2.run(SparkHadoopUtil.scala:66) [spark-core_2.11-2.2.0.jar:2.2.0] 在 java.security.AccessController.doPrivileged（本机方法） ~[?:1.8.0_141] 在 javax.security.auth.Subject.doAs(Subject.java:422) [?:1.8.0_141] 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698) [hadoop-common-2.7.3-amzn-3.jar:?] 在 org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:66) [spark-core_2.11-2.2.0.jar:2.2.0] 在 org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:762) [spark-yarn_2.11-2.2.0.jar:2.2.0] 在 org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala) [spark-yarn_2.11-2.2.0.jar:2.2.0] 原因： java.util.concurrent.ExecutionException： io.netty.channel.AbstractChannel$AnnotatedConnectException：连接 拒绝：ip-10-128-196-59/10.128.196.59:42560 at io.netty.util.concurrent.AbstractFuture.get(AbstractFuture.java:41) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 org.apache.hive.spark.client.RemoteDriver.(RemoteDriver.java:145) ~[hive-exec-2.3.0-amzn-0.jar:2.3.0-amzn-0] 在 org.apache.hive.spark.client.RemoteDriver.main(RemoteDriver.java:516) ~[hive-exec-2.3.0-amzn-0.jar:2.3.0-amzn-0] 在 sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法） ~[?:1.8.0_141] 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[?:1.8.0_141] 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[?:1.8.0_141] 在 java.lang.reflect.Method.invoke(Method.java:498) ~[?:1.8.0_141] 在 org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:635) ~[spark-yarn_2.11-2.2.0.jar:2.2.0] 原因： io.netty.channel.AbstractChannel$AnnotatedConnectException：连接 拒绝：ip-10-128-196-59/10.128.196.59:42560 at sun.nio.ch.SocketChannelImpl.checkConnect（本机方法） ~[?:1.8.0_141] 在 sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717) ~[?:1.8.0_141] 在 io.netty.channel.socket.nio.NioSocketChannel.doFinishConnect(NioSocketChannel.java:257) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 io.netty.channel.nio.AbstractNioChannel$AbstractNioUnsafe.finishConnect(AbstractNioChannel.java:291) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:631) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:566) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:480) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:442) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:131) ~[netty-all-4.0.43.Final.jar:4.0.43.Final] 在 java.lang.Thread.run(Thread.java:748) ~[?:1.8.0_141]
在 IP 10.128.196.59 的机器上的端口 42560 上没有运行任何东西。我正在使用 AWS 的所有默认设置，不幸的是我找不到有关端口 42560
的 AWS 文档[编辑] 再运行进程，端口不一样了？！
【问题讨论】：
标签： amazon-web-services apache-spark hadoop-yarn emr amazon-emr