EMR Spark - TransportClient：发送 RPC 失败答案

【问题标题】：EMR Spark - TransportClient: Failed to send RPCEMR Spark - TransportClient：发送 RPC 失败
【发布时间】：2017-10-24 19:57:53
【问题描述】：

我收到此错误，我尝试增加集群实例以及执行程序和驱动程序参数的内存但没有成功。

17/05/07 23:17:07 ERROR TransportClient: Failed to send RPC 6465703946954088562 to ip-172-30-12-164.eu-central-1.compute.internal/172.30.12.164:34706: java.nio.channels.ClosedChannelException

有没有人有办法解决这个错误？

顺便说一句，我使用 YARN 作为集群管理器

提前致谢

【问题讨论】：

标签： apache-spark hadoop-yarn emr

【解决方案1】：

最后我解决了这个问题。这是由于磁盘空间不足。一栏hadoop日志显示：

Hadoop YARN: 1/1 local-dirs are bad: /var/lib/hadoop-yarn/cache/yarn/nm-local-dir; 1/1 日志目录不好：/var/log/hadoop-yarn/containers

谷歌搜索发现http://gethue.com/hadoop-yarn-11-local-dirs-are-bad-varlibhadoop-yarncacheyarnnm-local-dir-11-log-dirs-are-bad-varloghadoop-yarncontainers/

“如果您遇到此错误，请腾出一些磁盘空间！”

要查看此错误，我必须在 EMR 中激活纱线日志。见

http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-web-interfaces.html

为了访问集群 ec2 实例中的日志端口，我为其更改了安全组

即：

主实例在这里监听：172.30.12.84:8088 和核心此处的实例：172.30.12.21:8042

最后我解决了在 etl.py 中将实例类型更改为其他磁盘更大的问题：

主人：m3.2xlarge
核心：c3.4xlarge

【讨论】：

【解决方案2】：

当我在笔记本电脑中设置 hadoop 和 spark 并尝试将 spark 作为“spark-shell --master yarn”启动时，我收到了相同的错误消息。

解决方案：

sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

添加以下属性：

<property>       
<name>yarn.nodemanager.vmem-pmem-ratio</name>      
<value>5</value>  
</property>

然后重启hadoop服务

stop-all.sh 
start-all.sh

【讨论】：

这让我的生活变得轻松 :) 非常感谢