EMR：主实例尝试下载引导操作失败

Question

我正在尝试安装： 1) 带有 Spark 的集群。 2) 一个带有 Hbase 的集群。

第一次尝试使用 Bootstrapping Spark 添加集群成功，但是我使用了错误的 SSH 密钥，所以我必须使用新密钥重新安装。从那以后（从第二次尝试开始）我在安装上面的 1 和 2 时每次尝试都会遇到相同的错误。

我遵循来自https://aws.amazon.com/articles/ElasticMapReduce/4926593393724923的指示

我来自 aws CLI 的命令： aws emr create-cluster --name GCSpark --ami-version 3.2 --instance-type m3.xlarge --instance-count 3 --ec2-attributes KeyName=KeyPair--applications Name=Hive --bootstrap-actions Path= s3://support.elasticmapreduce/spark/install-spark

stderr.txt 的输出： + python install-spark-script BA 14/10/31 22:00:45 INFO guice.EmrFSBaseModule：一致性禁用，使用 com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem 作为文件系统 执行。 14/10/31 22:00:46 信息 fs.EmrFileSystem：使用 com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem 作为文件系统 实施 14/10/31 22:00:47 信息 s3n.S3NativeFileSystem：打开 's3://support.elasticmapreduce/spark/1.1.0/scala-2.10.3.tgz' 为 阅读 14/10/31 22:01:06 信息 guice.EmrFSBaseModule：一致性 禁用，使用 com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem 作为 文件系统实现。 14/10/31 22:01:07 信息 fs.EmrFileSystem： 使用 com.amazon.ws.emr.hadoop.fs.s3n.S3NativeFileSystem 作为文件系统 实施 14/10/31 22:01:08 信息 s3n.S3NativeFileSystem：打开 's3://support.elasticmapreduce/spark/1.1.0/spark-1.1.0.e.tgz' 为 阅读 /bin/cp：无法统计 /usr/share/aws/emr/emr-fs/lib/：没有 文件或目录 Traceback（最近一次调用最后一次）：文件 “install-spark-script”，第 120 行，在 prepare_classpath() 文件中 “install-spark-script”，第 52 行，在 prepare_classpath 中 subprocess.check_call() 文件“/usr/lib64/python2.6/subprocess.py”， 第 505 行，在 check_call 中引发 CalledProcessError(retcode, cmd) subprocess.CalledProcessError：命令''返回非零退出 状态 1*

任何帮助将不胜感激。

谢谢！

Answer 1

安装错误当时是一个临时问题，并已在更高版本 (1.1.0.f) 中修复。

更改和注释的自述文件位于https://github.com/awslabs/emr-bootstrap-actions/tree/master/spark。