EC2 r3.xlarge 存储空间与文档不对应答案

【问题标题】：EC2 r3.xlarge storage space not correspond to the documentationEC2 r3.xlarge 存储空间与文档不对应
【发布时间】：2016-10-03 18:54:50
【问题描述】：

我在 EC2 上通过 r3.xlarge 实例使用 Hadoop YARN，我使用 spark-ec2 脚本从 AMI 启动了这些实例。

在https://aws.amazon.com/ec2/instance-types/上，r3.xlarge的规格如下：

vCPU: 4
Mem: 30.5 GiB
Storage: 1 x 80 GB

内存很好，free 命令给了我这个结果：

root@ip-xxx-xx-xx-xxx ~]$ free -g
             total       used       free     shared    buffers     cached
Mem:            29          2         27          0          0          1

但存储与指示的不对应。

root@ip-xxx-xx-xx-xxx ~]$ df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/xvda1      7.8G  6.9G  783M  91% /
devtmpfs         15G   64K   15G   1% /dev
tmpfs            15G     0   15G   0% /dev/shm

文档中指定的只有 ~40GB 而不是 80GB 是否正常？或者这是因为我从 AMI 启动了实例？

【问题讨论】：

您需要挂载实例存储卷，它与您可能附加到服务器的任何 EBS 卷是分开的。
您使用的是什么 AMI？我们甚至不知道操作系统/发行版。
我正在使用自定义版本的 amazon ami linux

标签： hadoop amazon-web-services apache-spark amazon-ec2

【解决方案1】：

这两个 tmpfs 目录不是您丢失的 80gb 所在的位置。这看起来像一个 Debian/Ubuntu 发行版。我可以复制类似于您的df：

$ df -h
Filesystem      Size  Used Avail Use% Mounted on
udev             15G   12K   15G   1% /dev
tmpfs           3.0G  328K  3.0G   1% /run
/dev/xvda1      7.8G  790M  6.6G  11% /
none             15G     0   15G   0% /run/shm

注意/dev/xvda1。那是您在 ELB 上的引导分区。您的 80gb SSD 实际上位于/dev/xvdb。你需要利用它：

mkdir -p /mnt/ssd && mkfs.ext4 /dev/xvdb \
  && echo '/dev/xvdb /mnt/ssd auto defaults,nobootwait 0 0' >> /etc/fstab \
  && mount /mnt/ssd

$ df -h
Filesystem      Size  Used Avail Use% Mounted on
udev             15G   12K   15G   1% /dev
tmpfs           3.0G  328K  3.0G   1% /run
/dev/xvda1      7.8G  790M  6.6G  11% /
/dev/xvdb        74G   52M   70G   1% /mnt/ssd

恭喜！您现在是 80gb 挂载的骄傲拥有者。好吧，不是80GB。让我们获得 80GB：

$ df -H
Filesystem      Size  Used Avail Use% Mounted on
udev             17G   13k   17G   1% /dev
tmpfs           3.3G  336k  3.3G   1% /run
/dev/xvda1      8.4G  828M  7.1G  11% /
/dev/xvdb        80G   55M   76G   1% /mnt/ssd

【讨论】：

LMK 如果您需要对其进行任何更改，@Koffee，因为这是针对 Debian 发行版的。如果你设法弄清楚，那就太好了。如果没有，我可以弄清楚变化。
我会试试这个，让你知道追加了什么，以及我所做的更改

【解决方案2】：

您的文件系统可能在 EBS 上，而不是 r3.xlarge 附带的实例存储上。这是大多数 AMI 的默认设置。请注意，EBS 卷的大小不是映像的一部分。您可以在创建实例时选择它。

实例存储在较大的实例类型上可用，如下所示：http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/InstanceStorage.html

AMI 映像有两个用于根存储设备的选项。最常见的是 EBS 映像，它使用 EBS 作为根设备。由于 EBS 未锁定特定硬件，因此这些实例更加灵活。

另一个选项是具有实例存储根存储设备的 AMI。但是，您将无法在不终止的情况下停止实例、更改实例类型、调整存储设备大小以及与实例本身分开管理存储。

实例存储 AMI 通常带有 S3 标记。例如：amzn-ami-hvm-2016.03.0.x86_64-s3 (ami-152bc275)。

【讨论】：