在 s3n 上查询 Orc 文件非常慢

Question

只要我在 hdfs 上查询我的 ORC 文件，一切都很好而且非常快 - 但是当我想查询存储在 S3 上的数据时，速度非常慢并且查询无法完成。

我正在使用 Hive 0.12 我的创建语句是这样的

CREATE external TABLE externalORCFiles (... , ... , ...)
STORED AS ORC 
location 's3n://...'; 

在我看来，ORC + Presto + S3 (see here) 也存在同样的问题，但我找不到 Hive 的类似问题

Answer 1

在冷藏方面，S3 是一个非常好的存储空间。但是它并不真正适合 HDFS 空间。 S3 数据以大约 50Mbps 的速度移动（可能或多或少，但比 HDFS 慢得多）。您可以在速度和成本之间做出选择。