为什么使用 Amazon Athena 复制 Parquet 文件大小会变小

Question

我有一个由 Hive 填充并作为 Parquet 存储在 S3 上的 Hive 分区表。特定分区的数据大小为 3GB。然后我用 Athena 复制一份：

CREATE TABLE tmp_partition
AS SELECT *
FROM original_table
where hour=11

生成的数据大小不到一半 (1.4GB)。可能是什么原因？

编辑：相关hive表定义语句：

ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
  's3://...'
TBLPROPERTIES (
  'parquet.compress'='SNAPPY', 
  'transient_lastDdlTime'='1558011438'
)

Answer 1

不同的压缩设置是一种可能的解释。如果您的原始文件没有被压缩或用 Snappy 压缩，那可以解释它。如果您不指定要使用的压缩方式，Athena 将默认使用 gzip，它的压缩效果比 Snappy 好。

如果您想要一个更全面的答案，您必须向我们提供更多详细信息。你是如何创建原始文件的，它们是否被压缩，压缩什么，数据是什么样的，等等。