【问题标题】:How to create an uncompressed text file with Athena如何使用 Athena 创建未压缩的文本文件
【发布时间】:2019-03-13 20:00:18
【问题描述】:

我在 Athena 中有一些数据,我想加入并创建一个新表。我可以通过 CTAS 操作和AWS provide a few examples 来做到这一点。

我正在使用TEXTFILE 格式创建输出,并且我不想要任何压缩。在这个链接里

此示例还将压缩指定为 SNAPPY。如果省略,则使用 GZIP。

这是我的代码示例:

CREATE TABLE "main_extended"
WITH (
    external_location = 's3://attr-dev/data-joiner/test-1/main_extended/',
    format = 'TEXTFILE',
    field_delimiter = ',')
AS
SELECT
    t1.*,
    t2.month
FROM main t1 left outer join period_month t2
ON t1.period = t2.period

如何指定compression 选项,该选项应采用什么值来“关闭”TEXTFILE 格式的压缩?

【问题讨论】:

    标签: hive compression file-format amazon-athena presto


    【解决方案1】:

    截至今天,CTAS 语法不支持此功能 - 已尝试多种方法,彻底审查了文档,并咨询了 AWS 支持。

    创建由简单文本文件支持的表的推荐方法是从 Athena 调用简单的 SELECT 语句并指定输出位置,然后调用引用该输出位置的 CREATE EXTERNAL TABLE 类型查询。结果是一样的,只是机制有点不同。

    【讨论】:

    • 我没明白第二段的意思。这样做可以得到未压缩的文本文件吗?
    猜你喜欢
    • 2017-05-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-05-04
    • 2013-12-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多