带有转换的 Amazon Redshift COPY答案

【问题标题】：Amazon Redshift COPY with transformation带有转换的 Amazon Redshift COPY
【发布时间】：2015-01-03 06:07:15
【问题描述】：

Redshift 有一个 COPY 操作，可让您将文件从 S3 复制到 Redshift (http://docs.aws.amazon.com/redshift/latest/dg/r_COPY.html)。

S3 中的 .json 文件是“脏”的；它们还没有准备好直接复制到 Redshift 中，需要先进行转换。我的问题是；我是否需要编写新的清理过的 JSON 文件回到 S3，然后从那些清理过的文件中执行 COPY，或者有没有办法通过这个转换运行 jsons 作为复制过程的一部分？

【问题讨论】：

标签： amazon-redshift

【解决方案1】：

@汤米

COPY 操作只允许一些简单的转换，如 DATETIME 格式更改、NULL 占位符等。

要广泛清理您的数据，您可能必须编写自己的程序并将结果转储回 S3，然后才能将其复制到 redshift。

如果您的数据很小，您可以使用 AWS 开发工具包（提供 Java、PHP 和 Python 版本）编写一个简单的程序来执行 ETL 并将其加载到 redshift 中。

在我们的案例中，数据非常庞大（每天约 4 亿行），因此我们使用 Amazon EMR、HIVE 和 SerDe (JSON) 编解码器创建逻辑 HIVE 表，使用 HQL 应用转换，并转储清理后的结果回到 S3 作为 TAB 分隔文件。然后，我们使用标准的 COPY 命令将结果加载到 redshift 中。我们还使用 Amazon Data Pipeline 来编排和自动化此工作流程。

例如。蜂巢脚本

add jar s3://elasticmapreduce/samples/hive-ads/libs/jsonserde.jar; --SerDe codec

CREATE EXTERNAL TABLE  source_table_name (column_a string, column_b date)  row format 
    serde 'com.amazon.elasticmapreduce.JsonSerde'
    with serdeproperties ( 
      'paths'='column_a, column_b'
   ) LOCATION   's3a://your-bucket-name/source-directory-path/';

CREATE EXTERNAL TABLE  dest_table_name (column_a string, column_b date) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'  LOCATION 's3n://your-bucket-name/dest-directory-path/';

INSERT INTO dest_table_name select * from source_table_name;

当然，上面显示的示例只是重新格式化数据。您可能需要根据您的用例添加额外的转换。

希望这会有所帮助。

【讨论】：