【问题标题】:AWS Redshift loading data from S3AWS Redshift 从 S3 加载数据
【发布时间】:2014-07-09 14:43:51
【问题描述】:
所以我试图从 S3 存储桶将数据加载到我的 Redshift 数据库中。我有一个表格“示例”,其中有一个格式为“YY-MM-DD HH:MM:SS”的字段“时间戳”。
使用copy query 加载数据,因此我能够加载特定模式/前缀,但我想在某个时间戳之后加载数据,例如,大于 '2014-07-09 10: 00:00'。我该如何处理?
【问题讨论】:
标签:
postgresql
amazon-web-services
amazon-s3
amazon-redshift
【解决方案1】:
你有两个选择:
在将文件加载到 S3 之前处理文件(并仅上传时间戳大于 $SOME_TIMESTAMP 的数据)
-
使用 COPY 命令将文件加载到中间表(甚至可以是临时表 - 只要您留在同一个会话中),然后运行:
insert into YOUR_ORIGINAL_TABLE (select * from YOUR_TEMP_TABLE where timestamp > WHATEVER_YOU_NEED)