我正在尝试将位于 Amazon S3 中的文本文件中的数据加载到 Redshift 数据库。我正在使用SQL Workbench 并使用 COPY 命令加载。该文件很重〜360GB。 2 小时后，连接关闭并抛出错误消息，如主题中所示。我尝试将超时设置为“0”（无限）
【问题讨论】：
标签： amazon-web-services amazon-s3 amazon
在得到一些帮助后我找到了原因。
我正在向其中加载数据的表有一个名为 "COMPUPDATE" 的属性变为 ON 。这基本上意味着，部分复制命令将尝试分析表以进行适当的压缩并应用它们。
这是问题之一。在复制命令中设置属性 OFF 可以节省时间并减少数据库中的一项任务。
我们以后可以随时使用 ANALYZE COMPRESSION 命令检查压缩情况
其次，对于大型数据集，我假设每一列都使用 Zstandard(ZSTD)。因此，在加载数据之前，请尝试检查是否需要压缩。
第三，建议GZIP文件并尝试加载数据。更多信息可以找到here
第四，也是最重要的一点，大文件应拆分为较小的文件，以最好地使用您帐户可用的集群。这将有助于在所有节点之间分配工作负载。 More here
希望这会有所帮助。如果您还需要什么，请告诉我。
【讨论】：