我是一名新的 AWS 用户，对其服务感到困惑。在我们公司，我们将数据存储在 S3 中，因此我在 s3 中创建了一个存储桶，并创建了一个 AWS Glue 爬虫来将此表加载到 Redshift 表（我们通常在我们公司做的），我可以在 Redshift 上成功看到。
根据我的研究，Glue 爬虫应该在 Glue 数据目录中创建与我的数据相关的元数据，我可以再次看到这些元数据。这是我的问题：我的爬虫是如何工作的，它是否将 S3 数据加载到 Redshift？我的公司是否应该有一个特殊的配置让我可以将数据加载到 Redshift？
谢谢
【问题讨论】：
标签： amazon-web-services amazon-s3 web-crawler amazon-redshift aws-glue
AWS Glue 本身不与 Amazon Redshift 交互。
Load data from Amazon S3 to Amazon Redshift using AWS Glue - AWS Prescriptive Guidance 提供了一个使用 AWS Glue 将数据加载到 Redshift 的示例，但它只是像通用 JDBC 数据库一样连接到它。
您似乎可以Query external data using Amazon Redshift Spectrum - Amazon Redshift，但这是 Redshift 使用 AWS Glue 数据目录访问存储在 Amazon S3 中的数据。数据不会“加载”到 Redshift。相反，Redshift 中的外部表定义告诉它如何直接在 S3 中访问数据。这与 Amazon Athena 非常相似，后者可以查询存储在 S3 中的数据，而无需将其加载到数据库中。 （将 Redshift Spectrum 视为 Amazon Redshift 中的 Amazon Athena。）
因此，使用 Amazon Redshift 查询数据的方法基本上有两种：
COPY command将数据从S3加载到Redshift然后查询，OR
CREATE EXTERNAL TABLE 告诉 Redshift 在哪里可以找到它（或使用 AWS Glue 数据目录中的现有定义），然后在不将数据加载到 Redshift 本身的情况下查询它。【讨论】：
在运行爬虫后，我明白了在 Redshift 中查看表格的意思。事实上，我在 Redshift 中创建了一个外部表，而不是将表存储到 Redshift。
【讨论】：