将文件上传到 S3 存储桶后，AWS Glue Crawler 的基于事件的触发器？

Question

鉴于爬虫“指向”该存储桶，是否可以在上传到 S3 存储桶的新文件上触发 AWS Glue 爬虫？换句话说：文件上传会生成一个事件，这会导致 AWS Glue 爬虫对其进行分析。我知道有基于计划的爬取，但从未找到基于事件的爬取。

Answer 1

作为一个快速入门，这里详细介绍了如何在 Python 中创建 Lambda 来执行此操作。这是我第一次创建 Lambda 所以 YMMV。

1. 要节省时间，请选择“创建函数”，然后单击“蓝图”。选择名为“s3-get-object-python”的示例并单击“配置”
2. 填写 Lambda 名称并创建一个新角色，除非您已有角色。
3. 向导将同时设置 S3 触发器
4. 创建后，您需要找到它创建的角色并通过包含以下内容的策略添加新权限：

"Action": "glue:StartCrawler", "Resource": "*"

5. 将代码更改为：

    from __future__ import print_function
    
    import json
    import boto3
    
    print('Loading function')
    
    glue = boto3.client(service_name='glue', region_name='ap-southeast-2',
                  endpoint_url='https://glue.ap-southeast-2.amazonaws.com')
    
    def lambda_handler(event, context):
        #print("Received event: " + json.dumps(event, indent=2))
    
        try:
           glue.start_crawler(Name='my-glue-crawler')
        except Exception as e:
            print(e)
            print('Error starting crawler')
            raise e

最后，假设您选择在开发时禁用触发器，从设计器面板中单击 S3 触发器并确保它已启用（进行此更改后您可能需要保存 lambda）

就是这样，但请注意，如果爬虫已在运行，则会引发异常，因此如果您需要频繁上传或长时间爬取，则需要处理该异常。见：https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-crawler-crawling.html#aws-glue-api-crawler-crawling-StartCrawler

编辑：

这有助于我处理异常（来自 AWS Glue）：https://github.com/boto/boto3/issues/1606#issuecomment-401423567

Answer 2

不，目前没有直接调用 AWS Glue 爬虫来响应上传到 S3 存储桶的方法。 S3 事件通知只能发送到：

• 社交网络
• SQS
• 拉姆达

但是，编写一小段 Lambda 代码以使用相关语言 SDK 以编程方式调用 Glue 爬虫将是微不足道的。

Answer 3

这里是类似架构的分步指南（下面的链接）。 （架构参考上图）

https://wellarchitectedlabs.com/Cost/Cost_and_Usage_Analysis/300_Automated_CUR_Updates_and_Ingestion/Lab_Guide.html