有没有办法从网站下载 csv 文件并使用 Lambda 将其直接上传到 Amazon S3？答案

【问题标题】：Is there a way to download a csv file from a website and upload it directly to Amazon S3 using Lambda?有没有办法从网站下载 csv 文件并使用 Lambda 将其直接上传到 Amazon S3？
【发布时间】：2021-10-22 21:23:37
【问题描述】：

我正在制作一个应用程序来清理等搜索每天在网站上更新的 CSV。我正在使用 EC2 使用 python pandas.read_csv(url) 将文件下载到 EBS，但现在我想让应用程序无服务器。我想从“https://sam.gov/api/prod/fileextractservices/v1/api/download/Contract%20Opportunities/datagov/ContractOpportunitiesFullCSV.csv?privacy=Public”自动下载并将其上传到 S3 无服务器。我不确定是否可以无服务器。有更好的方法吗？文件大小约为 500 MB。

【问题讨论】：

标签： python-3.x amazon-web-services amazon-s3 aws-lambda aws-serverless

【解决方案1】：

lambda 正是您希望在这种情况下使用的。执行以下操作：

创建 S3 存储桶
编写 lambda 函数
配置 IAM 角色以授予 lambda 写入 S3 存储桶的权限
配置 EventBridge 任务以每天触发 lambda 函数

【讨论】：