是否可以通过 AWS SWF 和 Lambda 函数运行 Python 网络爬虫？答案

【问题标题】：Is it possible to run a Python web scraper via AWS SWF and Lambda Function?是否可以通过 AWS SWF 和 Lambda 函数运行 Python 网络爬虫？
【发布时间】：2018-01-17 23:14:04
【问题描述】：

我制作了一个 Python 网络爬虫，用于从网络下载超过 4PB 到 8PB 的数据。我必须每秒运行超过 1k + 蜘蛛才能从 12 个网站下载数据。如果我使用 ec2 实例，它将非常昂贵。有人告诉我使用 SWF 和 lambda。但是我在网上没有找到任何关于使用 SWF 的网络爬虫的信息。

是否可以通过 Amazon Simple Workflow Service 或 AWS Lambda 运行此蜘蛛？

【问题讨论】：

标签： aws-lambda amazon-swf

【解决方案1】：

如果你的爬虫需要下载大量数据，我不确定你是否可以使用 lambda。

看看AWS Lambda Limits

EC2 Spot Instances 怎么样？您仍然可以以有效的成本使用 ec2 实例。

【讨论】：