如何为 AWS Lambda 捆绑 Python

Question

我想在 AWS Lambda 上运行一个项目，但它超过了 50MB 的压缩限制。目前压缩包大小为 128MB，包含虚拟环境的项目文件夹大小为 623MB，包括（空间的顶级用户）：

• scipy (~187MB)
• 熊猫 (~108MB)
• numpy (~74.4MB)
• lambda_packages (~71.4MB)

没有virtualenv，项目requirements.txt 是：

click==6.7
cycler==0.10.0
ecdsa==0.13
Flask==0.12.2
Flask-Cors==3.0.3
future==0.16.0
itsdangerous==0.24
Jinja2==2.10
MarkupSafe==1.0
matplotlib==2.1.2
mpmath==1.0.0
numericalunits==1.19
numpy==1.14.0
pandas==0.22.0
pycryptodome==3.4.7
pyparsing==2.2.0
python-dateutil==2.6.1
python-dotenv==0.7.1
python-jose==2.0.2
pytz==2017.3
scipy==1.0.0
six==1.11.0
sympy==1.1.1
Werkzeug==0.14.1
xlrd==1.1.0

我使用Zappa 进行部署，因此我对整个基础架构的了解有限。我的理解是，一些（极少数）库没有被上传，例如numpy，该部分不会被上传，亚马逊的版本会被使用，该版本已经在该环境中可用。

我提出以下工作流程（不为slim_handler 使用 S3 存储桶）：

1. 删除所有包中与“test_*.py”匹配的所有文件
2. 手动摇树 scipy，因为我只使用 scipy.minimize，删除大部分并重新运行我的测试
3. 压缩所有代码并使用pyminifier进行混淆处理
4. zappa 部署

或者：

1. 运行compileall获取.pyc文件
2. 删除所有 *.py 文件，让 zappa 上传 .pyc 文件
3. zappa 部署

我遇到了slim_handler: true 的问题，我的连接断开并且上传失败或者发生了其他错误，并且在上传到 S3 的大约 25% 时我收到了Could not connect to the endpoint URL。出于这个问题的目的，我想将依赖关系降低到可管理的水平。

尽管如此，主应用程序小于 2MB 的超过一半的依赖项必须是某种记录。

我的问题是：

1. AWS 的解压限制是多少？是 250MB 还是 500MB？
2. 上述减小包装尺寸的方法是否正确？
3. 是否可以更进一步并使用 .pyz 文件？
4. 是否有任何标准实用程序可以帮助解决上述问题？
5. python 有没有摇树库？

Answer 1

1. AWS 中的限制是解压后的 250MB 代码（见此处https://hackernoon.com/exploring-the-aws-lambda-deployment-limits-9a8384b0bec3）
2. 我建议采用第二种方法并编译所有内容。 我认为您还应该考虑使用serverless 框架。它不会强迫您创建非常繁重的 virtualenv。

我发现你所有的包都可以压缩到 83MB（只是包）。

我的解决方法是：

1. 使用 serverless 框架（考虑从烧瓶直接转移到 API 网关）

2. 使用以下方法将您的软件包本地安装在同一文件夹中：

   pip install -r requirements.txt -t .
   

3. 尝试编译成 .pyc 文件的方法，并删除其他文件。

4. 部署：

   sis deploy
   

希望对你有帮助。