AWS Lambda：挂载 S3 文件答案

【问题标题】：AWS Lambda: mount S3 filesAWS Lambda：挂载 S3 文件
【发布时间】：2018-08-29 07:53:18
【问题描述】：

由于存在大量依赖项，我的 ML 代码无法在 Lambda 中运行。
1.有没有办法在lambda里面加载共享对象 2. 可以在lambda里面挂载外部文件系统吗？

【问题讨论】：

【解决方案1】：

我们使用 AWS Athena 和 Redshift Spectrum 进行 ML/神经网络培训。

您可以使用AWS Athena 并查询您的机器学习训练的选择性记录。这适用于任何大型集合。

如果您在查询中寻找性能，建议使用Redshift Spectrum 的外部表

上述两种技术都会将 S3 文件挂载到它们，并让您通过 SQL 查询快速、有选择地访问它。

希望对你有帮助。

【讨论】：

我不认为它会起作用，ML 模块需要特定的 lib 集，必须将其加载到内存中才能工作。我能想到的唯一解决方案是 AWS 允许从我们的 Docker 容器创建 Lambda。这样我们就可以将所有依赖项加载到容器中。
结帐 Amazon SageMaker。它不仅可以读取上述数据源，还可以读取大量其他数据源。 ML 只需要数据，您可以从任何地方从任何数据源读取数据。性能对于庞大的数据集很重要。
docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/Athena.html。将帮助您在 lambda 中运行查询。