带有 Nodejs 原生模块的 AWS Lambda答案

【问题标题】：AWS Lambda with Nodejs native modules带有 Nodejs 原生模块的 AWS Lambda
【发布时间】：2018-12-18 16:28:06
【问题描述】：

最近我开始使用 AWS Lambda 函数，我的 Nodejs 应用程序运行良好，直到我尝试使用 web3.js 包。添加行后

const Web3 = require('web3');

我收到 HTTP 端点的错误“内部服务器错误”，CloudWatch 日志中出现以下错误

module initialization error: Error
at Object.Module._extensions..node (module.js:681:18)
at Module.load (module.js:565:32)
at tryModuleLoad (module.js:505:12)
at Function.Module._load (module.js:497:3)
at Module.require (module.js:596:17)
at require (internal/module.js:11:18)
at Object.<anonymous> (/var/task/node_modules/scrypt/index.js:3:20)
at Module._compile (module.js:652:30)
at Object.Module._extensions..js (module.js:663:10)
at Module.load (module.js:565:32)

在本地我使用 web3.js 包没有问题。所以我开始深入挖掘以了解这里出了什么问题。依赖项中有一些本机模块。一些谷歌搜索最终得出这些包应该在 Amazon Linux 平台上编译的想法，否则它将无法工作。我开始创建 docker 镜像来实现这个目标。

Dockerfile

FROM amazonlinux:latest

# Install development tools
RUN yum update -y \
  && yum install gcc gcc44 gcc-c++ libgcc44 make cmake tar gzip git -y

# Install nvm and nodejs
RUN touch ~/.bashrc \
  && curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.33.11/install.sh | bash \
  && source ~/.bashrc \
  && nvm install v8.10

CMD source ~/.bashrc && npm install

现在在我的应用程序的根目录中，我运行以下命令来安装 npm 包并使用带有 Amazon Linux 的 docker 映像编译本机模块

docker run -it --rm -v $(pwd):/app -w /app docker/awslinuximage

我使用serverless 框架进行部署。理论上，部署 Lambda 函数后应该可以工作，但实际上却不行。我在 Stackoverflow 上发现了类似的问题，但没有任何帮助。

此外，我认为这是云功能支持Nodejs原生模块的常见问题，应该针对特定操作系统进行编译。

对解决此问题的任何想法和帮助表示赞赏。谢谢。

【问题讨论】：

How to load modules in AWS Lambda?的可能重复
不，我的问题不是部署。我使用无服务器进行部署，效果很好。问题似乎是 lambda 在使用 nodejs 本机模块时存在一些问题，即使我使用 amazon linux docker 映像编译它们也是如此。否则我可能会错过一些重要的事情。
我不熟悉 docker 镜像的过程，但是有一个 official AMI 用于创建兼容的构建环境。
我使用了 amazonlinux docker 镜像，也许值得尝试 lambda image hub.docker.com/r/lambci/lambda 。感谢您的链接和想法，我会检查它。

标签： node.js aws-lambda serverless-framework

【解决方案1】：

web3 使用的 scrypt 二进制文件必须在 docs 中指定的 Lambda 执行环境中编译，函数才能工作。详细说明可以在最后的this 博客文章中找到。您可以使用以下 Dockerfile 自动执行该过程，而无需创建实例。

FROM amazonlinux:2017.03.1.20170812

SHELL ["/bin/bash", "-c"] 

RUN yum update -y && \
    yum groupinstall -y "Development Tools"

# Install node using nvm 
ENV NVM_VERSION v0.33.11
ENV NVM_DIR /root/.nvm
RUN mkdir -p ${NVM_DIR}
RUN touch ~/.bashrc && chmod +x ~/.bashrc

RUN curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.33.11/install.sh | bash

ENV NODE_VERSION v8.10.0
RUN source ${NVM_DIR}/nvm.sh && \
    nvm install ${NODE_VERSION} && \
    nvm alias default ${NODE_VERSION} && \
    nvm use default

ENV NODE_PATH ${NVM_DIR}/${NODE_VERSION}/lib/node_modules
ENV PATH ${NVM_DIR}/versions/node/${NODE_VERSION}/bin:${PATH}

# Install global dependencies
RUN npm install -g node-gyp && \
    npm i -g serverless@1.39.1

# Set aws credentials in the image for serverless to use
# Save your aws (credentials/config) files at ./secrets.aws.(credentials/config) 
COPY ./secrets.aws.credentials /root/.aws/credentials
COPY ./secrets.aws.config /root/.aws/config

ENV APP_PATH /usr/src/app
WORKDIR ${APP_PATH}

# Install app dependencies
COPY package*.json ./
RUN npm install

COPY . .

CMD [ "sls", "deploy" ]

构建并运行 Dockerfile

docker run --rm -it $(docker build -q .)

希望对你有帮助

【讨论】：

【解决方案2】：

我不想用链接来回答，但你可以找到一些关于构建 .node 文件的信息。否则称为node-addon-api。它允许您编译“本机扩展”（以.node 结尾的文件）。是的，您需要为您的目标平台和节点版本执行此操作。但是，您不需要在每次部署/构建时启动 Docker 映像。您只需复制您的 .node 文件即可。您甚至可以只在本地运行 Docker 并执行此操作。它应该会大大简化您的流程。

我在 AWS Lambda 和 Node.js 8.10 中使用它作为另一个专有驱动程序模块，它工作得很好。所以我可以确认这些原生模块在 AWS Lambda 中确实有效。事实上，编译它的公司是针对“linux”而不是我收集到的 Linux 的某些特定 AWS Lambda 变体这样做的。因此，当您需要编译时，它似乎是一种更宽容的方法。

【讨论】：