在来自 AWS 的相同 lambda 代码中运行 lambda 函数

Question

我有以下 lambda 函数，它在调用时可以正常启动 databricks 集群。现在，我想添加另一个 lambda 函数并在 60 秒的间隔后按顺序运行它。我通过一个接一个地列出两个 lambda 函数来尝试它，但只执行了最后一个函数，并且由于集群处于 TERMINATED 状态，作业失败了。在集群启动后，有人可以帮我运行这项工作吗？

用于启动 databricks 集群的 Lambda：

const https = require("https");   
var tokenstr = "token:xxxxxxxxaaaaaabbbbbccccccc";

exports.handler = (event, context, callback) => 
{
     var data = JSON.stringify({
        "cluster_id": "2222-111000-123abcde"
      });

         var start_cluster_options = {
             host: "aaa.cloud.databricks.com",
             port: 443,
             path: "/api/2.0/clusters/start",
             method: "POST",
             // authentication headers
             headers: {
              "Authorization": "Basic " + new Buffer(tokenstr).toString("base64"),
              "Content-Type": "application/json",
              "Content-Length": Buffer.byteLength(data)
             }
          };

          var request = https.request(start_cluster_options, function(res){
            var body = "";

            res.on("data", function(data) {
              body += data;
            });

            res.on("end", function() {
              console.log(body);
            });

            res.on("error", function(e) {
              console.log("Got error: " + e.message);
            });

          });

      request.write(data);
      request.end();
    };

从 lambda 运行 databricks 作业的函数：

exports.handler = (event, context, callback) => {
     var data = JSON.stringify({
   "job_id": 11111
   });

var run_job_options = {
    host: "aaa.cloud.databricks.com",
      port: 443,
      path: "/api/2.0/jobs/run-now",
      method: "POST",
      // authentication headers
      headers: {
       "Authorization": "Basic " + new Buffer(tokenstr).toString("base64"),
       "Content-Type": "application/json",
       "Content-Length": Buffer.byteLength(data)
     }
   };

   var request = https.request(run_job_options, function(res){
     var body = "";

     res.on("data", function(data) {
       body += data;
     });

我想在同一个 lambda 函数中同时使用 START / RUN_JOB，如果这不是更好的方法，请帮助我，我是 LAMBDA 调用的新手。

更新：

我已按照@Dudemullet 的建议修改了我的代码，并收到一条错误消息“2018-08-15T22:28:14.446Z 7dfe42ff-a0da-11e8-9e71-f77e93d8a2f8 任务在 3.00 秒后超时”，不确定，我做错了什么，请帮忙。

const https = require("https");
var tokenstr = "token:xxxxxxxxaaaaaabbbbbccccccc";

 var data = JSON.stringify({
    "cluster_id": "2222-111000-123abcde"
  });

 var data2 = JSON.stringify({
   "job_id": 11111
 });

  var start_cluster_options = {
     host: "aaa.cloud.databricks.com",
     port: 443,
     path: "/api/2.0/clusters/start",
     method: "POST",
     // authentication headers
     headers: {
      "Authorization": "Basic " + new Buffer(tokenstr).toString("base64"),
      "Content-Type": "application/json",
      "Content-Length": Buffer.byteLength(data)
     }
  };

 var run_job_options = {
     host: "aaa.cloud.databricks.com",
     port: 443,
     path: "/api/2.0/jobs/run-now",
     method: "POST",
     // authentication headers
     headers: {
      "Authorization": "Basic " + new Buffer(tokenstr).toString("base64"),
      "Content-Type": "application/json",
      "Content-Length": Buffer.byteLength(data2)
    }
  };

exports.handler = (event, context, callback) => 
{
   https.request(start_cluster_options, function(res){});
   setTimeout(() => {
    https.request(run_job_options, function(res){});
    callback(); // notify lambda everything is complete
    }, 60);
};

我在 python 中做 lambda 函数，但是这个函数是从一个示例扩展而来的，所以我不确定 node.js 编码。

******更新结束******

理想情况下，我希望将它包含在 AWS lambda 中，而不是进入 AWS Step 函数等。

谢谢

Answer 1

您可以使用AWS Step Functions 执行此操作。它基本上就像一个工作流。

在高层次上，这就是您可能想要做的事情：

1) Run your lambda to start the cluster and return cluster id or something.
2) Check cluster status every 10 seconds.
3) If the cluster is up, execute `submit job` lambda function.

Answer 2

假设您已将其抽象为两个函数。

startServer 和 runJob

您的 lambda 将一直运行，直到您调用回调或执行时间 (TTL) 到期。所以你可以编写如下所示的代码。

exports.handler = (event, context, callback) => {

  https.request(start_cluster_options, function (res) {

    setTimeout(() => {
      https.request(run_job_options, function (res) {

        callback();

      });
    }, 60);

  });
};

另一种简单的方法是使用 SQS。 Lambda 现在可以使用 SQS 作为事件源。因此，您可以在 SQS 队列中创建一条消息，并将其可见性超时设置为您需要的任何时间。 Sqs visibility timeout