如何在 node.js 服务器上缓存 AWS S3 文件并根据请求提供服务？

Question

对于我的网站，我将所有 assets（字体/图像/js 等）部署到 S3 bucket。 index.html（单页 Ember.js 应用程序）部署在弹性 beanstalk node.js 服务器上。节点app.js 接受对www.domain.com/* 的任何请求，并为本地存储的index.html 提供服务。我希望能够为每个生产构建削减将新应用程序部署到弹性 beanstalk 的过程，只需将所有资产和 index.html 部署到 S3 bucket。

这是我目前所拥有的：

var AWS = require('aws-sdk'),
    fs = require('fs');
/*
 * AWS Security credentials
 */
AWS.config.loadFromPath('./config.json');

var port = process.env.PORT || 3000,
    http = require("http");

var static = require('node-static');


/*
* Create a node-static server instance
* to serve the './public' folder
*/
var file = new static.Server();

/*
 * Fetch .index.html from S3
 * and cache it locally
 */
var s3 = new AWS.S3();
var params = {Bucket: 'assets', Key: 'index.html'};
var file = fs.createWriteStream('index.html');

s3.getObject(params).
    on('httpData', function(chunk) { file.write(chunk); }).
    on('httpDone', function() { file.end(); }).
    send();

var server = http.createServer(function (request, response) {
    request.addListener('end', function () {
        file.serveFile('index.html', 200, {}, request, response);
    }).resume();
}).listen(port);

我假设这只会在服务器首次启动时从 S3 获得index.html。缓存的最佳做法是什么，最好是 1 分钟到期。

谢谢！

Answer 1

看看亚马逊的 CloudFront。对于您要完成的工作听起来很熟悉，即文件不必再次通过您的服务器。为您的整个页面加载的往返增加了一点。

也就是说，要在本地缓存，您可以将整个文件存储在 Redis 中（或其他类似的快捷方式，Raik、memcache 等）。

1. 在您的服务器上运行 Redis
2. 从 S3 拉取文件时将文件存储到 Redis 中
3. 保存到 Redis 后设置过期时间
4. 在从 S3 重新拉取之前检查 Redis 的自定义键
   • 如果存在，使用它并重置超时
   • 如果没有，则从 S3 中退出（存储在 Redis 中并设置超时）

我不确定如果文件很大，这将如何响应，但它仍然比每次从 S3 中提取更快。