负载平衡 nginx 代理中的共享缓存内容答案

【问题标题】：Shared cache content in load balanced nginx proxy负载平衡 nginx 代理中的共享缓存内容
【发布时间】：2017-02-20 16:07:15
【问题描述】：

                       <---> NGX CACHE - NODE A \
REQUESTS <---> LB <-->                           <----> SHARED FS (NAS)
                       <---> NGX CACHE - NODE B /

我正在尝试完成这样的事情，请求在多个节点之间进行负载平衡，这些节点应该在可用时提供共享缓存内容。我们遇到了随机的 MISS 结果，即使内容是由其他节点之一存储在缓存文件系统中的。从日志中我们可以看到，有时节点 A 将节点 B 识别为 HIT 内容缓存，但有时则不会。

根据文档https://www.nginx.com/blog/nginx-caching-guide/，强制keys_zone 参数设置了一个共享内存区域，用于存储缓存键和元数据，以快速确定请求是HIT 还是MISS，而无需进入磁盘。

这是我们配置的相关部分：

            proxy_cache_path /tmp/nginx_cache levels=1:2 keys_zone=my_zone:10m max_size=10g inactive=60m use_temp_path=off;
             :           :            :
            location ~* ^/api/rdPage.aspx {
                    resolver 10.0.0.1;
                    add_header X-Cache-Status $upstream_cache_status;
                    proxy_cache_bypass $http_pragma;
                    proxy_cache_key "$proxy_host$uri$request_body";
                    proxy_cache_valid 200 10m;
                    proxy_ignore_headers Cache-Control Expires Set-Cookie;
                    proxy_cache_methods POST;
                    proxy_cache_min_uses 0;
                    proxy_cache my_zone;

                    # WITH PROXY LB SERVER
                    proxy_pass http://api-server/rdPage.aspx$is_args$args;
                    proxy_headers_hash_bucket_size 128;
                    proxy_connect_timeout   15;
                    proxy_send_timeout        15;
                    proxy_read_timeout        1800;
            }

keys_zone“共享”内存区域如何为多个节点工作？如果它在内存中，如何共享？任何不添加自定义模块（例如 SR 缓存）到 nginx (https://www.nginx.com/resources/wiki/modules/sr_cache/) 的替代方案？

【问题讨论】：

标签： nginx

【解决方案1】：

Nginx 不能在节点之间共享基于磁盘的缓存。将缓存放在共享磁盘上也是一个坏主意，这是一个糟糕的设计。共享磁盘的任何网络问题、由于网络延迟和分配锁累积导致的任何高延迟都会显着降低 nginx 性能。

将缓存留在本地磁盘上。如果您使用多个节点作为负载平衡 - 您可以使用缓存分片。每个节点都会接收到部分请求并缓存起来。如果您的目标是 HA，则每个节点都应保留自己的完整缓存。

您可以在 nginx 网站上阅读有关所有这些案例的更多信息：https://www.nginx.com/blog/shared-caches-nginx-plus-cache-clusters-part-1/ about sharding 和 https://www.nginx.com/blog/shared-caches-nginx-plus-cache-clusters-part-2/ about HA。

【讨论】：