使用 nginx 作为代理时性能不佳答案

【问题标题】：Poor performance while using nginx as proxy使用 nginx 作为代理时性能不佳
【发布时间】：2015-10-29 04:18:05
【问题描述】：

我们后端的当前设置使用 Route53 将请求路由到运行在 ec2 实例上的 tomcat 服务器。

我正在尝试将 nginx 设置为负载均衡器（代理），以将请求路由到我们的 tomcat 服务器。

这里是实例类型，

Tomcat 服务器实例类型 = m3.2xlarge
nginx 服务器实例类型 = c3.large

当我在没有保持活动状态的情况下运行 100 个并发连接的 ab（apache 基准测试）时，我发现单个 tomcat 实例的性能优于 nginx 服务器前面的 2 个 tomcat 服务器。我现在想知道我的 nginx 配置是否有问题。我检查了 nginx 实例上的 error.log 文件，没有错误。此外，运行基准测试工具时，nginx 实例上的 CPU 不会超过 30%。这是我的 nginx 配置，

user nginx;
pid /run/nginx.pid;
worker_processes auto;

worker_rlimit_nofile    32768;

events {
    worker_connections 8192;
    multi_accept on;
    use epoll;
}

http {

    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    keepalive_timeout 65;
    types_hash_max_size 2048;

    include /etc/nginx/mime.types;
    default_type application/octet-stream;


    ssl_protocols TLSv1 TLSv1.1 TLSv1.2; # Dropping SSLv3, ref: POODLE
    ssl_prefer_server_ciphers on;

    upstream backend {
        server x.x.x.x:443;
        server x.x.x.x:443;
        keepalive 1024;
    }

    server {
            listen 443;
            server_name localhost;
            ssl on;
            ssl_certificate /etc/nginx/certs/ssl-bundle_2015_2018.crt;
            ssl_certificate_key /etc/nginx/certs/chewie.key;
            ssl_dhparam /etc/nginx/certs/dhparam.pem;
            ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
            ssl_session_cache    shared:SSL:10m;
            ssl_prefer_server_ciphers on;
            ssl_session_timeout  10m;
            ssl_ciphers "EECDH+ECDSA+AESGCM EECDH+aRSA+AESGCM EECDH+ECDSA+SHA384 EECDH+ECDSA+SHA256 EECDH+aRSA+SHA384 EECDH+aRSA+SHA256 EECDH+aRSA+RC4 EECDH EDH+aRSA RC4 !aNULL !eNULL !LOW !3DES !MD5 !EXP !PSK !SRP !DSS !RC4";

            location / {
                    proxy_pass https://backend;
                    proxy_cache_bypass true;
                    proxy_no_cache true;
                    proxy_set_header        X-Real-IP       $remote_addr;
                    proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
    }
    }


    access_log /var/log/nginx/access.log;
    error_log /var/log/nginx/error.log;


    gzip on;
    gzip_disable "msie6";

    gzip_vary on;
    gzip_proxied any;
     gzip_comp_level 6;
     gzip_buffers 16 8k;
     gzip_http_version 1.1;
     gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;

    include /etc/nginx/conf.d/*.conf;
    include /etc/nginx/sites-enabled/*;
}

这里是没有 nginx 的 apache 基准测试结果。

Concurrency Level:      100
Time taken for tests:   8.393 seconds
Complete requests:      800
Failed requests:        0
Total transferred:      368000 bytes
HTML transferred:       16800 bytes
Requests per second:    95.32 [#/sec] (mean)
Time per request:       1049.083 [ms] (mean)
Time per request:       10.491 [ms] (mean, across all concurrent requests)
Transfer rate:          42.82 [Kbytes/sec] received

这些是 nginx 在 2 个 tomcat 服务器前的结果：

Concurrency Level:      100
Time taken for tests:   23.494 seconds
Complete requests:      800
Failed requests:        0
Total transferred:      381600 bytes
HTML transferred:       16800 bytes
Requests per second:    34.05 [#/sec] (mean)
Time per request:       2936.768 [ms] (mean)
Time per request:       29.368 [ms] (mean, across all concurrent requests)
Transfer rate:          15.86 [Kbytes/sec] received

感谢任何关于我应该在哪里优化的想法！

【问题讨论】：

其中一件事，我正在考虑将 nginx 的实例类型从 c3.large 升级到 m3.2xlarge，因为 c3.large 的网络性能不如 m3.2xlarge。
您可以在应用程序和负载均衡器之间使用 HTTP 1.1 keep-alive，请参阅 docs。还有一个，这不是问题，只是评论：您尝试过 SSL 卸载吗？应用服务器和 Nginx 负载均衡器之间是否需要通过 HTTPS 进行通信？
我启用了负载均衡器和我的服务器之间的 keepalive。它没有任何区别。可能是因为应用服务器本身不支持keep alive。将尝试 ssl offload 并让您知道结果。
你试过ssl卸载了吗？
ssl 卸载就像在 nginx 和上游服务器之间建立连接 http 而不是 http?.. 就完成了。请查看我的更新答案。

标签： performance tomcat amazon-web-services nginx tomcat7

【解决方案1】：

为了提高性能，我们做了一些事情，

将nginx和上游服务器之间的流量转换为http 形成 https
为您的 nginx 使用正确的 ssl 密码。确保运行用于确保使用的密码安全的 ssl 测试 (www.ssllabs.com)
增加 nginx 服务器和 tomcat 的文件描述符限制实例数量很多。

发现更多内容会持续更新。

【讨论】：