【发布时间】：2015-06-11 07:25:17
【问题描述】：
我们有一个 32 核的大型 EC2 实例，目前运行 Nginx、Tornado 和 Redis，平均每秒处理 5K 请求。一切似乎都运行良好，但 CPU 负载已经达到 70%，我们必须支持更多请求。其中一个想法是用 uWSGI 替换 Tornado，因为我们并没有真正使用 Tornado 的异步特性。
我们的应用程序由一个函数组成，它接收 JSON (~=4KB)，执行一些阻塞但非常快的操作 (Redis) 并返回 JSON。
- 代理 HTTP 请求到 Tornado 实例之一 (Nginx)
- 解析 HTTP 请求（Tornado）
- 读取 POST 正文字符串（字符串化 JSON）并将其转换为 python 字典（Tornado）
- 从位于同一台机器上的 Redis（阻塞）取出数据（py-redis 和hiredis）
- 处理数据（python3.4）
- 在同一台机器上更新 Redis（py-redis 和hiredis）
- 为响应准备字符串化 JSON (python3.4)
- 向代理发送响应（Tornado）
- 向客户端 (Nginx) 发送响应
我们认为速度的提升将来自 uwsgi 协议，我们可以将 Nginx 安装在单独的服务器上，并使用 uwsgi 协议将所有请求代理到 uWSGI。但是在尝试了所有可能的配置并更改了操作系统参数之后，即使在当前负载下，我们仍然无法使其正常工作。 大多数时候 nginx 日志包含 499 和 502 错误。在某些配置中，它只是停止接收新请求，就像它达到了某些操作系统限制一样。
正如我所说，我们有 32 个内核、60GB 可用内存和非常快的网络。我们不做繁重的事情，只做非常快速的阻塞操作。在这种情况下，最好的策略是什么？进程、线程、异步？应该设置哪些操作系统参数？
当前配置为：
[uwsgi]
master = 2
processes = 100
socket = /tmp/uwsgi.sock
wsgi-file = app.py
daemonize = /dev/null
pidfile = /tmp/uwsgi.pid
listen = 64000
stats = /tmp/stats.socket
cpu-affinity = 1
max-fd = 20000
memory-report = 1
gevent = 1000
thunder-lock = 1
threads = 100
post-buffering = 1
Nginx 配置：
user www-data;
worker_processes 10;
pid /run/nginx.pid;
events {
worker_connections 1024;
multi_accept on;
use epoll;
}
操作系统配置：
sysctl net.core.somaxconn
net.core.somaxconn = 64000
我知道限制太高了，开始尝试所有可能的值。
更新：
我最终得到了以下配置：
[uwsgi]
chdir = %d
master = 1
processes = %k
socket = /tmp/%c.sock
wsgi-file = app.py
lazy-apps = 1
touch-chain-reload = %dreload
virtualenv = %d.env
daemonize = /dev/null
pidfile = /tmp/%c.pid
listen = 40000
stats = /tmp/stats-%c.socket
cpu-affinity = 1
max-fd = 200000
memory-report = 1
post-buffering = 1
threads = 2
【问题讨论】：
标签： python nginx tornado uwsgi high-load