如何避免 nginx “上游发送的标头太大”错误？

Question

我正在运行 nginx、Phusion Passenger 和 Rails。

我遇到了以下错误：

upstream sent too big header while reading response header from upstream, client: 87.194.2.18, server: xyz.com, request: "POST /user_session HTTP/1.1", upstream: "passenger://unix:/tmp/passenger.3322/master/helper_server.sock

它发生在对 Facebook Connect 的身份验证调用的回调中。

谷歌搜索后，尝试更改包括 proxy_buffer_size 和 large_client_header_buffers 在内的 nginx 设置无效。

如何调试？

Answer 1

尝试将其添加到配置中：

http {
    ...
    proxy_buffers 8 16k;
    proxy_buffer_size 32k;
    }

Answer 2

也许添加它会使其工作，您如何连接到上游？ http、fastcgi 还是其他？

http {
    ...
    fastcgi_buffers 8 16k;
    fastcgi_buffer_size 32k;
}

Answer 3

最近遇到这个错误。

由于Passenger 3.0.8 现在有一个设置允许您设置缓冲区和缓冲区大小。所以现在你可以做

http {
    ...
    passenger_buffers 8 16k;
    passenger_buffer_size 32k;
}

这为我解决了问题。

Answer 4

fastcgi_buffers 16 16k;
fastcgi_buffer_size 32k;

Answer 5

这是我在过去 2 年中对这个错误的理解：

upstream sent too big header while reading response header from upstream 是 nginx 表达“我不喜欢我所看到的”的通用方式

1. 您的上游服务器线程崩溃了
2. 上游服务器发回了无效的标头
3. 从 STDERR 发回的通知/警告破坏了它们的缓冲区，并且它和 STDOUT 都已关闭

3：查看消息上方的错误日志，它是否在消息之前记录了行？ PHP message: PHP Notice: Undefined index: 来自循环我的日志文件的示例 sn-p：

2015/11/23 10:30:02 [error] 32451#0: *580927 FastCGI sent in stderr: "PHP message: PHP Notice:  Undefined index: Firstname in /srv/www/classes/data_convert.php on line 1090
PHP message: PHP Notice:  Undefined index: Lastname in /srv/www/classes/data_convert.php on line 1090
... // 20 lines of same
PHP message: PHP Notice:  Undefined index: Firstname in /srv/www/classes/data_convert.php on line 1090
PHP message: PHP Notice:  Undefined index: Lastname in /srv/www/classes/data_convert.php on line 1090
PHP message: PHP Notice:
2015/11/23 10:30:02 [error] 32451#0: *580927 FastCGI sent in stderr: "ta_convert.php on line 1090
PHP message: PHP Notice:  Undefined index: Firstname

您可以在第 3 行（从之前的 20 个错误中）看到缓冲区限制被击中、破坏，并且下一个线程在它上面写入。 Nginx 然后关闭连接并返回 502 给客户端。

2：记录每个请求发送的所有标头，检查它们并确保它们符合标准（nginx 不允许超过 24 小时的任何内容删除/过期 cookie，发送无效的内容长度，因为错误消息在内容计数...）

示例包括：

<?php
//expire cookie
setcookie ( 'bookmark', '', strtotime('2012-01-01 00:00:00') );
// nginx will refuse this header response, too far past to accept
....
?>

还有这个：

<?php
header('Content-type: image/jpg');
?>

<?php   //a space was injected into the output above this line
header('Content-length: ' . filesize('image.jpg') );
echo file_get_contents('image.jpg');
// error! the response is now 1-byte longer than header!!
?>

1：验证或制作脚本日志，以确保您的线程到达正确的终点并且在完成之前不会退出。

Answer 6

我想我会加入我的解决方案，因为我目前没有看到它列出。原来我无意中将一个大对象放入会话中，如下所示。

session["devise.#{provider}_data"] = env["omniauth.auth"]

只有当有人首先使用 GitHub OAuth 进行身份验证，然后尝试使用使用同一电子邮件的另一个社交个人资料进行身份验证时才会发生这种情况（为什么我最初无法找出问题所在）。

这是完整的OmniauthCallbacksController 供上下文参考：

class OmniauthCallbacksController < Devise::OmniauthCallbacksController

  def self.provides_callback_for(provider)
    class_eval %Q{
      def #{provider}
        @user = User.from_omniauth(request.env["omniauth.auth"])
        if @user.persisted?
          sign_in_and_redirect @user, event: :authentication
          set_flash_message(:notice, :success, kind: "#{provider}".capitalize) if is_navigational_format?
        else
          auth = request.env["omniauth.auth"]
          if User.exists?(email: auth.info.email)
            set_flash_message(:notice, :failure, kind: "#{provider}".capitalize, reason: "email " + auth.info.email + " already exists") if is_navigational_format?
          else
            set_flash_message(:notice, :error, kind: "#{provider}".capitalize) if is_navigational_format?
          end
          session["devise.#{provider}_data"] = env["omniauth.auth"] <----- Remove this line
          redirect_to new_user_registration_path
        end
      end
    }
  end

  [:github, :linkedin, :google_oauth2].each do |provider|
    provides_callback_for provider
  end
end

一旦我删除了违规行，一切都很好。我猜我把它放在那里是为了调试。