Nginx 不会重新解析 Docker 中的 DNS 名称

Question

我将 nginx 作为 docker-compose 模板的一部分运行。 在 nginx 配置中，我指的是其他服务的 docker 主机名（例如 backend、ui）。 在我做到这一点之前效果很好：

docker stop backend
docker stop ui
docker start ui
docker start backend

它使后端和 ui 容器交换 IP 地址（docker 提供私有网络 IP，其基础是为每个新请求者提供 CIDR 中可用的下一个 IP）。执行的这 4 个命令模拟了一些罕见的情况，即两个上游容器同时重新启动但 nginx 容器没有。另外，我相信，在基于 Kubernetes 的集群上运行 pod 时，这应该是一种非常常见的情况。

现在 nginx 将 backend 主机解析为 ui 的 IP，将 ui 解析为后端的 IP。 重新加载 nginx 的配置确实有帮助 (nginx -s reload)。 此外，如果我从 nginx 容器中执行 nslookup - IP 始终可以正确解析。

因此，这将问题隔离为围绕 DNS 缓存的纯 nginx 问题。

我尝试过的事情：

1. 我在 nginx 配置中的 http {} 块下设置了解析器：

resolver 127.0.0.11 ipv6=off valid=10s;

1. 互联网上的人们提出的最常见的解决方案是在代理传递中使用变量（这有助于防止 nginx 在启动时解析和缓存 DNS 记录）-根本没有任何区别：

server {
  <...>
  set $mybackend "backend:3000";
  location /backend/ {
    proxy_pass http://$mybackend;
  }
}

1. 尝试将解析器行添加到位置本身
2. 尝试在 http{} 块级别设置变量，使用 map:

http {  
  map "" $mybackend {
    default backend:3000;
  }
  server {
   ...
  }
}

5. 尝试使用openresty fork of nginx (https://hub.docker.com/r/openresty/openresty/) 和resolver local=true

所有解决方案都没有产生任何效果。仅当我在容器内重新加载 nginx 配置或手动重新启动容器时，才会擦除 DNS 缓存。

我目前的解决方法是使用在 docker-compose.yml 中声明的静态 docker 网络。但这也有它的缺点。

使用的 Nginx 版本：1.20.0（截至目前最新） 使用的 Openresty 版本：1.13.6.1 和 1.19.3.1（截至目前最新）

如果有任何想法，将不胜感激

2021-09-08 更新： 几个月后，我又回来解决同样的问题，但仍然没有运气。真的看起来像 nginx 中的错误 - 我无法让 nginx 重新解析 dns 名称。 nginx 的 dns 缓存似乎没有超时，上面列出的任何选项都没有引入超时或触发 dns 刷新工作。

2022-01-11 更新： 我认为问题确实出在 nginx 上。几个月前我以多种方式测试了我的配置，看起来我的 nginx.conf 中的其他内容阻止了 resolver 指令的 valid 参数正常工作。它是limit_req_zone 或proxy_cache_path 指令，分别用于请求速率限制和缓存。由于某种原因，这些与valid 参数不能很好地配合。而且我在 nginx 文档中的任何地方都找不到有关此的任何信息。 我稍后会回到这个来确认我的假设。

Answer 1

可能是因为nginx的上游服务器DNS解析器只能在商业版nginx plus中工作？

https://www.nginx.com/products/nginx/load-balancing/#service-discovery

Answer 2

TLDR：您的互联网提供商可能正在缓存 dnses，而不考虑微小的 TTL 值（例如 1 秒）。

我一直在尝试在本地重新测试相同的东西。

• 您的 docker 可能正在使用本地解析器 (127.0.0.11)
• 然后 Dns 可能会被您的操作系统缓存（您可以清理它 - 这是操作系统特定的）
• 那么您可能会将其缓存在您的 WIFI/路由器上（是的！）
• 稍后它会转到您的 ISP 并且超出您的控制范围。

但是 nslookup 是你的朋友，你可以查询 nginx 和根 DNS 服务器之间的每个 dns 服务器。

很容易重现（无需设置本地 dns 服务器）

创建 TTL 为 1 秒的路由 53 'A' 条目，并尝试查询您托管区域中的 AWS dns 服务器（它会像 ns-239.awsdns-29.com 一样） 玩弄 dig / nslookup 命令

nslookup
set type=a
server ns-239.awsdns-29.com
your.domain.com

它会返回你设置的IP

将 Route53 'A' 条目更改为其他一些 ip。

使用 dig / nslookup 并确保您立即看到更改

然后将 nginx 中的解析器设置为 AWS dns 名称（仅用于测试目的）。 如果可行，则意味着 DNS 已被缓存，这不再是 nginx 问题！

在我的情况下，它是日出 WIFI 路由器，只有在我重新启动它后才开始看到新 IP（我认为事情会在更长的值后解决）。

当你的 nginx 编译时，调试时很有帮助

--with-debug

然后在 nginx 日志中，您可以查看给定的 dns 是否已解析以及解析到什么 IP。

我的整个配置看起来像这样（如果您在 proxy_pass 中使用变量，则必须设置标准 docker 解析器！）

        server {

                 listen 0.0.0.0:8888;
                 server_name nginx.my.custom.domain.in.aws;
                 resolver 127.0.0.11 valid=1s;

                 location / {
                     proxy_ssl_server_name on;
                     proxy_set_header X-Real-IP $remote_addr;
                     proxy_set_header X-Forwarded-Proto https;
                     proxy_set_header Host $host;
                     set $backend_servers my.custom.domain.in.aws;
                     proxy_pass https://$backend_servers$request_uri;
                 }
            }

那你可以试试用

 curl -L http://nginx.my.custom.domain.in.aws --resolve nginx.my.custom.domain.in.aws 0.0.0.0:8888