生产中的芹菜花安全

Question

我希望使用 Flower (https://github.com/mher/flower) 来代替他们的文档 (http://docs.celeryproject.org/en/latest/userguide/monitoring.html#flower-real-time-celery-web-monitor) 中推荐的 django-admin 来监控我的 Celery 任务。但是，因为我是新手，所以我对 Flower 的页面仅基于 HTTP 而不是 HTTPS 的方式有点困惑。如何为我的 Celery 任务启用安全性，这样任何老用户都不能只访问不需要登录的网站 http://flowerserver.com:5555 并进行更改？

我已经考虑过 Celery 的 own documentation，但不幸的是，他们没有提到如何保护 Flower 的 api 或 web ui。它说的是：[Need more text here]

谢谢！

更新：我的问题部分与此处重复：How do I add authentication and endpoint to Django Celery Flower Monitoring?

但是，我在这里通过询问如何使用包含 nginx、gunicorn 和 celery 的环境运行它来澄清他的问题，这些环境都在同一台远程机器上。我也想知道如何设置 Flower 的外部可访问 url，但如果可能的话，我更喜欢 https 而不是 http（或某种保护 webui 并远程访问它的方式）。我还需要知道让Flower运行对于任何可能访问Flower的内部API的人来说是否是一个相当大的安全风险，以及保护它的最佳方法是什么，或者它是否应该完全禁用并仅在as-需要的依据。

Answer 1

您可以使用 --auth 标志运行 Flower，它将使用特定的谷歌电子邮件进行身份验证：

celery flower --auth=your.email@gmail.com

编辑 1：

新版本的 Flower 需要更多的标志和注册的 OAuth2 客户端 Google Developer Console：

celery flower \
    --auth=your.email@gmail.com \
    --oauth2_key="client_id" \
    --oauth2_secret="client_secret" \
    --oauth2_redirect_uri="http://example.com:5555/login"

oauth2_redirect_uri 必须是实际的花卉登录 url，并且还必须添加到 Google 开发控制台中的授权重定向 url。

很遗憾，此功能在当前稳定版本0.7.2 中无法正常工作，但现在已在开发版本0.8.0-dev 中通过此commit 修复。

编辑 2：

你可以使用basic authentication来配置Flower：

celery flower --basic_auth=user1:password1,user2:password2

然后为除 localhost 之外的所有端口阻塞 5555 端口，并为 nginx 或 apache 配置反向代理：

ProxyRequests off
ProxyPreserveHost On
ProxyPass / http://localhost:5555

然后确保代理模式已打开：

sudo a2enmod proxy
sudo a2enmod proxy_http

如果您无法在单独的子域上设置它，例如：flower.example.com（上面的配置），您可以将其设置为example.com/flower：

用url_prefix跑花：

celery flower --url_prefix=flower --basic_auth=user1:password1,user2:password2

在 Apache 配置中：

ProxyPass /flower http://localhost:5555

当然要确保配置了SSL，否则就没意义了:)

Answer 2

我已经在 Django 端使用代理 https://pypi.org/project/django-revproxy/ 找到了它。所以Flower隐藏在Django auth后面，它比basic auth更灵活。而且你不需要在 NGINX 中重写规则。

花 0.9.5 及更高版本

URL 前缀必须移动到代理路径：https://github.com/mher/flower/pull/766

urls.py

​​>

urlpatterns = [
    FlowerProxyView.as_url(),
    ...
]

views.py

​​>

class FlowerProxyView(UserPassesTestMixin, ProxyView):
    # `flower` is Docker container, you can use `localhost` instead
    upstream = 'http://{}:{}'.format('flower', 5555)
    url_prefix = 'flower'
    rewrite = (
        (r'^/{}$'.format(url_prefix), r'/{}/'.format(url_prefix)),
     )

    def test_func(self):
        return self.request.user.is_superuser

    @classmethod
    def as_url(cls):
        return re_path(r'^(?P<path>{}.*)$'.format(cls.url_prefix), cls.as_view())

花0.9.4及以下

urls.py

​​>

urlpatterns = [
    re_path(r'^flower/?(?P<path>.*)$', FlowerProxyView.as_view()),
    ...
]

views.py

​​>

from django.contrib.auth.mixins import UserPassesTestMixin
from revproxy.views import ProxyView


class FlowerProxyView(UserPassesTestMixin, ProxyView):
    # `flower` is Docker container, you can use `localhost` instead
    upstream = 'http://flower:5555'

    def test_func(self):
        return self.request.user.is_superuser

Answer 3

我想在我的网络服务器的子目录上放花，所以我的 nginx 反向代理配置如下所示：

location /flower/ {
    proxy_pass http://localhost:5555/;
    proxy_redirect off;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Protocol $scheme;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection "upgrade";
    proxy_http_version 1.1;

    auth_basic  "Restricted";
    auth_basic_user_file  /etc/nginx/.htpasswd;
}

现在我可以通过 www.example.com/flower 访问 Flower（受密码保护）

其中大部分来自 Flower 文档页面，关于配置 nginx 反向代理：

http://flower.readthedocs.org/en/latest/reverse-proxy.html

Answer 4

我使用代理视图遵循@petr-přikryl 的方法。但是我无法通过它来验证身份验证（我认为从未调用过 test_func）。相反，我选择将其嵌入到 Django Admin 视图中，并使用AdminSite.admin_view()（如described here）通过 Django Admin 身份验证来包装视图。

具体来说，我做了以下改动：

# Pipfile
[packages]
...
django-revproxy="*"

# admin.py
class MyAdminSite(admin.AdminSite):
    # ...
    def get_urls(self):
        from django.urls import re_path

        # Because this is hosted in the root `urls.py` under `/admin` this 
        # makes the total prefix /admin/flower
        urls = super().get_urls()
        urls += [
            re_path(
                r"^(?P<path>flower.*)$",
                self.admin_view(FlowerProxyView.as_view()),
            )
        ]
        return urls

# views.py
from __future__ import annotations

from django.urls import re_path

from revproxy.views import ProxyView


class FlowerProxyView(ProxyView):
    # Need `/admin/` here because the embedded view in the admin app drops the
    # `/admin` prefix before sending the URL to the ProxyView
    upstream = "http://{}:{}/admin/".format("localhost", 5555)

最后，我们需要确保在运行flower时设置了--url_prefix，所以我将它设置为在我们的生产和开发环境中这样运行：

celery flower --app=my_app.celery:app --url_prefix=admin/flower

Answer 5

是的，flower 上没有身份验证，因为它只是与代理交谈，但如果您通过 SSL 运行它，那么基本身份验证应该足够好了。

Answer 6

要卸载 django 应用程序，我建议您使用 X-Accel-Redirect 标头以便使用 nginx 代理 Flower 服务器。如下：

1. 用户请求花路（例如/task）
2. nginx proxy_pass 像往常一样向您的应用发出请求
3. 您的 django 应用选择接受或拒绝请求（例如基于身份验证）
4. 如果您的应用接受请求，它会返回一个带有X-Accel-Redirect HTTP-header 的响应以及一个内部位置的字符串，即用户无法直接访问的路径李>
5. nginx 拦截响应而不是将其转发给用户，并将其用作新路径，这次有可能访问内部位置，在我们的例子中是 Flower 服务器

如果请求被拒绝，请不要使用 X-Accel-Redirect 并像您要实施的任何其他被拒绝请求一样处理该案例。

nginx.conf：

upstream celery_server {
    server /var/run/celery/flower.sock;
}

upstream app_server {
    server /var/run/gunicorn/asgi.sock;
}

server {
    listen 80;

    location /protected/task {
        internal;  # returns 404 if accessed directly
        proxy_http_version 1.1;
        proxy_redirect off;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
        proxy_set_header Upgrade $http_upgrade;

        proxy_pass http://celery_server/task;
    }

    location / {
        proxy_http_version 1.1;
        proxy_redirect off;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_set_header X-Forwarded-Host $server_name;

        proxy_pass http://app_server;
    }
}

views.py：

from django.contrib.admin.views.decorators import staff_member_required
from django.views.decorators.csrf import csrf_exempt
from django.http import HttpResponse


class XAccelRedirectResponse(HttpResponse):
    def __init__(self, path, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self['X-Accel-Redirect'] = '/protected' + path
        del self['Content-Type']  # necessary


# I chose to only allow staff members, i.e. whose who can access the admin panel
@staff_member_required
@csrf_exempt
def task_app(request, path):
    query_str = request.META['QUERY_STRING']  # you must keep the query string
    return XAccelRedirectResponse(f'/task/{path}?{query_str}')

urls.py:

from django.urls import re_path
from app import views


urlpatterns = [
    re_path('task/(?P<path>.*)', views.task_app, name='task'),
]

花

更改Flower的url-prefix很重要：

celery flower --unix-socket="/var/run/celery/flower.sock" --url-prefix="task"

Answer 7

HTTP 和 HTTPS 将如何影响 Celery 的安全性？您指的是哪些用户登录？

Flower 通过附加到工作线程来监控 Celery 队列。设置 Flower 时，您需要提供连接字符串 [broker]://[user_name]:[password]@[database_address]:[port]/[instance]。用户名和密码是登录您选择的数据库的凭据。

如果您指的是此登录名，那么简单地禁用/删除他们的登录名就足够了吗？