Django-Haystack 使用带有 IAM 凭证的 Amazon Elasticsearch 托管

Question

我希望使用 Amazon 的 Elasticsearch 服务器来支持在 Django 数据库中搜索长文本字段。但是，我也不想将这个搜索暴露给那些没有登录并且不想通过默默无闻或某些 IP 限制策略来依赖安全性的人（除非它可以很好地与现有的 heroku 应用程序一起使用，部署 Django 应用程序的位置）。

Haystack 在这方面似乎走了很长一段路，但似乎没有一种简单的方法可以将其配置为使用 Amazon 的 IAM 凭证来访问 Elasticsearch 服务。此功能确实存在于它使用的 elasticsearch-py 中。

https://elasticsearch-py.readthedocs.org/en/master/#running-with-aws-elasticsearch-service

from elasticsearch import Elasticsearch, RequestsHttpConnection
from requests_aws4auth import AWS4Auth

host = 'YOURHOST.us-east-1.es.amazonaws.com'
awsauth = AWS4Auth(YOUR_ACCESS_KEY, YOUR_SECRET_KEY, REGION, 'es')

es = Elasticsearch(
    hosts=[{'host': host, 'port': 443}],
    http_auth=awsauth,
    use_ssl=True,
    verify_certs=True,
    connection_class=RequestsHttpConnection
)
print(es.info())

关于使用 HTTP 授权，我在 https://github.com/django-haystack/django-haystack/issues/1046 的问题下发现了这一点

from urlparse import urlparse
parsed = urlparse('https://user:pass@host:port')
HAYSTACK_CONNECTIONS = {
    'default': {
        'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
        'URL': parsed.hostname,
        'INDEX_NAME': 'haystack',
        'KWARGS': {
            'port': parsed.port,
            'http_auth': (parsed.username, parsed.password),
            'use_ssl': True,
        }
    }
}

我想知道是否有一种方法可以将这两者结合起来，如下所示（正如预期的那样，它会给出错误，因为它不仅仅是用户名和密码）：

from requests_aws4auth import AWS4Auth
awsauth = AWS4Auth([AACCESS_KEY],[SECRET_KEY],[REGION],'es')


HAYSTACK_CONNECTIONS = {
    'default': {
        'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
        'URL': [AWSHOST],
        'INDEX_NAME': 'haystack',
        'KWARGS': {
            'port': 443,
            'http_auth': awsauth,
            'use_ssl': True,
            'verify_certs': True
        }
    },
}

这里的错误：

TypeError at /admin/
must be convertible to a buffer, not AWS4Auth

Request Method:     GET
Request URL:    http://127.0.0.1:8000/admin/
Django Version:     1.7.7
Exception Type:     TypeError
Exception Value:    

must be convertible to a buffer, not AWS4Auth

Exception Location:     /usr/lib/python2.7/base64.py in b64encode, line 53

关于如何实现这一点的任何想法？

Answer 1

您离成功仅一步之遥，将connection_class 添加到KWARGS，一切都会按预期进行。

import elasticsearch

HAYSTACK_CONNECTIONS = {
    'default': {
        'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
        'URL': [AWSHOST],
        'INDEX_NAME': 'haystack',
        'KWARGS': {
            'port': 443,
            'http_auth': awsauth,
            'use_ssl': True,
            'verify_certs': True,
            'connection_class': elasticsearch.RequestsHttpConnection,
        }
    },
}

Answer 2

AWS Identity and Access Management (IAM) 允许您管理 AWS 服务 的用户和用户权限，以控制 AWS 本身的用户可以访问哪些 AWS 资源。

您不能使用 IAM 凭证通过 http_auth 在应用程序级别授权用户，因为您似乎正在尝试通过 Haystack 执行此操作。它们是针对不同服务的不同身份验证方案。它们不兼容。

在您的安全用例中，您已声明需要 1) 限制对您的应用程序的访问，以及 2) 保护 Elasticsearch 服务端口不被开放访问。这两个要求可以通过以下方法来满足：

限制对您的应用程序的访问

我也不想将这个搜索暴露给没有登录的人

对于前端搜索应用，您希望在 Web 服务器上使用服务器级别的 Basic access authentication（HTTP 身份验证）配置。这是您希望通过标准 http_auth 用户名和密码（同样，不是 IAM）控制用户登录访问您的应用程序的地方。这将在应用程序级别保护您的应用程序。

保护 Elasticsearch 服务端口

不想通过默默无闻或其他方式依赖安全性 IP 限制策略（除非它适用于现有的 heroku 应用程序，部署 Django 应用程序的位置）。

IP 限制正是在这里可以发挥作用的，并且符合 AWS 安全最佳实践。您想使用security groups and security group rules 作为防火墙来控制您的 EC2 实例的流量。

给定一个 Haystack 配置：

HAYSTACK_CONNECTIONS = {
    'default': {
        'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
        'URL': 'http://127.0.0.1:9200/',
        'INDEX_NAME': 'haystack',
    },
}

您将希望在该 IP 和端口 127.0.0.1 上的安全组和/或 ACL 级别实施 IP 限制，以限制仅来自您的 Django 主机或其他授权主机的访问。这将保护它免受服务级别的任何未经授权的访问。

在您的实施中，该 URL 可能会解析为公共或私有 IP，具体取决于您的网络架构。