本地文件系统作为 Django 中的远程存储

Question

我使用 Amazon S3 作为我的网络服务的一部分。工作流程如下：

• 用户将大量文件上传到 Web 服务器。 Web 服务器首先将它们存储在本地，然后异步上传到 S3
• 用户发送 http-request 来启动作业（这是对这些上传文件的一些处理）
• Web 服务要求工作人员完成工作
• Worker 完成工作并将结果上传到 S3
• 用户向网络服务器请求下载链接，返回somedbrecord.result_file.url
• 用户使用此链接下载结果

为了处理文件，我使用QueuedStorage 后端。我像这样发起我的FileFields：

    user_uploaded_file = models.FileField(..., storage=queued_s3storage, ...)
    result_file = models.FileField(..., storage=queued_s3storage, ...)

其中queued_s3storage 是从...backends.QueuedStorage 派生的类的对象，remote 字段设置为'...backends.s3boto.S3BotoStorage'。

现在我计划在一台机器上部署整个系统以在本地运行所有内容，我想用基于我的本地文件系统的东西替换这个 '...backends.s3boto.S3BotoStorage'。

第一个解决方法是使用可以在本地“模拟”S3 的 FakeS3。有效，但这并不理想，只是额外的不必要的开销。

我有 Nginx 服务器运行并提供来自特定目录的静态文件。如何创建我的“远程存储”类，它实际上在本地存储文件，但提供指向 Nginx 提供的文件的下载链接？ （类似于http://myip:80/filedir/file1）。 django 中是否有相应的标准库类？

Answer 1

媒体文件的默认存储后端是本地存储。

您的settings.py 定义了这两个环境变量：

• MEDIA_ROOT (link to docs) -- 这是本地文件存储文件夹的绝对路径
• MEDIA_URL (link to docs) -- 这是网络服务器 HTTP 路径（例如 '/media/' 或 '//%s/media' % HOSTNAME

默认存储后端使用这些来保存媒体文件。来自 Django 的默认/全局 settings.py：

# Default file storage mechanism that holds media.
DEFAULT_FILE_STORAGE = 'django.core.files.storage.FileSystemStorage'

此配置的默认存储用于FileFields，未提供存储kwarg。也可以这样访问：rom django.core.files.storage import default_storage。

---

因此，如果您想改变存储以供本地开发和生产使用，您可以执行以下操作：

# file_storages.py
from django.conf import settings
from django.core.files.storage import default_storage
from whatever.backends.s3boto import S3BotoStorage

app_storage = None
if settings.DEBUG == True:
    app_storage = default_storage
else:
    app_storage = S3BotoStorage()

在你的模型中：

# models.py
from file_storages import app_storage

# ...
    result_file = models.FileField(..., storage=app_storage, ...)

---

最后，您希望 nginx 直接从您的 MEDIA_URL 提供文件。只需确保 nginx URL 与 MEDIA_URL 中的路径匹配即可。

Answer 2

我打算将整个系统部署在一台机器上以在本地运行所有内容

那么请停止使用QueuedStorage，因为"[QueuedStorage] enables having a local and a remote storage backend" 而你刚刚说过你不想要遥控器。

只需使用FileSystemStorage 并配置 nginx 服务于location / settings.MEDIA_ROOT