Django-Compressor 无法在自定义 S3 域的离线模式下工作

Question

每当使用 S3 端点的自定义域时，我都会收到以下错误。

#  WORKS 
AWS_S3_CUSTOM_DOMAIN = 'example.fra1.digitaloceanspaces.com/{}'.format(AWS_STORAGE_BUCKET_NAME)
#  DOES NOT WORK ⁉️ 
AWS_S3_CUSTOM_DOMAIN = 'cdn.example.com/{}'.format(AWS_STORAGE_BUCKET_NAME)  

CommandError: An error occurred during rendering /home/<user>/<app>/templates/public/index.html: 'https://cdn.example.com/storage/static/node_modules/nouislider/distribute/nouislider.min.css' isn't accessible via COMPRESS_URL ('https://example.fra1.digitaloceanspaces.com/storage/static/') and can't be compressed

如果我转到任一 url，则该文件是可访问的，因此 CDN 可能正常，URL 定义正确，CORS 也很好。 同样没有django-compressor 子域交付一直工作正常，让我相信问题不在于django-storages

我已经尝试了几个小时，最终不得不通过将AWS_S3_CUSTOM_DOMAIN 设置为与AWS_S3_ENDPOINT_URL 相同来进行临时修复。然而这并不理想。

请看下面的实现。

/requirements.txt

Django==3.1.4
...
boto3~=1.16.46
botocore~=1.19.46
s3transfer~=0.3.3
...
django-storages~=1.11.1
django-compressor~=2.4

/config/settings.py

...
# ==========================================================
#  DJANGO-STORAGES
# ==========================================================
if LOCALHOST_MODE:
    MEDIA_URL = '/media/'
    MEDIA_ROOT = os.path.join(BASE_DIR, 'media')

    STATIC_URL = '/static/'
    STATICFILES_DIRS = [os.path.join(BASE_DIR, 'static/'), ]
else:
    AWS_ACCESS_KEY_ID = os.getenv("AWS_ACCESS_KEY_ID")
    AWS_SECRET_ACCESS_KEY = os.getenv("AWS_SECRET_ACCESS_KEY")

    AWS_STORAGE_BUCKET_NAME = 'storage'
    AWS_S3_ENDPOINT_URL = 'https://example.fra1.digitaloceanspaces.com'
   
    #  WORKS ⚠️ 
    AWS_S3_CUSTOM_DOMAIN = 'example.fra1.digitaloceanspaces.com/{}'.format(AWS_STORAGE_BUCKET_NAME)
    #  DOES NOT WORK ⁉️ 
    AWS_S3_CUSTOM_DOMAIN = 'cdn.example.com/{}'.format(AWS_STORAGE_BUCKET_NAME)  

    AWS_S3_OBJECT_PARAMETERS = {
        'CacheControl': 'max-age=86400',
    }
    AWS_LOCATION = 'static'
    AWS_DEFAULT_ACL = 'public-read'

    STATICFILES_DIRS = (os.path.join(BASE_DIR, "static"), )
    STATIC_URL = '{}/{}/{}/'.format(AWS_S3_ENDPOINT_URL, AWS_STORAGE_BUCKET_NAME, AWS_LOCATION)
    STATICFILES_STORAGE = 'storage_backends.CachedS3Boto3Storage'

    MEDIA_ROOT = os.path.join(BASE_DIR, "media")
    MEDIA_URL = '{}/{}/{}/'.format(AWS_S3_ENDPOINT_URL, AWS_STORAGE_BUCKET_NAME, 'media')
    DEFAULT_FILE_STORAGE = 'storage_backends.MediaStorage'

# ==========================================================
# DJANGO-COMPRESSOR
# ==========================================================
COMPRESS_ENABLED = True
STATIC_DEPS = True
COMPRESS_ROOT = os.path.join(BASE_DIR, "static")

COMPRESS_FILTERS = {
    'css': ['compressor.filters.css_default.CssAbsoluteFilter', 'compressor.filters.cssmin.rCSSMinFilter'],
    'js': ['compressor.filters.jsmin.JSMinFilter']
}

if LOCALHOST_MODE:
    COMPRESS_OFFLINE = False
else:
    COMPRESS_OFFLINE = True
    COMPRESS_STORAGE = STATICFILES_STORAGE
    COMPRESS_URL = STATIC_URL

STATICFILES_FINDERS = [
    'django.contrib.staticfiles.finders.FileSystemFinder',
    'django.contrib.staticfiles.finders.AppDirectoriesFinder',
    'compressor.finders.CompressorFinder',
]
...

/storage_backends.py

from django.core.files.storage import get_storage_class
from storages.backends.s3boto3 import S3Boto3Storage

from config import settings


class MediaStorage(S3Boto3Storage):
    bucket_name = settings.AWS_STORAGE_BUCKET_NAME
    location = 'media'


class CachedS3Boto3Storage(S3Boto3Storage):
    def __init__(self, *args, **kwargs):
        super(CachedS3Boto3Storage, self).__init__(*args, **kwargs)
        self.local_storage = get_storage_class(
            "compressor.storage.CompressorFileStorage")()

    def save(self, name, content):
        self.local_storage._save(name, content)
        super(CachedS3Boto3Storage, self).save(name, self.local_storage._open(name))
        return name

Answer 1

如何调试此错误：

查看引发错误的位置（django-compressor.compressor.base），我们发现以下内容：

    def get_basename(self, url):
        try:
            base_url = self.storage.base_url
        except AttributeError:
            base_url = settings.COMPRESS_URL

        base_url = str(base_url)
        if not url.startswith(base_url):
            raise UncompressableFileError(
                "'%s' isn't accessible via "
                "COMPRESS_URL ('%s') and can't be "
                "compressed" % (url, base_url)
       )

查看您的设置：

• 您的COMPRESS_URL 设置为等于STATIC_URL，
• 这又等于'{}/{}/{}/'.format(AWS_S3_ENDPOINT_URL, AWS_STORAGE_BUCKET_NAME, AWS_LOCATION)。
• 这是https://example.fra1.digitaloceanspaces.com/storage/static/
• 但是传入的url是https://cdn.example.com/storage/static/...

这是问题的路径。

那么发生了什么？？

• COMPRESS_URL 控制读取链接文件和写入压缩文件的 URL。
• 当您的 CSS 或 JS 文件在某处具有 link、rel 或 src 属性时，django-compressor 会调用 get_basename。
• get_basename 获取静态文件的完整路径（例如“/static/css/style.css”）和 返回移除了存储的基本 url 的路径（例如“css/style.css”）。
• 由于某些link、rel 或src 属性的基本路径不是以COMPRESS_URL 开头（它预计是基本url），因此无法删除它，因此会引发错误。

如何解决这个问题

如果不查看整个项目，很难确切知道出了什么问题，但以下内容可能会有所帮助：

1. 如果您更新了您的AWS_S3_ENDPOINT_URL 以匹配您的AWS_S3_CUSTOM_DOMAIN。这反过来会更新你的STATIC_URL（我怀疑这会影响你文件中的文件名），也会更新你的COMPRESS_URL。我认为这可能会解决它。

2. 或者，只需更新COMPRESS_URL 以使用正确的网址（尽管我认为这需要将STATIC_URL 与您当前的设置相匹配）。

3. 如果正在压缩的文件中的任何（link、rel 或 src）url 是硬编码的，则需要更新它们以匹配您的COMPRESS_URL。

Answer 2

Django Compressor 必须配置为远程存储。 Django Compressor Documentation 的第 2.5.1 节涵盖 S3 并说明您需要设置

AWS_S3_CUSTOM_DOMAIN = '%s.s3.amazonaws.com' % AWS_STORAGE_BUCKET_NAME
COMPRESS_URL = f'https://{AWS_S3_CUSTOM_DOMAIN}/'

和

COMPRESS_STORAGE = 'storages.backends.s3boto3.S3Boto3Storage'

在 settings.py 中。在我可以让我的应用程序工作之前，我仍然需要进一步调试，以便我必须在本地运行 collectstatic 以便 my_project/static 匹配我的 S3 存储。然后，我必须设置

STATICFILES_LOCATION = ''

后两个错误可能是不相关的问题，但我认为我应该提及它们。