【问题标题】:Efficient way of storing many thumbnails存储许多缩略图的有效方法
【发布时间】:2020-10-29 06:15:09
【问题描述】:

所以目前我将所有缩略图存储在一个目录中,文件名作为完整大小图像的完整路径的 md5 哈希。但是我在这里读到,当目录达到数千个文件时,这会导致问题。它们会被 linux 文件系统定位得越来越慢。

考虑到我只能通过原始图像路径找到缩略图,我有什么选择?日期是最好的选择,比如year/month/day/md5_hash.jpg,但这需要我从某个地方存储和读取日期,所以需要添加一些额外的步骤。

我正在考虑拆分 md5,例如前两个字符 = 子文件夹名称,其余字符 = 文件名。这会给我 15*15 的子文件夹,但我想听听更好的选择,谢谢!


我刚刚得到的另一个想法:创建一个单独的服务器来组织缩略图。服务器将跟踪缩略图计数并在达到某个限制时创建其他文件夹,并在删除缩略图时重新使用旧文件夹。缺点是我需要一个单独的数据库来将哈希映射到缩略图路径:(

【问题讨论】:

  • 我不清楚您要解决什么问题,或者即使它确实是一个问题。你想优化“效率”,但你是什么意思?磁盘上浪费最少的空间?最快的查询时间?您是否需要具有缩略图名称但想要高分辨率图像的反向映射,或者只是您拥有高分辨率图像并想要缩略图的问题。你有多少张图片?如果重命名高分辨率图像目录会发生什么?
  • 高分辨率图像有多大?缩略图有多大?高分辨率图像是 JPEG 格式吗?您是否考虑过将缩略图存储在高分辨率图像中?启动时间重要吗?您的应用程序是否已分发 - 您可能可以将缩略图加载到 Redis 中。

标签: image server thumbnails directory-structure organization


【解决方案1】:

我们使用的是 FreeBSD(文件系统 UFS),而不是 Linux,因此某些细节可能会有所不同。

背景

我们在这个系统上有数百万个文件,需要尽快从网站上提供这些文件,以供个人访问。我们一直使用的系统在过去 16 年中运行良好。

服务器 1(名为:Tom)的主要用户网站具有相当标准的 Apache 设置和 MySQL 数据库。没什么特别的。

服务器 2(名称:Jerry)是存储用户文件的地方,并且已经过定制以快速交付这些小文件。

Jerry 的硬盘在创建过程中进行了调整,以确保我们不会用完 inode - 在创建数百万个小文件时需要考虑这一点。

Jerry 的 Apache 配置针对非常短的连接时间和每个连接的单个文件访问进行了调整。如果没有这些调整,您将有开放的连接坐在那里浪费资源。这个 Apache 配置根本不适合主系统 (Tom),并且会导致许多问题。

由于您提供的是“缩略图”,而不是单个请求,因此您可能需要稍微不同的结构。老实说,我不太了解您的需求,无法真正建议最适合您的网络服务器配置的方法。

过去,我们在多个服务器上使用多个 SCSI 驱动器。目前,我们有一台具有 300MB/s 驱动器的服务器。该业务已经下降了一段时间(感谢 Facebook),但我们仍然每天处理超过 200 万个文件请求。在我们的巅峰时期,每天大约 1000 万。

我们的结构(一个可能的答案)

Jerry 上的所有内容都针对小文件传输进行了调整,仅此而已。

Jerry 是一个网络服务器,但我们将其视为数据库。所有不需要的都被删除。

每个文件都有一个 4 个字符的 ID。 ID 是字母数字 (0-9,a-z,A-Z)。这为您提供了 61*61*61*61 组合(或 13,845,841 个 ID)。

我们也有多个域,因此每个域最多有 13,845,841 个 ID。在 Facebook 出现之前,我们已经非常接近这个限制的流行“域”,我们已经准备好允许 5 个字符 ID 的计划,但最终不需要它。

如果您知道文件的完整路径,文件系统查找会非常快。如果您需要扫描文件匹配,它只会很慢。我们充分利用了这一点。

每个 4 个字符的 id 是一系列目录。例如,aBc9 是 /path/to/a/B/c/9。

仅 4 个目录中的唯一 ID 数量非常多。每个目录最多有 61 个子目录。在不占用文件系统索引的情况下创建快速查找。

位于目录./9(ID 中的最后一个目录)中的是必要的元数据文件和原始数据文件。元数据是一个已知的文件名,数据文件也是如此。我们在每个文件夹中还有其他已知文件,但您明白了。

如果用户正在更新或检查元数据,则 ID 是已知的,因此会返回对元数据的请求。

如果再次请求数据文件,则 ID 是已知的,因此返回数据。不执行扫描或复杂检查。

如果ID无效,则返回无效结果。

没有什么复杂的,一切都是为了速度。

我们的问题

当您谈论数百万个小文件时,可能会用完 inode。请务必从一开始就将此因素考虑到为服务器创建磁盘。提前计划。

我们禁用和/或编辑了一些 FreeBSD 系统检查。维护 cronjobs 不是为有这么多文件的系统设计的。

Apache 配置需要经过反复试验才能使其恰到好处。当你得到它时,解脱是巨大的。 Apache 的mod_status 很有帮助。

首先要做的是禁用所有日志文件。接下来,禁用所有内容并仅重新添加您需要的内容。

元数据和原始数据的传递(和保存)代码也进行了非常优化。忘记代码库。多年来,每一行代码都经过反复检查,以确保速度。

结论

如果您确实有很多缩略图,请拆分系统。从为此优化的专用服务器提供小文件。保持对主系统进行调整以实现更标准的使用。

只要您不需要扫描文件,基于目录的 ID 系统(即随机 4 个字符或 MD5 的一部分)可以很快。

您的基本操作系统需要进行调整,以便系统检查不会占用您的系统资源。

禁用网络服务器日志文件的创建。您几乎永远不需要它,它会在文件系统上造成瓶颈。如果您需要统计信息,可以从mod_status 获得总体概览。

说实话,关于您的个人案例和需求的信息还不够多。我不确定我的任何个人经历是否会有所帮助。

祝你好运!

【讨论】:

  • 我已经做了一个非常相似的事情,使用 GUID 来表示从前几个字符命名的目录树中的文件名。这不如你的效率高(每个目录中只有 16 个目录)。一个改进是使用文件日期作为文件在树中的深度的决定因素。所以我从 4 级目录开始,当第 4 级开始看起来太忙时,我会创建第五个目录,新文件进入该级别。记住该决定的日期是决定在查找文件时是否深入 4 或 5 个目录所需的全部内容。等等。
【解决方案2】:

最好的、高效的、最小的和最简单的方法是SeaweedFS

自 2017 年以来,我使用 SeaweedFS 每 24 小时存储大约 400 万张 jpeg。目前,该数据库拥有超过 20 亿条记录。我从来没有遇到过这个问题,与存储为文件系统文件相比,它节省了大量磁盘空间。

以下是作者简介:

SeaweedFS 是一个简单且高度可扩展的分布式文件系统。 有两个目标:

  1. 存储数十亿个文件!
  2. 快速提供文件!

详情:

我的项目包含每个事件的 2 张图像,一张是缩略图,另一张是全帧。在项目的第一阶段,我将图像存储为目录结构为year/month/day/[thumb|full].jpg 的文件,但几天后我不得不浏览文件,这是一场噩梦,磁盘响应很慢。如果删除大量文件(超过百万),则需要数小时。所以我决定研究像 google、facebook、instagram 和 twitter 这样的大公司如何存储数十亿张图片,我发现几个 youtube 视频解释了部分架构,然后我遇到了SeaweedFS,我试了一下我快速查看了源代码“版本 0.76”,一切似乎都很好“没有可疑代码”。
唯一的注意是徽标是通过 CDN 而不是本地获取的。

seaweedFS 的美妙之处在于它的简单性和稳定性,它是一种隐藏的宝石(猜到现在)。除了能够存储数十亿个文件并在几毫秒内访问它们之外,它还可以根据TTL 自动清除文件,这是非常有用的功能,因为大多数客户的存储量都是有限的,因此他们无法永远保留所有数据.我喜欢它的第二件事是节省大量存储空间,例如:

在我的服务器中,每个文件都从磁盘空间消耗Multiple of 8 KB(由于文件系统结构),所以即使我的大多数缩略图的大小为1 or 2 KB,它也会消耗8 KB,所以当你加起来时所有浪费的字节最终都会浪费大量存储空间,在 SeaWeedFS 中,每个文件元数据仅占用额外的 40 bytes,这是遗留问题!。

希望对您有所帮助。

【讨论】:

    【解决方案3】:

    如果你使用 md5 的前 2 个字符作为文件夹名称,假设你有 100 个缩略图,只有 2 个缩略图共享前 2 个文件名字符,你很快就会遇到文件系统慢的问题。

    能否分享一下目录结构,原图存放在哪里?

    也许,您可以根据原始图像的创建日期创建缩略图目录结构?

    假设原始图像是在3rd May 2019 上创建的,那么缩略图目录结构可以是thumbnails/52019/abc123.jpg。 (将abc123 视为哈希)

    因此,要找到上述缩略图,您需要:

    1. 读取原图的创建日期
    2. 计算原始图像完整路径的 md5 哈希(在本例中为 abc123)
    3. 转到thumbnails 文件夹
    4. 根据原始图像的创建日期定位子文件夹。在这种情况下,它是52019
    5. 使用原始图像完整路径的哈希搜索文件

    希望这能很好地回答您的问题。

    【讨论】:

      【解决方案4】:

      我在这里读到,当目录达到 数千个 文件时,这会导致问题

      1. 对我来说似乎是过早的优化。你担心成千上万。但现在我在~/.cache/thumbnails 目录中有大约 10 000 个文件,我对此没有任何问题。你真的需要多少缩略图?使他们!然后测试你的表现。

      2. 你在哪里读过它?那里描述的确切问题是什么?因为从this 和this 可以看出,即使单个目录中有50 万个文件,您也可以非常快速地访问它们。是的,当您使用一些工具(如ls)时,您将很难处理庞大的目录,但请确保您可以更好地编写您的服务器。

      3. 并且,作为一个选项,您可以创建并行目录结构。这样对于文件z/y/x/image.png 缩略图转到thumbnails/z/y/x/image.png。这样您将获得以下好处:

        1. 人类可读性
        2. 原始图像和缩略图目录树的简单差异,以防出现错误
        3. 不需要 md5 哈希
        4. 更简单的代码,以防您需要一些批处理操作(例如从 z/y/x/ 删除文件的所有缩略图)

        它也可以更有效。但我不确定 - 测试一下。

      【讨论】:

      • 好吧,也许这是早泄,但为什么这是一件坏事?最好现在优化软件,而不是稍后变得更加复杂
      • @Alex,是的,但不是 :) 有时确实如此,但这个特定的决定肯定是单个函数的本地决定。因此,如果您决定更改它,则需要更改此单个功能。我想这将花费更少的时间来猜测最佳选择。所以整个应用程序的复杂性应该无关紧要
      【解决方案5】:

      我不确定您正在构建什么样的应用程序,但是根据用户数量、服务器速度以及缩略图被访问的频率,您是否可以使用类似缓存的系统?按照您的建议使用 MD5 哈希存储生成的缩略图,并在一定时间后将其删除。如果大多数情况下在图像首次放在服务器上时访问缩略图并且它们的使用随着时间的推移而下降,您可以删除它们(在半夜,或使用最少的时候)并在再次需要它们时重新生成它们, 前提是这没有做很多。

      根据原始文件的目录结构,您可能还有另一个选择是将原始文件分隔到多个目录中,并将缩略图存储在其原始目录中的目录中。这样一来,如果知道原图的路径,就已经知道了缩略图的很大一部分路径。

      【讨论】:

        猜你喜欢
        • 2011-04-12
        • 2019-08-22
        • 2012-12-10
        • 1970-01-01
        • 2012-11-10
        • 1970-01-01
        • 2012-04-30
        • 2017-01-19
        • 2017-01-06
        相关资源
        最近更新 更多