【问题标题】:Storing and processing millions of images in a project在一个项目中存储和处理数百万张图像
【发布时间】:2013-08-29 20:09:00
【问题描述】:

我有一个项目会生成大量图像。 (1 000 000 对不起,我错了) 我需要通过算法处理每张图像。 你能给我建议这个项目的架构吗?

它是计算机视觉领域的专有算法。

图像的平均大小接近 20 kB 我需要在上传时处理它们,并应要求处理 1 或 2 次。 平均而言,我每天获得 100 万张图片,每张图片我需要每天浏览算法 1-2 次。

是的,大多数情况下,图像将存储在本地磁盘上

当我处理图像时,我会生成新图像。

当前视图:

对于我必须执行上述过程的每台服务器,我很可能会有几台服务器(我不拥有)。 服务器之间的互联网带宽非常薄(大约 1 Mb \ s),但对我来说,有必要在服务器之间交换消息(更新神经网络的系数)和更新算法。

在当前的硬件(英特尔系列 6 型号 26)上,完成 50 000 张图像的完整过程大约需要 10 分钟。

可能是

哪里会有广泛的内部频道,所以我可以将这些图像上传到我拥有的服务器。

【问题讨论】:

  • 什么样的处理?它是常见的,比如调整大小或水印,还是一些专有算法?
  • 计算机视觉领域的专有算法。
  • 图片有多大?您多久处理一次它们?它们可以本地存储在某个磁盘驱动器上吗?当你处理它们时,你会改变它们吗?您能否为您的问题添加一些详细信息。
  • 我刚刚更新了问题
  • 你们有什么样的硬件?您的算法处理一张图像需要多长时间?您需要满足什么样的吞吐量?您有什么想法可以解决您的问题,以帮助我们更好地了解您的需求吗?

标签: image image-processing neural-network distributed-computing bigdata


【解决方案1】:

不太了解图像。但我想这应该有助于http://www.cloudera.com/content/cloudera/en/why-cloudera/hadoop-and-big-data.html

另外,请让我们知道您所谈论的处理类型以及您所说的大量图像的时间。您预计每小时或每天多少钱?

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-02-03
    • 2011-10-12
    • 1970-01-01
    • 1970-01-01
    • 2013-04-11
    相关资源
    最近更新 更多