【发布时间】:2013-08-29 20:09:00
【问题描述】:
我有一个项目会生成大量图像。 (1 000 000 对不起,我错了) 我需要通过算法处理每张图像。 你能给我建议这个项目的架构吗?
它是计算机视觉领域的专有算法。
图像的平均大小接近 20 kB 我需要在上传时处理它们,并应要求处理 1 或 2 次。 平均而言,我每天获得 100 万张图片,每张图片我需要每天浏览算法 1-2 次。
是的,大多数情况下,图像将存储在本地磁盘上
当我处理图像时,我会生成新图像。
当前视图:
对于我必须执行上述过程的每台服务器,我很可能会有几台服务器(我不拥有)。 服务器之间的互联网带宽非常薄(大约 1 Mb \ s),但对我来说,有必要在服务器之间交换消息(更新神经网络的系数)和更新算法。
在当前的硬件(英特尔系列 6 型号 26)上,完成 50 000 张图像的完整过程大约需要 10 分钟。
可能是
哪里会有广泛的内部频道,所以我可以将这些图像上传到我拥有的服务器。
【问题讨论】:
-
什么样的处理?它是常见的,比如调整大小或水印,还是一些专有算法?
-
计算机视觉领域的专有算法。
-
图片有多大?您多久处理一次它们?它们可以本地存储在某个磁盘驱动器上吗?当你处理它们时,你会改变它们吗?您能否为您的问题添加一些详细信息。
-
我刚刚更新了问题
-
你们有什么样的硬件?您的算法处理一张图像需要多长时间?您需要满足什么样的吞吐量?您有什么想法可以解决您的问题,以帮助我们更好地了解您的需求吗?
标签: image image-processing neural-network distributed-computing bigdata