【问题标题】:iOS image processing pipeline, is GPUImage still strong comparing with the core image lib?iOS图像处理管道,GPUImage与核心图像库相比是否仍然强大?
【发布时间】:2015-03-18 06:06:50
【问题描述】:

我刚开始在 iOS 上开发图像处理应用程序,我在 OpenCV 方面有很多经验,但是在 iOS 甚至 OSX 上对我来说一切都是新的。

所以我发现主要是核心图像库和GPUImage库用于正常的图像处理工作。我很想知道在 iOS 平台上我应该选择哪一个作为新的?我已经看到在 iPhone 6 上的 iOS 8 上进行了一些测试,现在在 GPUImage 的基准测试中,核心图像似乎比 GPUImage 更快。

我其实是在寻找图像处理开发的整体解决方案,

  1. 什么语言? Swift、Objective-C 还是 Clang 和 C++?
  2. 什么库? GPUImage 或 Core Image 或 OpenCV 或 GEGL ?
  3. 有示例应用吗?

我的目标是开发一些先进的色彩校正功能,我希望它尽可能快,这样我将来可以将图像处理变成视频处理没有太大问题。

谢谢

【问题讨论】:

    标签: ios objective-c iphone swift image-processing


    【解决方案1】:

    我是 GPUImage 的作者,所以你可以适当地权衡我的话。我在my answer here 中详细描述了我对这个框架与 Core Image 的设计想法,但我可以重申一下。

    基本上,我将 GPUImage 设计为 OpenGL / OpenGL ES 图像处理的便捷包装器。它是在 iOS 上不存在 Core Image 的时候构建的,即使 Core Image 在那里启动,它也缺乏自定义内核并且存在一些性能缺陷。

    与此同时,Core Image 团队在性能方面做了令人印象深刻的工作,导致 Core Image 现在在多个领域的表现略优于 GPUImage。我仍然在其他方面击败了他们,但它比以前更接近了。

    我认为决定取决于您对应用程序的重视程度。 GPUImage 的完整源代码可供您使用,因此您可以自定义或修复您想要的任何部分。你可以看看幕后,看看任何操作是如何进行的。管道设计的灵活性让我可以尝试目前无法在 Core Image 中完成的复杂操作。

    Core Image 是 iOS 和 OS X 的标准配置。它被广泛使用(大量代码可用)、高性能、易于设置,并且(在最新的 iOS 版本中)可通过自定义内核进行扩展。除了 GPU 加速处理之外,它还可以进行 CPU 端处理,这使您可以在后台进程中执行诸如处理图像之类的事情(尽管在 iOS 8 中您应该能够在后台执行有限的 OpenGL ES 工作)。在写 GPUImage 之前,我一直使用 Core Image。

    对于示例应用程序,请下载 GPUImage 源代码并查看 examples/ 目录。您将找到适用于 Mac 和 iOS 以及 Objective-C 和 Swift 的框架各个方面的示例。我特别推荐在您的 iOS 设备上构建和运行 FilterShowcase 示例,因为它演示了实时视频框架中的每个过滤器。尝试是一件有趣的事情。

    在语言选择方面,如果性能是您对视频/图像处理的追求,那么语言几乎没有区别。您的性能瓶颈不是语言,而是 GPU 上的着色器性能以及图像和视频可以上传到 GPU 或从 GPU 下载的速度。

    GPUImage 是用 Objective-C 编写的,但它仍然可以在它支持的最旧的 iOS 设备上以 60 FPS 的速度处理视频帧。分析代码发现很少有消息发送开销或内存分配的地方(与 C 或 C++ 相比,该语言中最慢的区域)甚至是明显的。如果这些操作是在 CPU 上完成的,情况会略有不同,但这都是 GPU 驱动的。

    使用最适合和最容易满足您的开发需求的任何语言。 Core Image 和 GPUImage 都与 Swift、Objective-C++ 或 Objective-C 兼容。 OpenCV 可能需要从 Swift 中使用 shim,但如果您在谈论性能,OpenCV 可能不是一个很好的选择。它会比 Core Image 或 GPUImage 慢得多。

    就个人而言,为了易用性,它很难与 Swift 争论,因为我可以使用 GPUImage 编写一个完整的视频过滤应用程序,只需要 23 行非空白代码。

    【讨论】:

    • 我很高兴你能亲自回答:)。看了你关于改成 swift 的文章,我想我会认真考虑 swift + GPUImage 管道,
    • 请问您认为Node graph architecture 是一种创建图像处理移动应用程序的便捷方式吗?我想尝试这种架构,但它非常复杂,所以我想提个建议。
    • @tomriddle_1234 - 我知道有几个应用程序使用这种架构来过滤和处理视频和图像,其中一些基于 GPUImage。但是,它们是由资金充足的大型团队设计的,因此对于单个开发人员来说,实现起来并不是一件特别容易的事情。如果需要,您可以从更简单的设计开始并构建它。
    【解决方案2】:

    我刚刚开源了 VideoShader,它允许您使用基于 JSON 的脚本语言来描述视频处理管道。

    https://github.com/snakajima/videoshader

    例如“卡通滤镜”可以用12行来描述。

    {
        "title":"Cartoon I",
        "pipeline":[
            { "filter":"boxblur", "ui":{ "primary":["radius"] }, "attr":{"radius":2.0} },
            { "control":"fork" },
            { "filter":"boxblur", "attr":{"radius":2.0} },
            { "filter":"toone", "ui":{ "hidden":["weight"] } },
            { "control":"swap" },
            { "filter":"sobel" },
            { "filter":"canny_edge", "attr":{ "threshold":0.19, "thin":0.50 } },
            { "filter":"anti_alias" },
            { "blender":"alpha" }
        ]
    }
    

    它在运行时将此脚本编译成 GLSL(OpenGL 的 GPU 着色语言),所有像素操作都将在 GPU 中完成。

    【讨论】:

    • 你认为用 C++ 创建一个这样的库并为 iOS 和 android 提供一个包装器会很容易吗?
    【解决方案3】:

    好吧,如果您正在做一些高级图像处理工作,那么我建议您使用 OpenGL ES(我假设我不需要介绍 OpenGL 在 UIKit 或 Core Graphics 上的优势),您可以从以下教程开始。

    http://www.raywenderlich.com/70208/opengl-es-pixel-shaders-tutorial https://developer.apple.com/library/ios/samplecode/GLImageProcessing/Introduction/Intro.html

    【讨论】:

    • 谢谢!使用纯 OpenGL 似乎有点矫枉过正。我想我可以使用基于 OpenGL 构建的东西,因为我在这里没有使用任何 3D 功能。
    • 你可以像indieambitions.com/idevblogaday/learning-opengl-gpuimage中所说的那样使用OpenGL+GPUImage。 OpenGL 不仅适用于 3d。您可以使用 OpenGL 提高图像处理速度。
    • GPUImage 是基于 OpenGL / OpenGL ES 构建的,因此它并不是真正的非此即彼。这就是框架的重点。这样做引入的开销可以忽略不计,因此滚动您自己的 OpenGL / OpenGL ES 渲染代码进行图像处理并没有太大的优势。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-02-20
    • 2012-01-21
    • 2013-04-09
    • 2018-03-24
    相关资源
    最近更新 更多