Android：OpenSL 尽可能低的延迟答案

【问题标题】：Android: OpenSL lowest possible latencyAndroid：OpenSL 尽可能低的延迟
【发布时间】：2014-07-11 00:52:15
【问题描述】：

我一直致力于将 OpenSL 用于 Android 的低延迟音频应用程序。到目前为止，我在三星 Galaxy S5 上设法实现的最低延迟为 200 毫秒（触摸到声音，通过点击和录制点击声音，然后是应用程序声音来测量）。我想我可以通过改进一些内部应用程序逻辑将它降低到 160 毫秒。现在，在应用程序接收到触摸和获取该音频的回调之间存在长达 40 毫秒的延迟。我认为这是因为当没有音频时，我会不断地排队空缓冲区。这是不好的做法吗？但是，当我尝试仅在由于某种原因有音频时才排队的方法时，我得到了音频伪像。

无论如何，我的问题是，在任何最新的 Android 设备上，使用 openSL 从触摸到音频输出的最低延迟是多少？（我知道它因设备而异，但我想知道什么是低延迟的最佳设备（如果有的话），这个最低延迟的价值是多少？或者也许是最近设备可获得的平均最小值？）。

Android: sound API (deterministic, low latency)

大约一年前的上述链接表明它在 180 毫秒范围内。这对于 OpenSL 来说仍然是最低的吗？推荐的答案说，Android 的音乐合成器获得了低于 30 毫秒的“总输出延迟”。但是当我在三星 Galaxy S5 上运行它时，它的声音延迟为 200 毫秒。 “总输出延迟”指的是什么？我错过了什么吗？

如何进一步减少延迟？

感谢您能给我的任何帮助！

编辑：除了 NEON 或 SSE 指令外，我正在执行此处 Low-latency audio playback on Android 中所述的所有操作，但我的处理时间少于此处所述的 15%，因此这应该不是问题。我正在将一个带有 2*PROPERTY_OUTPUT_FRAMES_PER_BUFFER 短裤的缓冲区排入队列以获取立体声。是不是太高了？

【问题讨论】：

这个问题很可能会根据个人使用有限设备的经验来吸引轶事答案，而不是明确的正确或错误的答案。因此它似乎并不适合 StackOverflow，因为这不是一个讨论论坛。无论如何，你引用的那些数字听起来有点高。大约一年半前，当我在 XPeria Z 上运行延迟测试时，使用相同的测量方法得到的时间低于 100 毫秒。
使用openSL？我必须激活一些快速模式吗？我在入队的缓冲区中使用带有 (PROPERTY_OUTPUT_FRAMES_PER_BUFFER * 2) 短裤的 simplebufferedqueueplayer，并为音频数据和播放器使用 PROPERTY_OUTPUT_SAMPLE_RATE。我使用的是立体声，这就是为什么 * 2 代表短裤的数量。我唯一能想到的我没有做的就是使用NEON或SSE指令，但是我的处理时间不到播放时间的15%，延迟仍然很高。

标签： android performance audio low-latency opensl

【解决方案1】：

有一个audio-echo 示例，您可以查看它是否有帮助。为快速音频创建播放器时，不支持某些信号处理接口；如果您请求不受支持的接口，即使您使用设备默认采样率询问快速音频也会关闭。该示例适用于 android L 和 M [未在其他设备上测试]

【讨论】：

【解决方案2】：

似乎我正在测试的设备，Galaxy S5 没有 android.hardware.audio.low-latency。这意味着 openSL 不能使用快速通道，并且会导致高延迟。这真的很令人惊讶，因为该设备非常新，所以它应该支持这样的新功能。但是，尽管我已尽一切努力在我的应用中实现低延迟，但它在我正在测试的设备上仍然存在高延迟。

来自 android ndk openSL 文档： “这些改进可通过 OpenSL ES 用于声称具有“android.hardware.audio.low_latency”功能的设备实现。如果设备未声明此功能但支持 API 级别 9（Android 平台版本 2.3）或更高版本，那么您可以仍然使用 OpenSL ES API，但输出延迟可能更高。仅当应用程序请求缓冲区计数为 2 或更多，以及与设备的本机输出配置兼容的缓冲区大小和采样率时，才使用较低的输出延迟路径。”

对于任何想知道您的应用是否存在问题的人。请务必检查您正在测试的设备是否支持此功能。另请查看 (ndk)/docs/opensles/index.html 的性能部分和问题中的链接

【讨论】：

那令人失望，我正在考虑购买 S5 的好消息
它不支持 OpenSL 低延迟，但可能有其他我不知道的在这些设备上获取它的方法。