Android 设备上的 60/120fps 预览数据？

Question

我们希望使用 Neon 组件或 GPU 着色器处理 120 fps（或 60fps）的相机预览数据，以执行简单的图像处理操作（例如 3x3 卷积）。 我们对在屏幕上显示图像不感兴趣，因此相机数据应该直接转到 SurfaceTexture。

我们认为我们可以在 Nexus 5 上使用 CameraConstrainedHighSpeedCaptureSession 使用 Camera2 API 来做到这一点，但没有成功。

互联网上目前没有功能代码（至少我们已经抓取的部分）允许这样做，但似乎很可能存在该功能。

使用 Camera2 API 进行高速录制的最佳示例如下：https://github.com/PkmX/lcamera

为了鼓励某人发布解决方案，我在这个问题上悬赏。

Answer 1

这是在pjsip 中完成的。将 repo 拉到你的机器上：

svn checkout -r 4687 https://svn.pjsip.org/repos/pjproject/trunk

然后打开 pjmedia/src/swig 文件夹以获取示例应用程序，该应用程序将从线路传入的视频数据直接呈现到 SurfaceTexture。

我已经为你上传了两个最相关的 C 源文件（一目了然——当然还有其他的），在这里：

1. android_dev.c
2. android_opengl.c

当然，这些文件包含许多与您无关的代码，但希望有您正在寻找的 sn-p。

如果您不确定如何执行此操作，您可能需要首先遵循一些说明 found here 以生成处理极简 Java/C 接口的 pjmedia/src/pjmedia-videodev/android/PjCamera*.java 文件。我能够按照他们的指示使用与 NDK（使用 10d 或 10e 工作）和 openssl (1.0.2a) 完全相同的版本——并成功渲染视频并创建自定义应用程序。如果您只是修改 C 级视频捕获以通过 JNI 挂钩以与他们相同的方式使用您的 API，那么此源代码完全可以满足您的需求。

有关使用 JNI 挂钩更改 API 的示例，请查看它们在 pjmedia 中的 audiodev 文件夹。

如果您确实构建了他们的项目，请务必按照最底部的说明来构建新的 NDK 版本openssl 1.0.2a。 注意 ./Configure 上的大写“C”，因为执行标准的 ./configure 可能会启动错误的配置过程。我建议将他们提供的命令复制并粘贴到脚本中。出于您的目的，您可能可以完全跳过 openssl；只有在集成了 openssl 支持后，我才能让我的 Android 设备持续注册 SIP 帐户。

Answer 2

我们成功地修改了 camera2video 样本，以在三星 S6 上获得 120 fps 的数据速率。

代码是here。

我们还没有设法提取像素，但我们会在此处更新。