如何在 Android 中使用 JNI 将资产 FileDescriptor 正确传递给 FFmpeg

Question

我正在尝试使用 FFmpeg、JNI 和 Java FileDescriptor 在 Android 中检索元数据，但它不起作用。我知道 FFmpeg 支持pipe protocol，所以我试图以编程方式模拟：“cat test.mp3 | ffmpeg i pipe:0”。我使用以下代码从与 Android 应用程序捆绑的资产中获取 FileDescriptor：

FileDescriptor fd = getContext().getAssets().openFd("test.mp3").getFileDescriptor();
setDataSource(fd, 0, 0x7ffffffffffffffL); // native function, shown below

然后，在我的本机（C++）代码中，我通过调用获得 FileDescriptor：

static void wseemann_media_FFmpegMediaMetadataRetriever_setDataSource(JNIEnv *env, jobject thiz, jobject fileDescriptor, jlong offset, jlong length)
{
    //...

    int fd = jniGetFDFromFileDescriptor(env, fileDescriptor); // function contents show below

    //...
}

// function contents
static int jniGetFDFromFileDescriptor(JNIEnv * env, jobject fileDescriptor) {
    jint fd = -1;
    jclass fdClass = env->FindClass("java/io/FileDescriptor");

    if (fdClass != NULL) {
        jfieldID fdClassDescriptorFieldID = env->GetFieldID(fdClass, "descriptor", "I");
        if (fdClassDescriptorFieldID != NULL && fileDescriptor != NULL) {
            fd = env->GetIntField(fileDescriptor, fdClassDescriptorFieldID);
        }
    }

    return fd;
}

然后我将文件描述符管道#（在 C 中）传递给 FFmpeg：

char path[256] = "";

FILE *file = fdopen(fd, "rb");

if (file && (fseek(file, offset, SEEK_SET) == 0)) {
    char str[20];
    sprintf(str, "pipe:%d", fd);
    strcat(path, str);
}

State *state = av_mallocz(sizeof(State));
state->pFormatCtx = NULL;

if (avformat_open_input(&state->pFormatCtx, path, NULL, &options) != 0) { // Note: path is in the format "pipe:<the FD #>"
    printf("Metadata could not be retrieved\n");
    *ps = NULL;
    return FAILURE;
}

if (avformat_find_stream_info(state->pFormatCtx, NULL) < 0) {
    printf("Metadata could not be retrieved\n");
    avformat_close_input(&state->pFormatCtx);
    *ps = NULL;
    return FAILURE;
}

// Find the first audio and video stream
for (i = 0; i < state->pFormatCtx->nb_streams; i++) {
    if (state->pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO && video_index < 0) {
        video_index = i;
    }

    if (state->pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_AUDIO && audio_index < 0) {
        audio_index = i;
    }

    set_codec(state->pFormatCtx, i);
}

if (audio_index >= 0) {
    stream_component_open(state, audio_index);
}

if (video_index >= 0) {
    stream_component_open(state, video_index);
}

printf("Found metadata\n");
AVDictionaryEntry *tag = NULL;
while ((tag = av_dict_get(state->pFormatCtx->metadata, "", tag, AV_DICT_IGNORE_SUFFIX))) {
    printf("Key %s: \n", tag->key);
    printf("Value %s: \n", tag->value);
}

*ps = state;
return SUCCESS;

我的问题是avformat_open_input 不会失败，但它也不会让我检索任何元数据或帧，如果我使用常规文件 URI（例如 file://sdcard/test.mp3），相同的代码可以工作作为路径。我究竟做错了什么？提前致谢。

注意：如果您想查看我正在尝试解决问题以便为我的库提供此功能的所有代码：FFmpegMediaMetadataRetriever。

Answer 1

 FileDescriptor fd = getContext().getAssets().openFd("test.mp3").getFileDescriptor();

认为您应该从 AssetFileDescripter 开始。 http://developer.android.com/reference/android/content/res/AssetFileDescriptor.html

Answer 2

Java

AssetFileDescriptor afd = getContext().getAssets().openFd("test.mp3");
setDataSource(afd.getFileDescriptor(), afd.getStartOffset(), fd.getLength());

C

void ***_setDataSource(JNIEnv *env, jobject thiz, 
    jobject fileDescriptor, jlong offset, jlong length)
{
    int fd = jniGetFDFromFileDescriptor(env, fileDescriptor);

    char path[20];
    sprintf(path, "pipe:%d", fd);

    State *state = av_mallocz(sizeof(State));
    state->pFormatCtx =  avformat_alloc_context();
    state->pFormatCtx->skip_initial_bytes = offset;
    state->pFormatCtx->iformat = av_find_input_format("mp3");

现在我们可以像往常一样继续：

if (avformat_open_input(&state->pFormatCtx, path, NULL, &options) != 0) {
    printf("Metadata could not be retrieved\n");
    *ps = NULL;
    return FAILURE;
}
...

---

更好的是，使用<android/asset_manager.h>，像这样：

Java

setDataSource(getContext().getAssets(), "test.mp3");

C

#include <android/asset_manager_jni.h>

void ***_setDataSource(JNIEnv *env, jobject thiz, 
    jobject assetManager, jstring assetName)
{
    AAssetManager* assetManager = AAssetManager_fromJava(env, assetManager);
    const char *szAssetName = (*env)->GetStringUTFChars(env, assetName, NULL);
    AAsset* asset = AAssetManager_open(assetManager, szAssetName, AASSET_MODE_RANDOM);
    (*env)->ReleaseStringUTFChars(env, assetName, szAssetName);
    off_t offset, length;
    int fd = AAsset_openFileDescriptor(asset, &offset, &length);
    AAsset_close(asset);

免责声明：为简洁起见省略了错误检查，但资源已正确释放，fd 除外。完成后你必须close(fd)。

Post Scriptum：请注意某些媒体格式，例如mp4 需要可搜索的协议，pipe: 帮不上忙。在这种情况下，您可以尝试sprintf(path, "/proc/self/fd/%d", fd);，或使用custom saf: protocol。

Answer 3

非常感谢这篇文章。 这对我使用 FileDescriptor 将 Android 10 和范围存储与 FFmpeg 集成有很大帮助。

这是我在 Android 10 上使用的解决方案：

Java

URI uri = ContentUris.withAppendedId(
   MediaStore.Audio.Media.EXTERNAL_CONTENT_URI,
   trackId // Coming from `MediaStore.Audio.Media._ID`
);
ParcelFileDescriptor parcelFileDescriptor = getContentResolver().openFileDescriptor(
   uri,
   "r"
);
int pid = android.os.Process.myPid();
String path = "/proc/" + pid + "/fd/" + parcelFileDescriptor.dup().getFd();
loadFFmpeg(path); // Call native code

CPP

// Native code, `path` coming from Java `loadFFmpeg(String)`
avformat_open_input(&format, path, nullptr, nullptr);

Answer 4

好的，我花了很多时间尝试通过Assetfiledescriptor将媒体数据传输到ffmpeg。最后发现mov.c可能有bug。当mov.c 解析trak 原子时，没有设置对应的skip_initial_bytes。我已尝试解决此问题。

详情请参考FFmpegForAndroidAssetFileDescriptor，demo参考WhatTheCodec。