在 android 中使用 FFmpegFrameGrabber、FrameRecorder JavaCv 创建的视频中没有捕捉到声音

Question

我正在尝试使用 Android 中的 JavaCV 将灰度效果应用于视频文件。一切正常，但输出文件中没有音频。下面是代码。请帮忙

   File file = new File(Environment.getExternalStorageDirectory() + File.separator + "test3.mp4"); 

     FFmpegFrameGrabber frameGrabber = new FFmpegFrameGrabber(file.getAbsolutePath()); 

     FrameRecorder recorder = null; 

     Log.d("bharat", " Audio channels = " + frameGrabber.getAudioChannels()); // THIS IS RETurnING 0 and not 2

     recorder = new FFmpegFrameRecorder("/mnt/sdcard/streaml_t.mp4", 270, 480, frameGrabber.getAudioChannels()); 

     recorder.setVideoCodec(AV_CODEC_ID_H264); 

     recorder.setFormat("mp4"); 

     recorder.setFrameRate(frameGrabber.getFrameRate()); 

     recorder.setSampleFormat(frameGrabber.getSampleFormat()); 

     recorder.setSampleRate(frameGrabber.getSampleRate()); 

     try { 
     recorder.start();
     frameGrabber.start(); 
     int count = 0;      
     while (true) { 

     try { 

     Frame grabFrame = frameGrabber.grabFrame(); 
     Log.d("bharat:", "frame " + count++); 

     if (grabFrame == null) { 
     System.out.println("!!! Failed cvQueryFrame"); 
     break; 

     } 

     IplImage frame_copy = cvCreateImage(cvSize(grabFrame.image.width(), grabFrame.image.height()), IPL_DEPTH_8U, 1); 

     cvCvtColor(grabFrame.image, frame_copy, CV_RGB2GRAY); 
     grabFrame.image = frame_copy; 
     recorder.setTimestamp(frameGrabber.getTimestamp());
     recorder.record(grabFrame); 
     } catch (Exception e) { 
        e.printStackTrace();
     } 

     } 

     Log.d("bharat:", "frame done"); 

     recorder.stop(); 
     recorder.release(); 

     } catch (Exception e) { 

     e.printStackTrace(); 

     } 

     }

P。 S：我发现 frameGrabber.getAudioChannels() 返回 0 而不是 2（以防万一）

Answer 1

有一次我met 出现了由于 JavaCV 中缺少文档而导致的问题，例如：

/**  Grab next videoframe */
public IplImage grab() 
/** Grab next video or audio frame */
public Frame grabFrame()

因此，您获得了音频或视频帧，然后您总是尝试将其处理为图像。您应该检查它之前是音频还是视频帧，并且不要尝试调用 cvCvtColor() 获取音频。