我正在开发一个通过合成一系列动画帧动态生成视频的 android 应用程序。我尝试为此使用 Android Media Recorder API，但没有找到让它接受非相机源作为输入的方法。我一直在尝试使用 FFMPEG 端口（基于 Rockplayer 构建），但由于我将其用作编码器而不是解码器，因此遇到了缺少功能的困难。
此应用的 iPhone 版本使用来自 AVFoundation 框架的 AVAssetWriter。
有没有更简单的方法可以做到这一点，还是我被 FFMPEG 卡住了？
【问题讨论】：
标签： android ffmpeg video-encoding
您可以使用名为 JCodec (http://jcodec.org) 的纯 Java 开源库。
它包含一个简单但有效的 H.264 编码器和 MP4 复用器。下面的类使用 JCodec 低级 API，应该是你需要的（CORRECTED）：
public class SequenceEncoder {
private SeekableByteChannel ch;
private Picture toEncode;
private RgbToYuv420 transform;
private H264Encoder encoder;
private ArrayList<ByteBuffer> spsList;
private ArrayList<ByteBuffer> ppsList;
private CompressedTrack outTrack;
private ByteBuffer _out;
private int frameNo;
private MP4Muxer muxer;
public SequenceEncoder(File out) throws IOException {
this.ch = NIOUtils.writableFileChannel(out);
// Transform to convert between RGB and YUV
transform = new RgbToYuv420(0, 0);
// Muxer that will store the encoded frames
muxer = new MP4Muxer(ch, Brand.MP4);
// Add video track to muxer
outTrack = muxer.addTrackForCompressed(TrackType.VIDEO, 25);
// Allocate a buffer big enough to hold output frames
_out = ByteBuffer.allocate(1920 * 1080 * 6);
// Create an instance of encoder
encoder = new H264Encoder();
// Encoder extra data ( SPS, PPS ) to be stored in a special place of
// MP4
spsList = new ArrayList<ByteBuffer>();
ppsList = new ArrayList<ByteBuffer>();
}
public void encodeImage(BufferedImage bi) throws IOException {
if (toEncode == null) {
toEncode = Picture.create(bi.getWidth(), bi.getHeight(), ColorSpace.YUV420);
}
// Perform conversion
for (int i = 0; i < 3; i++)
Arrays.fill(toEncode.getData()[i], 0);
transform.transform(AWTUtil.fromBufferedImage(bi), toEncode);
// Encode image into H.264 frame, the result is stored in '_out' buffer
_out.clear();
ByteBuffer result = encoder.encodeFrame(_out, toEncode);
// Based on the frame above form correct MP4 packet
spsList.clear();
ppsList.clear();
H264Utils.encodeMOVPacket(result, spsList, ppsList);
// Add packet to video track
outTrack.addFrame(new MP4Packet(result, frameNo, 25, 1, frameNo, true, null, frameNo, 0));
frameNo++;
}
public void finish() throws IOException {
// Push saved SPS/PPS to a special storage in MP4
outTrack.addSampleEntry(H264Utils.createMOVSampleEntry(spsList, ppsList));
// Write MP4 header and finalize recording
muxer.writeHeader();
NIOUtils.closeQuietly(ch);
}
public static void main(String[] args) throws IOException {
SequenceEncoder encoder = new SequenceEncoder(new File("video.mp4"));
for (int i = 1; i < 100; i++) {
BufferedImage bi = ImageIO.read(new File(String.format("folder/img%08d.png", i)));
encoder.encodeImage(bi);
}
encoder.finish();
}
}
您可以从project web-site 获取 JCodec jar。
【讨论】：
Opencv 具有 ViewBase 类，它将来自相机的输入作为帧并将帧表示为位图，您可以扩展类 View base 并使其供您自己使用，即使在 android 上安装 opencv 不是很容易。
当您扩展 SampleCvViewBase 时，您将拥有以下功能，您可以使用相当辛苦的工作，但我能想到的最好的。
@Override
protected Bitmap processFrame(VideoCapture capture) {
capture.retrieve(picture, Highgui.CV_CAP_ANDROID_COLOR_FRAME_RGBA);
if (Utils.matToBitmap(picture, bmp))
return bmp;
bmp.recycle();
return null;
}
【讨论】：
这可能会有所帮助（请参阅分辨率说明）：-
How to encode using the FFMpeg in Android (using H263)
我不确定他们是否进行了 ffmpeg 的自定义构建，如果是，他们可能能够就移植功能更完整的版本提供建议。
-安东尼
【讨论】：