将两个视频叠加到静态图像上？

Question

我想将两个视频合并为一个视频，其中两个视频都位于静态背景图像之上。 （想想this 之类的东西。）我的要求是我使用的软件是免费的，它可以在 OSX 上运行，而且我不必对我的视频进行过多的重新编码。我还希望能够从命令行或通过脚本执行此操作，因为我会经常这样做。 （但这并不是绝对必要的。）

我尝试摆弄 ffmpeg 几个小时，但它似乎不太适合后期处理。我可能会通过叠加功能将某些东西拼凑在一起，但到目前为止，我还没有弄清楚如何做到这一点，除了痛苦地将图像转换为视频（这需要我的视频长度的 2 倍！）然后在另一个渲染步骤中将两个视频叠加到它上面。

有什么建议吗？谢谢！

---

更新：

感谢 LordNeckbeard 的帮助，我能够通过一个 ffmpeg 调用实现我想要的结果！不幸的是，编码速度很慢，编码 1 秒的视频需要 6 秒。我相信这是由背景图像引起的。关于加快编码的任何提示？这是 ffmpeg 日志：

MacBook-Pro:Video archagon$ ffmpeg -loop 1 -i underlay.png -i test-slide-video-short.flv -i test-speaker-video-short.flv -filter_complex "[1:0]scale=400:-1[a];[2:0]scale=320:-1[b];[0:0][a]overlay=0:0[c];[c][b]overlay=0:0" -shortest -t 5 -an output.mp4
ffmpeg version 1.0 Copyright (c) 2000-2012 the FFmpeg developers
  built on Nov 14 2012 16:18:58 with Apple clang version 4.0 (tags/Apple/clang-421.0.60) (based on LLVM 3.1svn)
  configuration: --prefix=/opt/local --enable-swscale --enable-avfilter --enable-libmp3lame --enable-libvorbis --enable-libopus --enable-libtheora --enable-libschroedinger --enable-libopenjpeg --enable-libmodplug --enable-libvpx --enable-libspeex --mandir=/opt/local/share/man --enable-shared --enable-pthreads --cc=/usr/bin/clang --arch=x86_64 --enable-yasm --enable-gpl --enable-postproc --enable-libx264 --enable-libxvid
  libavutil      51. 73.101 / 51. 73.101
  libavcodec     54. 59.100 / 54. 59.100
  libavformat    54. 29.104 / 54. 29.104
  libavdevice    54.  2.101 / 54.  2.101
  libavfilter     3. 17.100 /  3. 17.100
  libswscale      2.  1.101 /  2.  1.101
  libswresample   0. 15.100 /  0. 15.100
  libpostproc    52.  0.100 / 52.  0.100
Input #0, image2, from 'underlay.png':
  Duration: 00:00:00.04, start: 0.000000, bitrate: N/A
    Stream #0:0: Video: png, rgb24, 1024x768, 25 fps, 25 tbr, 25 tbn, 25 tbc
Input #1, flv, from 'test-slide-video-short.flv':
  Metadata:
    author          : 
    copyright       : 
    description     : 
    keywords        : 
    rating          : 
    title           : 
    presetname      : Custom
    videodevice     : VGA2USB Pro V3U30343
    videokeyframe_frequency: 5
    canSeekToEnd    : false
    createdby       : FMS 3.5
    creationdate    : Mon Aug 16 16:35:34 2010
    encoder         : Lavf54.29.104
  Duration: 00:50:32.75, start: 0.000000, bitrate: 90 kb/s
    Stream #1:0: Video: vp6f, yuv420p, 640x480, 153 kb/s, 8 tbr, 1k tbn, 1k tbc
Input #2, flv, from 'test-speaker-video-short.flv':
  Metadata:
    author          : 
    copyright       : 
    description     : 
    keywords        : 
    rating          : 
    title           : 
    presetname      : Custom
    videodevice     : Microsoft DV Camera and VCR
    videokeyframe_frequency: 5
    audiodevice     : Microsoft DV Camera and VCR
    audiochannels   : 1
    audioinputvolume: 75
    canSeekToEnd    : false
    createdby       : FMS 3.5
    creationdate    : Mon Aug 16 16:35:34 2010
    encoder         : Lavf54.29.104
  Duration: 00:50:38.05, start: 0.000000, bitrate: 238 kb/s
    Stream #2:0: Video: vp6f, yuv420p, 320x240, 204 kb/s, 25 tbr, 1k tbn, 1k tbc
    Stream #2:1: Audio: mp3, 22050 Hz, mono, s16, 32 kb/s
File 'output.mp4' already exists. Overwrite ? [y/N] y
using cpu capabilities: none!
[libx264 @ 0x7fa84c02f200] profile High, level 3.1
[libx264 @ 0x7fa84c02f200] 264 - core 119 - H.264/MPEG-4 AVC codec - Copyleft 2003-2011 - http://www.videolan.org/x264.html - options: cabac=1 ref=3 deblock=1:0:0 analyse=0x3:0x113 me=hex subme=7 psy=1 psy_rd=1.00:0.00 mixed_ref=1 me_range=16 chroma_me=1 trellis=1 8x8dct=1 cqm=0 deadzone=21,11 fast_pskip=1 chroma_qp_offset=-2 threads=3 sliced_threads=0 nr=0 decimate=1 interlaced=0 bluray_compat=0 constrained_intra=0 bframes=3 b_pyramid=2 b_adapt=1 b_bias=0 direct=1 weightb=1 open_gop=0 weightp=2 keyint=250 keyint_min=25 scenecut=40 intra_refresh=0 rc_lookahead=40 rc=crf mbtree=1 crf=23.0 qcomp=0.60 qpmin=0 qpmax=69 qpstep=4 ip_ratio=1.40 aq=1:1.00
Output #0, mp4, to 'output.mp4':
  Metadata:
    encoder         : Lavf54.29.104
    Stream #0:0: Video: h264 ([33][0][0][0] / 0x0021), yuv420p, 1024x768, q=-1--1, 25 tbn, 25 tbc
Stream mapping:
  Stream #0:0 (png) -> overlay:main
  Stream #1:0 (vp6f) -> scale
  Stream #2:0 (vp6f) -> scale
  overlay -> Stream #0:0 (libx264)
Press [q] to stop, [?] for help

---

更新 2：

有效！一项重要的调整是将 underlay.png 输入移动到输入列表的末尾。这大大提高了性能。这是我最后的 ffmpeg 电话。 （这种特殊安排不需要最后的地图，但有时我想将一些额外的音频输入映射到我的输出。）

ffmpeg
    -i VideoOne.flv
    -i VideoTwo.flv
    -loop 1 -i Underlay.png
    -filter_complex "[2:0] [0:0] overlay=20:main_h/2-overlay_h/2 [overlay];[overlay] [1:0] overlay=main_w-overlay_w-20:main_h/2-overlay_h/2 [output]"
    -map [output]:v
    -map 0:a
    OutputVideo.m4v

Answer 1

ffmpeg 中的复杂过滤器图起初可能看起来很复杂，但尝试几次后它就会变得有意义。您需要熟悉 filtergraph 语法。从阅读Filtering Introduction 和Filtergraph Description 开始。您不必完全理解它，但它会帮助您理解以下示例。

示例

使用scale 视频过滤器将输入缩放（调整大小）为特定大小，然后使用overlay 视频过滤器将视频放置在静态图像上。

ffmpeg -loop 1 -i background.png -i video1.mp4 -i video2.mp4 -filter_complex \
"[1:v]scale=(iw/2)-20:-1[a]; \
 [2:v]scale=(iw/2)-20:-1[b]; \
 [0:v][a]overlay=10:(main_h/2)-(overlay_h/2):shortest=1[c]; \
 [c][b]overlay=main_w-overlay_w-10:(main_h/2)-(overlay_h/2)[video]" \
-map "[video]" output.mkv

这是什么意思

非过滤选项：

• -loop 1 不断循环下一个输入，即background.png。

• background.png 背景图片。 stream specifier 是 [0:v] 大小为 1280x720。

• video1.mp4 这是第一个视频输入（示例图像中的 Big Buck Bunny）。流说明符是[1:v]。它的大小为 640x360。

• video2.mp4 第二个视频输入（示例图像中的 varmints）。流说明符是[2:v]。它的大小为 640x360。

过滤选项

• -filter_complex 启动复杂过滤器图的选项。

• [1:v]scale=(iw/2)-20:-1[a] 这是采用video1.mp4，称为[1:v]，并对其进行缩放。 iw 是 input width 的别名，在这种情况下，它的值为 640。我们将比除以一半并减去额外的 20 个像素作为填充，这样每个视频周围都会有空间它被覆盖了。 -1 表示自动计算将保留纵横比的值。当然，您可以省略花哨并手动提供诸如scale=320:240 之类的值。然后使用一个名为[a] 的输出链接标签，这样我们以后可以参考这个输出。

• [2:v]scale=(iw/2)-20:-1[b] 同上，但使用video2.mp4作为输入并将输出链接标签命名为[b]。

• [0:v][a]overlay=10:(main_h/2)-(overlay_h/2):shortest=1[c] 使用background.png 作为第一个叠加输入，并使用我们的第一个比例过滤器的结果，称为[a]，作为第二个叠加输入。将[a] 放在[0:v] 上。 main_h 是 main height 的别名，它指的是背景输入 ([0:v]) 的高度。 overlay_h 是 overlay height 的别名，指的是前景的高度 ([a])。此示例将 Big Buck Bunny 放置在左侧。 shortest=1 将在最短输入终止时强制输出终止；否则它将永远循环，因为background.png 正在循环。将此过滤器的结果命名为[c]。

• [c][b]overlay=overlay_w*2:overlay_h:shortest=1[video] 使用 [c] 作为第一个覆盖输入，[b] 作为第二个覆盖输入。使用覆盖参数overlay_w 和overlay_h（覆盖输入宽度和高度）。此示例将把害虫 varmints 放在右侧。将输出标记为[video]。

• -map "[video]" 将过滤器的输出映射到输出文件。过滤器图末尾的[video] 链接标签不一定是必需的，但建议使用映射显式。

音频

有两个独立的音频流

默认情况下，在Stream Selection 中定义的输出中只会使用遇到的第一个输入音频通道。您可以使用-map 选项从第二个视频输入添加额外的音轨（输出将有两个音频流）。这个例子将stream copy音频而不是重新编码：

ffmpeg -loop 1 -i background.png -i video1.mp4 -i video2.mp4 -filter_complex \
"[1:v]scale=(iw/2)-20:-1[a]; \
 [2:v]scale=(iw/2)-20:-1[b]; \
 [0:v][a]overlay=10:(main_h/2)-(overlay_h/2):shortest=1[c]; \
 [c][b]overlay=main_w-overlay_w-10:(main_h/2)-(overlay_h/2)[video]" \
-map "[video]" -map 1:a -map 2:a -codec:a copy output.mkv

合并两个音频流

或者使用amerge 和pan 音频过滤器将两个音频输入合并为一个（假设两个输入都是立体声并且您想要立体声输出）：

ffmpeg -loop 1 -i background.png -i video1.mp4 -i video2.mp4 -filter_complex \
"[1:v]scale=(iw/2)-20:-1[a]; \
 [2:v]scale=(iw/2)-20:-1[b]; \
 [0:v][a]overlay=10:(main_h/2)-(overlay_h/2):shortest=1[c]; \
 [c][b]overlay=main_w-overlay_w-10:(main_h/2)-(overlay_h/2)[video]" \
 [1:a][2:a]amerge,pan=stereo:c0<c0+c2:c1<c1+c3[audio]" \
-map "[video]" -map "[audio]" output.mkv

另见

• FFmpeg Filtering Documentation
• FFmpeg Wiki: Filtering Guide
• FFmpeg Wiki: x264 Encoding Guide